基于距離特征和聚類損失的深度學習虹膜識別

孫 潔,趙世鵬,苗 盛,郝思媛

(青島理工大學信息與控制工程學院,山東 青島266520)

1 引言

由于虹膜具有唯一、穩定和非侵犯性的特點,在各種生物識別中脫穎而出,被廣泛應用于個人身份驗證。1993年,Daugman[1]提出了第一個完整的虹膜識別系統。隨后,基于一維Log-Gabor[2]、離散余弦變換(DCT)[3],離散傅立葉變換(DFT)[4]和局部Gabor方向[5]等虹膜識別算法被相繼提出,推動了生物識別技術的發展。

近年來,由于深度學習在語義分割、圖像檢測和圖像分類方面表現出優秀性能,一些基于深度學習方法的虹膜識別方法被相繼出現,如:Gangwar等[6]提出了兩個CNN模型DeepIrisNet-A和DeepIrisNet-B用于提取虹膜特征;Nguyen等[7]探索了已有的CNN模型(VGG、ResNet和DenseNet等)在虹膜識別方面的性能;Gangwar等[8]創建了用于可見光譜和近紅外光虹膜表示的深度網絡DeepIrisNet2。

用于分類的深度學習方法,進行網絡訓練時常采用交叉熵損失,但交叉熵損失并不依賴于特征空間的距離特征信息,使得深度網絡對距離特征不夠敏感;其次,由于交叉熵損失對類間信息更加敏感,更關注正確標簽的預測,而忽略了其它非正確標簽的差異,使深度網絡學習的特征比較分散。為解決上述問題,本文構建了一個基于距離特征的深度網絡,在網絡結構中引入距離特征,同時設計了一個聚類損失,使深度網絡學習的同類別虹膜的圖像特征更加聚集。

2 虹膜圖像預處理

本文對虹膜圖像進行了虹膜定位、分割、歸一化、裁剪和直方圖均衡化等預處理。

原始虹膜圖像如圖1所示,使用開源工具OSIRIS[9]對圖1進行虹膜定位、分割及歸一化,結果如圖2和3所示,本文設定虹膜歸一化尺寸為60×240。

圖1 原始虹膜圖像

圖2 虹膜定位結果 圖3 虹膜歸一化結果

實驗發現,虹膜預處理后,歸一化的虹膜圖像,通常有四種類型,如圖4所示?？梢钥闯?歸一化的虹膜左側被眼瞼遮擋嚴重。

圖4 多數情況下歸一化的虹膜圖像

為提高虹膜識別的準確率,本文對歸一化后的虹膜圖像進行了裁剪和直方圖均衡化處理。如圖5所示,裁剪歸一化圖像,僅保留歸一化圖像的右半側,尺寸為60×120。另外,為減少光照因素的影響,增強虹膜紋理的對比度,本文對虹膜圖像進行直方圖均衡化處理。

圖5 裁剪虹膜和直方圖均衡化

3 本文方法

為了提高類內特征聚集性,增加類間特征區分度,本文構建了一個基于距離特征的深度網絡,距離特征網絡(Distance Feature Network,DFN),將距離特征引入網絡結構,并設計了一個聚類損失,改善由交叉熵損失訓練的網絡所提取的特征較為分散的問題。

3.1 距離特征網絡

DFN分為兩部分:特征提取器(Feature Extractor,FE)和特征整定器(Feature Tuner,FT)。特征提取器由一個卷積神經網絡(CNN)構成,記為f,用于提取虹膜圖像特征。特征整定器,則是對FE提取的虹膜特征進行處理,將距離特征引入網絡結構。

特征提取器結構如圖6所示,該CNN共包含4個卷積層(Conv),卷積核尺寸均為3×3,步長為1,卷積核數依次為64,128,256和512;在前三個卷積層后,分別連接一個2×2的最大池化層(MaxPool),步長為2;最后一個卷積層則連接一個自適應平均池化層(AdaptiveAvgPool),歸一化特征圖尺寸為1×1;最后,將卷積后的圖像特征拉平,經全連接層(FC)處理后,可獲取虹膜圖像的特征。

圖6 特征提取器結構

特征整定器結構如圖7所示,本文分別先從每個類別的虹膜圖像中隨機選取一幅作為模板,利用特征提取器提取這些模板的圖像特征c0,c1,…,cN-1,并按標簽順序排列為一個N維方陣C。C中每一行都是一個類別的模板特征,這些特征被用作各類別的特征聚類中心,這樣可省略網絡訓練過程中樣本聚類中心的計算,減少運算量,提高訓練效率。

圖7 特征整定器結構

特征提取器f提取虹膜樣本x的特征為z,即有:z=f(x),計算z與各模板特征間歐式距離的倒數,可以獲取一組距離特征,記作γ=(γ0,γ1,…,γN-1),如式(1)所示

(1)

其中,ci為第i+1類虹膜的模板特征,即方陣C中第i+1行向量;γi表示距離特征γ的第i+1個元素?？梢钥闯?樣本特征距離模板特征越遠,γi的值越小。

然后,將距離特征γ和樣本特征z對應位置元素相乘,得到關聯特征d,如式(2)所示

d=γ°z

(2)

其中°表示兩個向量對應位置元素相乘。此時,樣本特征和模板特征被關聯起來。

最后,對關聯特征d進行余弦標準化[11],獲取用于虹膜識別的特征v,其運算過程如式(3)、(4)和(5)所示

(3)

(4)

(5)

其中,α是一個放大系數,用于放大特征取值,本文設定為10;w是深度網絡的可學習參數,其值由網絡訓練得到。用余弦標準化對虹膜特征進行歸一化,不僅將余弦夾角信息引入虹膜特征,而且將特征v的模限定在一個可控區間。

3.2 聚類損失

為使同類別虹膜的圖像特征聚類更加緊湊,本文提出一個聚類損失L,該損失由距離損失LD和交叉熵損失LC加權得到,如式(6)所示

L=0.1×LD+LC

(6)

距離損失LD和交叉熵損失LC的計算如式(7)和(8)所示:

(7)

LC=-log(py)

(8)

其中,zy為FE提取的標簽為y的虹膜圖像的特征,cy為第y類虹膜的模板特征。距離損失LD將所有同類別虹膜的特征,向同類別模板的特征聚類,減小類內散度。py為觀測樣本預測為真實標簽的概率。

4 實驗和分析

本文實驗采用顯卡NVIDIA Tesla v100提供GPU計算加速,操作系統為采用Ubuntu 18.04 LTS,深度學習框架為基于Python 3.7的paddlepaddle 2.2。

4.1 實驗數據集

本文在虹膜數據集CASIA-IrisV4的兩個子集CASIA-Iris-Twins和CASIA-Iris-Lamp上進行實驗,在兩個子集中分別選取了125和275個人,每人10幅虹膜圖像,并按8:2劃分為訓練集和測試集,模板集則從訓練集隨機選取。兩個數據集中的虹膜圖像如圖8和9所示。

圖8 CASIA-Iris-Twins虹膜數據庫

圖9 CASIA-Iris-Lamp虹膜數據庫

4.2 本文方法性能分析

DFN的訓練參數為:學習率lr=0.001,訓練周期epochs=50, 批尺寸Batch＿size=128,優化過程采用隨機梯度下降法。

4.2.1 聚類性能分析

在訓練集中隨機選取20個人,分別用聚類損失L訓練的DFN和交叉熵損失LC訓練FE提取虹膜特征,并用t-SNE算法[10]對這些虹膜特征降維和可視化,結果如圖10和11所示。

圖10 L訓練的DFN的虹膜特征聚類圖

可以看出,圖11中同類別虹膜的特征分布較為分散,從而導致類間特征分布不清晰;而本文方法提取的虹膜特征,類內分布緊湊,且類間區分顯著,表現出良好的特征聚類性能。

圖11 LC訓練的FE的虹膜特征聚類圖

4.2.2 匹配性能測試

為驗證本文方法的匹配性能,將測試集樣本的特征進行一對一匹配,以等錯率(EER)為指標進行評價,其取值越低,則性能越好。測試集樣本產生的匹配信息如表1所示。

表1 測試集樣本匹配信息

實驗采用特征的歐式距離ed進行匹配,設置閾值th判別匹配樣本是否同類別,當ed

聚類損失L訓練的DFN和交叉熵損失LC訓練FE的FRR和FAR曲線如圖12和13所示,曲線交點即EER的取值。與圖12相比,圖13所示曲線的閾值分布區間更廣,交點的概率值更高,表明其匹配性能較差。而圖12中曲線的閾值分布區間較窄,交點的概率值也較小,其性能較好,表明本文方法具有良好的匹配性能。

圖12 L訓練的DFN的FAR和FRR曲線

圖13 LC訓練的FE的FRR和FAR曲線

本文測試集樣本的識別過程為:將測試集內各樣本與訓練集內所有樣本進行匹配,則每個測試集樣本可獲取3200個(訓練集樣本數)距離參數,將其中最小的參數edmin與取得EER時的閾值thEER進行比較,若edmin

4.2.3 消融實驗

為驗證本文方法各模塊的作用,以FT和LD為消融變量,進行消融實驗,可得到四種組合:FE+LC、DFN+LC、FE+L和DFN+L,統計它們測試集上的ERR和ACC,其結果如表2所示。

表2 消融實驗結果

由表2可知,在不使用FT和LD的實驗FE+LC中,測試集的匹配性能和識別性能最差;添加FT或LD后(DFN+LC和FE+L),其性能有明顯改善;同時使用這兩個模塊的實驗DFN+L,表現出最好的性能?？梢奆T和LD可以有效提高虹膜識別系統的性能,且兩模塊具有互補作用。

4.3 與其它方法進行對比

為直觀的反映本文方法的性能,本文在IrisCodeNet[12],DeepIrisNet[6],Log-Gabor[2]和局部Gabor方向[5]等虹膜識別算法上進行實驗,測試各方法的EER和ACC,與本文方法進行對比,其中,IrisCodeNet和DeepIrisNet為深度學習方法,DeepIrisNet又分為A和B兩種網絡結構,而Log-Gabor和局部Gabor方向為傳統的虹膜識別算法。本次實驗結果如表3所示。

表3 本文方法和其它方法的實驗結果

由表3可知,和上述其它虹膜識別方法相比,本文方法取得了最低的等錯率和最高的準確率,表現出最優的匹配性能和識別性能。

5 結論

本文介紹了一種基于距離特征和聚類損失的深度學習虹膜識別方法。通過在深度網絡中引入虹膜特征的距離信息和余弦標準化來整定虹膜樣本的圖像特征;同時使用一個聚類損失使深度網絡學習的同類別虹膜的圖像特征更加緊湊,克服了交叉熵損失對類內特征信息不敏感的缺點。實驗表明:本文方法具有良好的虹膜匹配性能和識別性能。