自適應分數級融合的多模態生物特征認證

姜 奇,趙曉敏,趙貴川,王金花,李興華

(1.西安電子科技大學 網絡與信息安全學院,陜西 西安 710126;2.中國電子科技集團公司第三十研究所 保密通信重點實驗室,四川 成都 610041)

1 引 言

生物特征因其不會被遺忘或丟失、不易偽造或被盜等特性,已被廣泛應用于用戶的身份認證中[1-3]。按生物特征類型的不同,基于生物特征認證的方式可劃分為3類[4]：基于生理(physiological)特征[5-7]、基于生物學(biological)特征[8]和基于行為(behavioral)特征的認證[9-10]。其中,生理特征可從人類身體的固有部位中獲取,如指紋、面部、虹膜、視網膜和掌紋等;生物學特征可從心跳、心電圖和腦電波等人類生命活動中獲取;行為特征可從用戶執行任務時的行為活動中獲取,包括觸屏、步態和語音等。

在實際應用場景中,由于敵手攻擊、噪聲干擾或環境變化等不可預測的原因,單模態身份認證系統往往面臨著認證不可靠和準確率低等問題[11]。例如,基于指紋等生理特征的認證易受環境影響且會遭受表示攻擊[12];基于心跳等生物學特征的認證會遭受模擬攻擊[13];基于觸屏等行為特征的認證會受到偽造[14]和統計[15]等攻擊的影響。

多模態認證系統通過融合兩種或多種生物特征模態來實現身份認證,可以有效地緩解上述單模態認證的局限性[16]。在融合系統中,由于攻擊者很難同時對所有生物特征來源進行攻擊,因此增加了攻擊難度,使多模態認證系統具有更高的系統可靠性和魯棒性。同時,當某個生物特征受環境或噪聲影響時,可以通過降低該生物特征在認證中的重要性程度,提高其他未受干擾生物特征的重要性程度來保證系統的認證準確性。在設計多模態認證系統時,融合策略可以在認證流程的數據采集、數據處理、用戶認證和決策等不同階段執行,根據融合時機的不同可劃分為傳感器級、特征級、分數級以及決策級融合。針對不同的融合級別,已有大量文獻說明了不同多模態融合方案在生物識別技術中的應用及其有效性[4,17-21]。

現有研究中提出的多模態融合方法大多采用固定規則和閾值的融合策略來達到預期的認證性能[7,22-23]。事實上,用戶的認證需求會隨所處環境的不同而發生變化。例如,當用戶訪問隱私級別較高的程序或處于公共場合時,需要較高安全等級的認證。因此,固定規則和參數的融合策略缺乏靈活性且不能為系統提供最佳的認證性能。為此,文獻[24-25]提出了基于粒子群優化算法(Particle Swarm Optimization,PSO)的多模態認證方案,能夠自適應地搜索最佳融合規則、融合參數和決策閾值。然而,粒子群優化算法在解決多模態復雜問題時會陷入局部最優解,且文獻[24-25]的候選融合規則較為簡單,不能解決分類器間出現沖突時認證性能下降的問題。為了解決以上問題,筆者提出了上下文自適應的多模態生物特征認證系統,該系統可根據用戶的上下文信息變化自適應地選擇最佳融合策略,并通過融合多種生物特征為用戶提供安全的身份驗證。

筆者的貢獻如下:

(1) 提出了一種基于自適應粒子群優化(Adaptive Particle Swarm Optimization,APSO)的自適應融合策略選擇方法。所提方法擴展性高,不僅能夠根據不同的上下文自適應選擇最佳的多模態融合策略,還能在滿足當前上下文認證安全需求的同時保證系統最佳的認證性能。

(2) 基于所提出的自適應融合策略選擇方法,設計了一套完整的分數級融合多模態認證方案,能夠實現安全、有效的用戶身份認證。

(3) 分別為不同安全需求的場景確定了最佳融合策略,在真實行為特征數據集上的實驗結果表明了本方案的可行性和有效性。此外,在相同數據集和實驗環境下,對比了本方案和現有多模態認證方案[24-25],結果表明所提出認證系統的全局錯誤率更小,具有更好的認證性能。

2 相關工作

目前,大量文獻提出了多模態融合方案且說明了其在身份認證技術中的有效性[26]。SITOVAZ等[22]提出將用戶在設備上執行擊鍵行為時產生的HMOG特征(捕獲用戶在執行動作時產生的微小運動和方向變化)、觸屏點擊特征以及擊鍵特征進行加權求和的分數級融合,結果表明融合后的等錯誤率降低,最好為7.16%(行走)和10.05%(坐著)。由于t-范數(triangular norm,t-norm)可以考慮多模態認證分數之間的關聯性,HANMANDLU等[23]提出利用t-norm進行分數級融合,他們考慮了多種t-norm融合方式,并在3個公開生物數據集上進行認證實驗,實驗結果表明,t-norm融合方式相比于基于分類器(如支持向量機,邏輯回歸,多層感知機等)的分數級融合方式和基于簡單組合(如最小、平均值和最大)的分數級融合方式表現出更好的性能。KHODADOUST等[19]提出利用一個手指的指紋、靜脈和指節指紋來完成用戶認證,以增加用戶友好性,降低系統的實現成本。AIZI等[20]提出了一種利用虹膜和指紋兩種模態進行身份識別的多生物特征融合方法,每種模態都被單獨處理以生成分數向量,隨后利用決策樹結合加權和基于模糊邏輯的方法實現融合。

以上提到的文獻雖然證明了融合帶來的性能上的提升,但其提出的多模態融合方案都使用固定的融合規則和參數來達到預期的性能。由于用戶認證安全需求隨上下文不同而變化,固定的融合策略不能在變化的認證安全需求下發揮更好的認證性能,因此目前發展趨勢是設計能夠自適應地確定變化的環境安全性或用戶需求的多模態認證系統的方案。

VATSA等[27]提出了將基于密度的融合方式與基于分類器的融合方式順序結合的融合算法,解決了多模態認證中不同模態提供沖突認證結果時對認證性能產生影響的問題。此外,他們設計了基于認證樣本質量的動態選擇算法來確定不同的融合規則,以提高認證準確率并降低計算成本。但此算法整體流程較繁瑣,并且兩種融合方式中參數是固定的。EDWARDS等[28]使用用戶的指紋、手掌和面部開發了一個三階段多模態生物特征認證系統,并使用孿生神經網絡測試了3種串行融合方法。通過在決策中使用串行融合策略來緩解用戶使用不便問題,并通過在特征提取和分數生成中利用深度學習技術來提高準確性。文獻[27-28]可以動態地選擇融合規則,但其融合參數固定。WALIA等[29]提出了一種基于指紋、手指靜脈和虹膜3種互補生物特征組成的多模態認證系統。該融合系統分別對不同生物特征獲得的分數執行貼現函數后,使用PCR-6規則將其組合,不僅達到了增強并發分類器的目的,同時還有效地解決了不同分類器之間產生沖突后認證性能下降的問題。ALAGARSAMY等[30]以人耳和人臉兩種生物特征為輸入,提出了一個完整的多模態生物特征識別系統,該系統采用自適應Runge-Kutta閾值分割方法來獲得人臉圖像耳朵輪廓的精確閾值。文獻[29-30]可以動態地調整融合參數,但其融合規則固定。

與以上方案不同,文獻[24-25]提出了自適應尋找滿足性能約束的最佳融合規則和融合參數的多模態認證方案。VEERAMACHANENI等[24]提出了自適應多模態生物特征管理算法,利用粒子群優化(Particle Swarm Optimization,PSO)方法搜索所有的決策級融合規則(包括與、或、異或等)和決策閾值,以自適應地尋找最佳組合。該算法雖然解決了固定融合規則和融合參數的缺陷,但多個模態決策結果可能有較大的差異,從而導致認證性能下降。其次,使用粒子群優化算法搜索最佳融合策略時會陷入局部最優解。KUMAR等[25]在文獻[24]的基礎上,利用粒子群優化算法搜索分數級融合規則(包括最大值、最小值、加權、乘積等規則)、融合參數和決策閾值,以尋找最佳融合方案。較之文獻[24]中的方案,此方案性能有所提升,但可供選擇的分數級融合規則有限且均比較簡單,不能解決分類器間認證出現沖突時性能下降的問題。因此,筆者在此基礎上進行深入研究,提出了根據行為特征上下文變化自適應選擇最優融合策略的分數級融合多模態認證方案,使得認證系統在用戶友好性、靈活性和安全性上有更好的表現。

3 方案設計

如圖1所示,筆者提出了一種基于自適應粒子群優化的自適應分數級融合多模態認證方案。該方案可分為自適應選擇階段和認證階段兩個部分。自適應選擇階段的目標是從多種預定義的分數級融合規則中自適應地選擇一種,使得認證系統滿足當前認證安全需求的同時具有最佳的認證性能。在認證階段,先基于自適應階段所選擇的融合規則和融合參數對多模態生物特征的認證分數進行融合,然后結合決策閾值對用戶的身份進行認證。

圖1 自適應分數級多模態融合框架流程圖

3.1 自適應選擇階段

3.1.1 認證安全需求的量化

首先根據上下文信息(地理位置和應用程序信息)來評估當前場景下的認證安全需求,具體的評估模型可見文獻[18]。對于認證安全需求較高的場景,如使用敏感性較高的應用時,錯誤接受了冒名頂替者的代價遠高于錯誤拒絕了真正用戶的代價,因此需要實現低錯誤接受率(False Acceptance Rate,FAR)的認證。反之,對于認證安全需求較低的場景,考慮到用戶友好性,需要實現低錯誤拒絕率(False Rejection Rate,FRR)的認證?；谏鲜稣f明,文中定義了兩個參數:錯誤接受非法用戶的全局代價CFA以及錯誤拒絕合法用戶的全局代價CFR。當認證安全需求較高時,認證系統的錯誤接受率應盡可能低,以防止非法用戶被誤認為合法用戶,則此時錯誤接受非法用戶的代價CFA應較大。反之,當認證安全需求較低時,錯誤拒絕合法用戶的代價CFR應較大,以提升用戶體驗。綜上,當前上下文中認證系統的全局錯誤率為

E=CFAFAR(η)+CFRFRR(η) ,

(1)

其中,FAR(η)和FRR(η)分別表示在決策閾值為η時認證系統的全局錯誤接受率和錯誤拒絕率。值得注意的是,一般通過FAR+FRR來計算全局錯誤率,此時錯誤接受率和錯誤拒絕率的權重都為1,總和為2。因此,設置CFA+CFR=2,以保證全局錯誤率計算的一致性。則式(1)可重寫為

E=CFAFAR(η)+(2-CFA)FRR(η) 。

(2)

綜上所述,CFA可視為對認證安全需求的量化,其范圍為[0,2]。文中以0.1為步長將不同的認證安全需求量化成21個不同的安全等級。綜上所述,可通過最小化多模態認證系統的全局錯誤率E來為不同的認證安全等級選擇最佳融合策略和決策閾值,以達到系統最佳的認證性能。

3.1.2 預定義的分數級融合規則

首先預定義了4種通用的分數級融合規則,包括加權平均(sum)、加權乘積(product)、加權指數(exp)和以及加權雙曲正切(tanh)。具體計算方式如式(3)～式(6),其中,wi為第i種模態的融合參數,N為融合的生物模態的數量,Si為各模態的用戶認證得分。此外,文中進一步考慮了5種基于t-norm的分數級融合規則,以減少不同生物模態認證器間的沖突,提高認證性能。兩種模態融合分數S=T(S1,S2)的計算式如式(7)～式(11),其中w為融合參數,若需更多種模態融合,則計算方式為S=T(T(S1,S2,…,SN-1),SN)。在實際使用中,融合規則可根據需求任意擴展。

(3)

(4)

(5)

(6)

Einstrinproduct:T(S1,S2)=S1S2/(2-(S1+S2-S1S2)) ,

(7)

Hamacher:T(S1,S2)=S1S2/(S1+S2-S1S2) ,

(8)

(9)

Frank:T(S1,S2)=logw(1+(wS1-1)(wS2-1)/(w-1)) ,

(10)

Yager:T(S1,S2)=max(1-((1-S1)w+(1-S2)w)1/w,0) 。

(11)

3.1.3 基于自適應粒子群優化的自適應融合策略選擇

為了使E最小,本方案基于自適應粒子群優化算法[31]在所有預定義的分數級融合規則、融合參數以及決策閾值中進行搜索,以確定最佳的融合策略組合。自適應粒子群優化算法通過結合參數自適應方法和精英學習策略,使搜索能夠跳出潛在的局部最優值,具體的步驟如下:

(12)

(13)

其中?∈[0,1]為慣性權重,用于平衡收斂速度;c1∈N*,c2∈N*為加速系數,c1表示粒子自認知,有利于局部探索以及保持粒子群體的多樣性,c2表示群體影響力,有利于促使粒子群體快速收斂到全局最優位置;rand(·)是在[0,1]范圍內生成的N+1維均勻分布的隨機數。

為防止搜索陷入局部極值以及提高搜索精度,在每次迭代結束后,需要根據當前粒子群分布更新粒子屬性參數,即?、c1和c2,具體更新過程如圖2所示。其中,相鄰兩次迭代之間參數的最大增量或減量由式(14)決定:

圖2 更新粒子屬性參數過程

|ci(t+1)-ci(t)|≤δ,i=1,2 ,

(14)

其中,δ∈[0.05,0.1]為加速率,當需要“略微”改變時,使用0.5δ作為加速率。值得注意的是,當進化狀態為收斂時,更新算法執行精英學習策略(Elitist Learning Strategy,ELS),該策略作用于當前全局最優粒子的隨機一個維度,在其上添加高斯擾動,達到跳出局部最優值的目的。

基于以上所述自適應粒子群優化算法,結合預定義的分數級融合規則、融合規則參數以及決策閾值來搜索最佳的融合策略組合。由于融合規則是離散的,而自適應粒子群優化算法只能對連續值進行處理,因此分別對每種融合規則進行搜索,對比后選取其中最佳融合策略。最佳融合策略搜索算法過程如下。

算法1最佳融合策略搜索算法。

輸入:K種融合規則fusion(·),CFA,E,優化算法optimization(·),粒子群搜索空間particle

輸出:最佳融合規則result,融合參數w(若存在)、決策閾值η,最小錯誤率E

① BEGIN

② FOR k=1,2,…,K DO

③ particle=(w′,η′);

④ (w′,η′,E′)=optimization(particle);

⑤ IFE′

⑥ result=fusion(k),E=E′,w=w′,η=η′;

⑦ END

⑧ END FOR

⑨ END

3.2 認證階段

在此階段,認證系統結合采集的多模生物特征和自適應階段所選擇的融合策略對用戶進行身份認證。認證的具體過程為:首先,設備通過傳感器采集N種模態的生物特征數據;然后對獲取的數據進行預處理并提取出對應的特征向量Fi(i=1,2,…,N),這些特征向量作為對應模態認證模型modeli(i=1,2,…,N)的輸入,分別輸出用戶認證分數Si(i=1,2,…,N);接著結合自適應階段確定的融合策略,將得到的多模態用戶身份認證得分進行融合后得到最終的認證分數S;最后將S與自適應階段獲得的決策閾值η進行比較,以完成對用戶的認證。其中,認證模型modeli是根據第i個模態的數據訓練得到的,文中采用支持向量機(Support Vector Machine,SVM)模型進行訓練,得到認證模型。

支持向量機是一種二分類模型,它的學習策略是間隔最大化,即求解能夠正確劃分訓練數據集并且幾何間隔最大的分離超平面。文中在給定第i個模態訓練集的情況下,利用支持向量機算法學習得到一個認證模型modeli,即找到一個最優分離超平面,使樣本到這個超平面的距離最大,以保證測試數據能被正確的分類。

4 實驗驗證與分析

所提出的方案基于用戶的上下文信息來量化認證安全需求,與采用生理特征的文獻[24-25]相比,上下文信息能反映更真實的認證環境,進而確定更符合實際的認證安全等級。因此,基于一個公開的數據集[32]進行實驗,該數據包含兩種行為模態:觸屏時觸控傳感器行為和運動傳感器行為。首先證明了提出的基于自適應粒子群優化的自適應多模態認證方案的可行性和有效性。然后,與現有方案進行了對比,在相同認證安全等級下,所提出的多模態認證系統全局錯誤率更小、認證性能更好。

4.1 數據集描述

文獻[32]中介紹了一個公開的大規模行為數據集,該數據集包含100位用戶的行為數據,每個用戶分別在閱讀、輸入文本和地圖導航3個任務中執行8次會話任務,每個會話持續15分鐘。在執行會話過程中,記錄了加速度計,陀螺儀及磁力計等運動傳感器讀數以及觸控傳感器數據。本次實驗中使用了該數據100位用戶在閱讀時的觸控和運動傳感器所有8個會話的數據,分別作為觸屏時觸控傳感器行為生物特征和運動傳感器行為生物特征原始數據。

4.2 單模態認證

為了獲取后續用于融合的生物模態認證分數,分別進行了上述兩種行為的單模態實驗。實驗時,將用戶自己數據作為合法用戶數據,其他用戶數據作為非法用戶數據,混合劃分訓練集和測試集,劃分比例為7∶3。模型訓練時,利用訓練集,經過預處理、特征提取和支持向量機模型訓練幾個步驟后,獲得訓練模型;認證評估時,利用測試集,經過預處理、特征提取和模型認證之后,獲取到當前用戶是合法用戶的分數,該分數在[0,1]范圍內,之后的融合實驗是在此分數上進行的。

圖3顯示了兩種行為生物特征認證的受試者工作特征曲線(Receiver Operating characteristic Curve,ROC),體現了在不同決策閾值下的錯誤接受率(False Acceptance Rate,FAR)和正確接收率(True Accept Rate,TAR)的變化關系,其中FRR=1-TAR,等錯誤率(Equal Error Rate,EER)為錯誤接受率和錯誤拒絕率相等時的錯誤率。當認證安全需求較高時,應選擇受試者工作特征曲線上錯誤接受率較低的點所對應閾值,即曲線上靠近左下角的點。反之,當認證安全需求較低時,考慮到用戶便利性,應選擇靠近受試者工作特征曲線右上角的點。

圖3 兩種行為生物特征認證時的ROC圖

4.3 自適應融合多模態認證評估

在上述單模態實驗獲取的認證分數的基礎上,為了對提出的自適應融合多模態認證系統的可行性和有效性進行驗證,將上述認證分數數據按1∶1比例劃分成了學習集和評估集。學習集用來學習不同認證安全等級下的融合策略,學習到的參數將在評估集上進行驗證和評估分析。此外,在利用自適應粒子群優化算法進行搜索過程中,設置粒子群規模大小為100,初始參數設置為?=0.9,c1=1,c2=1,當搜索迭代次數達到100次時,流程終止。

本方案在不同認證安全等級下選取的融合策略如表1所示?？梢钥闯?在[0.6,1.9]范圍內的認證安全等級均選擇了t-norm融合規則,充分說明了t-norm的優勢。此外,與圖3所示的單模態認證對比可知,在不同認證安全等級下,本方案均實現了更低的全局錯誤率,說明本方案的認證性能更好,且靈活度更高。

表1 在不同認證安全等級下選取的融合策略(-表示任意)

圖4表示當CFA=0.6時,自適應融合策略選擇方法在尋求最優解的過程中全局錯誤率的變化情況。從圖中可看出,隨著迭代次數增加,錯誤率減少后趨于平穩。不同認證安全等級下和不同融合規則下的最小全局錯誤率如圖5所示,可以看出文中預定義的融合規則在學習集和評估集上都能實現較小的最小全局錯誤率,表明了認證系統的有效性。此外,相同的認證安全等級下,學習集和評估集上的最小全局錯誤率相似,表明了學習到的參數適用于實際的認證系統中。

圖4 最優融合策略搜索過程中全局錯誤率變化(CFA=0.6)

(a) 學習集

4.4 相關文獻對比

文獻[24-25]提出了自適應的多模態認證方法,其中,文獻[24]重點關注基于粒子群優化算法的自適應決策級融合的多模態認證,文獻[25]重點關注分數級融合的認證。文中根據上下文信息自適應地確定安全認證等級,提供了更全面的融合規則,采用自適應粒子群優化算法能夠跳出潛在的局部最優值,進而找到最優的融合策略。圖6和圖7分別展示了在不同認證安全等級下,文中方案與對比方案[24-25]在相同學習集和評估集上獲取的全局錯誤率。從圖中可以看出,在任意認證安全等級下,本方案均實現了更小的全局錯誤率,表明所提出的多模態認證系統的搜索精度更高,認證性能更好。

(a) 學習集

(a) 學習集

表2展示了文中方案與文獻[24]和文獻[25]在相同評估集上執行認證和搜索算法的時間開銷。具體而言,文中使用粒子群優化算法和自適應粒子群優化算法為21個不同的安全等級搜索融合策略,并使用18 000個樣本在不同的安全等級下分別進行了5輪認證,以求取平均時間。由表2可知,文中方案的認證時間更短,表明自適應選擇的融合策略是最優的;自適應粒子群優化算法搜索的時間比粒子群優化算法的長,這是因為主動跳出潛在局部最優解是耗時的。值得注意的是,文中采用的自適應粒子群優化算法搜索最佳融合策略的過程可以根據不同的安全等級離線完成,在認證過程中可根據當前場景的安全等級直接使用最佳融合策略。

表2 執行認證與搜索算法時間開銷對比

此外,與最近所提出的多模態生物認證方案[27-30]相比,文中所提出的基于上下文自適應分數級融合的認證方法更加靈活,不需要固定融合規則或參數,而是根據不同的認證安全等級自適應地選擇最佳的融合策略,從而為不同的場景提供安全的認證,同時保證系統具備最優的認證性能。

5 結束語

針對現有多模態融合研究中存在使用固定規則和參數的融合策略、不能根據上下文靈活調整認證安全需求的問題,文中提出了基于自適應粒子群優化的自適應分數級融合多模態認證方案。該方案能夠根據用戶的上下文信息變化自適應地選擇最佳融合策略,保證系統具有最佳的認證性能。首先,自適應粒子群優化算法根據認證安全等級和預定義的分數級融合規則自適應地選擇最佳的融合策略。其次,多個生物特征模態的認證分數經過最佳融合后可對用戶身份進行認證。再次,在公開的行為特征數據集上評估了本方案的可行性和有效性;與現有的方案相比,在相同認證安全等級下本方案的搜索精度更高,全局錯誤率更小。在未來的工作中,將增加生物特征模態的數量對所提出方案進行全面的實驗評估。