赤足足跡識別研究綜述

王 昆，郭 威+，王尊嚴，韓文強

1.中國人民公安大學 偵查學院，北京 100038

2.刑事科學技術北京市重點實驗室，北京 100038

赤足足跡識別技術是圖像識別技術的一個子領域，在刑偵、醫療以及安全領域具有重要的意義。在訴訟實踐中，赤足足跡的識別與鑒定在偵查破案和案件審判中發揮著重要的作用[1]，比如，在偵查破案過程中可以幫助分析案情，判斷足跡遺留人員的人身特點，判斷作案人數以及為追蹤逃犯嫌疑人提供線索；在案件審判中有助于識別人身，與其他證據相互印證從而直接認定人身同一[2]。赤足足跡識別技術在醫療和安全領域也起著重要作用。它可以幫助診斷足部相關的疾病，如糖尿病足、扁平足、腳氣等，也可以檢測足部的健康和功能狀況。它還可以作為一種輔助的生物識別技術，用于一些高安全性的場所，如機場、銀行、軍事基地等[1-2]。

赤足足跡識別技術或將成為一種新的人身識別手段，比如，若能證明動態足壓具有穩定性與特異性，可以利用壓力足跡進行人身識別，則可以嘗試將足底壓力信息作為門禁等人身識別系統的“雙保險”，甚至直接作為其判斷依據。近些年，赤足足跡識別技術發展迅速，各種研究成果不斷涌現，因此，對赤足足跡識別技術的發展歷程與研究現狀進行綜述對后續研究具有十分重要的意義。

表1 將五種發展較為成熟的人身識別方式與赤足足跡識別（表中為“赤足識別”）的原理、特點、不足、應用場景、普及度以及準確度進行對比。與其他人身識別方法相比，赤足足跡識別具有獨特的優勢，即赤足難以偽造，并有助于刻畫身高、體態等人身特征。但同時，赤足足跡識別也存在局限性，由于赤足的采集在較多場合相對不便，并且采用接觸式識別方式，還需考慮到相關的衛生問題，其應用場景有一定的局限性。就識別精度而言，較多赤足足跡識別方法的正確識別率都能達到90%以上，但相比于其他人身識別方式，其識別準確度目前仍相對較低。因此，赤足足跡識別的研究亟待豐富與完善。由于成趟赤足足跡圖像可以刻畫行人步態，在現有識別方法的基礎上結合行人的步角等步幅特征分析有助于提高識別準確率。

表1 六種人身識別方式對比Table 1 Comparison of six personal identification methods

自2005 年以來，赤足足跡識別技術開始興起并逐漸發展，不斷有新的方法被提出來。近年來，隨著深度學習在圖像識別領域的廣泛應用，基于深度學習的赤足足跡識別方法開始出現，這類方法能夠更好地進行特征提取、學習和相似度度量，使得赤足足跡識別技術進入到一個新的階段。同時，赤足足跡識別技術的發展也面臨著一些問題。

由于目前赤足足跡識別技術的研究流程沒有得到統一規范，并且較多研究只針對其采集的特定數據集，從而導致其最終的研究成果不具有普適性，不能應用于實際，因此規范赤足足跡識別流程、將赤足足跡圖像科學分類、規范建立數據集是迫切而必要的。本文首先按照采集方式的不同將赤足足跡圖像分為四類，然后對各類圖像的優缺點和應用場景等進行介紹，并梳理足跡圖像的預處理過程；接著介紹兩類赤足足跡識別方法，分別是基于傳統機器學習的方法（即“傳統方法”）和基于深度學習的方法，從多個方面對各種識別方法進行對比，同時給出基于深度學習方法的評價指標；最后指出赤足足跡識別技術目前面臨的問題，并對該技術的前景進行展望。

1 赤足足跡識別技術

1.1 赤足足跡數據集

為了進行赤足足跡識別，研究人員需要先建立一個較大的赤足足跡數據庫[3]。目前，由于缺乏公開的大型赤足足跡數據集，研究人員只能自行采集所需的赤足足跡數據。然而，各個研究團隊之間沒有統一的采集規范，導致收集的足跡數據可能存在偏向性和不可比性。因此，規范建立赤足足跡數據集具有十分重要的意義。

根據遺留方式的不同可以將赤足足跡分為靜態赤足足跡和動態赤足足跡[4-5]。靜態赤足足跡是指采集者靜止站立時形成的足跡，動態赤足足跡是指采集者行走時形成的足跡[6]。在采集過程中，應注意區分這兩種類型的赤足足跡，并且應重點關注動態赤足足跡，因為其能夠反映出更多的信息，更接近現場情況，對案件偵查更有意義。方敏詳細闡述了靜態赤足足跡和動態赤足足跡的采集規范[5]。另外，還可以根據承痕客體表面形態是否變化分為平面赤足足跡和立體赤足足跡[7]，目前實驗人員通常利用平面赤足足跡進行識別。

赤足足跡圖像根據不同的采集方式可以分為油墨捺印足跡圖像、足底掃描圖像、光學足跡采集設備采集的足跡圖像（或稱“光學”足跡圖像）以及足跡壓力采集系統采集的足壓圖像[4-5]，如圖1所示。光學足跡采集設備和足跡壓力采集設備如圖2[8]所示。

圖1 四種不同采集方式得到的赤足足跡圖像Fig.1 Bare footprint images acquired by four different acquisition methods

圖2 兩種不同的赤足足跡采集設備Fig.2 Two different pieces of bare footprint acquisition equipment

圖3[9]顯示了光學足跡采集設備采集足跡圖像的成像過程。光源發出的光穿過透明玻璃，以極小的角度照射在反光彈性帶的拋光面上。當實驗者腳踩到反光帶的反面時，由于受力不均，拋光面上會形成不同高度的向下凸起。在沒有壓力的位置（即腳未與反光帶反面接觸的位置），光線發生折射不形成圖像[10]；對于有壓力的位置，壓力越高，凸起越高，這些凸起使得光線被反射到平面鏡上，光線再次反射后最終被照相機捕獲，從而形成了足跡圖像[9]。光學足跡采集設備采集到的原始足跡圖像是256 級的灰度圖像，灰度值越小的地方足壓越大。

圖3 光學足跡采集設備成像過程Fig.3 Imaging process of optical footprint collection equipment

足跡壓力采集設備內部由壓阻式傳感器構成，能夠根據壓力板上各個位置壓力的不同生成對應的足壓圖像并將其存入到采集軟件中。足跡壓力采集系統采集的足壓圖像可以反映采集者行走過程中足底壓力的變化以及由此產生的足跡特征等信息，常與行走運動形態的研究相結合，因此足壓圖像的識別對于步態特征的研究具有重要意義。

表2 介紹了四種用于赤足識別的足跡圖像的采集原理、優缺點、應用場景和當前使用率?！肮鈱W”足跡圖像和足壓圖像相比于早期赤足足跡識別所采用的油墨捺印足跡圖像和足底掃描圖像具有更大的優勢，比如更利于構建大型數據集，圖像質量更高，識別效果更好等。鑒于此，目前赤足足跡識別研究人員通常采用這兩種圖像構建數據集，而利用其他種類足跡圖像進行識別的研究已經很少，因此本文后續對實驗流程的梳理和對方法的介紹均只針對“光學”足跡圖像和足壓圖像。

表2 四種赤足足跡圖像對比Table 2 Comparison of four bare footprint images

1.2 圖像預處理

對于光學足跡采集設備采集的足跡圖像，在傳統的赤足足跡識別方法中，其圖像預處理過程主要分為：去標尺、去噪、標準化和數據集劃分。在基于深度學習的赤足足跡識別方法中，其圖像預處理過程還包括數據集增廣。相比于光學足跡采集設備采集的足跡圖像，足跡壓力采集系統采集的足壓圖像的圖像預處理過程少了去標尺操作。赤足足跡圖像預處理流程如圖4 所示。下面對赤足足跡圖像的預處理過程進行介紹。

圖4 赤足足跡圖像預處理流程圖Fig.4 Flow chart of bare footprint image preprocessing

1.2.1 去標尺

使用光學足跡采集設備采集到的足跡圖像中含有標尺部分，為了避免標尺對赤足足跡識別過程產生干擾，需要先對足跡圖像進行去標尺操作。由于標尺區域是固定的，將該標尺區域的灰度值賦值為255，即用白色填充該區域后，可以去除圖像中的標尺[16]。去標尺操作可由Matlab實現[5]。

1.2.2 去噪

在利用光學足跡采集設備采集足跡圖像過程中，光線和灰塵等因素可能會對生成的足跡圖像造成干擾，從而導致一部分足跡圖像中存在較多的椒鹽噪聲；在利用足跡壓力采集系統采集足壓圖像的過程中，人為噪聲、足跡采集設備的內部噪聲以及數據傳輸過程中產生的噪聲也都不可避免，因此需要對采集到的足跡圖像進行去噪處理。由于中值濾波能夠保留完整的足跡輪廓信息，從而保證足跡圖像的細節信息不被破壞，實驗人員常常采用中值濾波對足跡圖像進行去噪。鮑文霞等人使用5×5 的窗口對足跡圖像進行中值濾波，消除了光學足跡采集設備采集的足跡圖像中的椒鹽噪聲[10]，之后又采用3×3的窗口對足跡壓力采集系統采集的足壓圖像進行中值濾波，完成了足壓圖像的去噪[17]。由于噪聲處的像素值通常較大，使得噪聲不易在圖像上被分辨，方敏使用對比度增強方法去噪，首先將每幅足跡圖像都乘上一個大小介于0 到1 之間的系數，提高了圖像的對比度，將顆粒狀痕跡顯現出來，并人工去除這些痕跡噪聲，最后將人工處理后的圖像除以該系數，得到了去噪后的足跡圖像[5]。王鵬鵬等人將已去標尺的足跡圖像分別進行灰度反轉和二值化，并將獲得的兩幅足跡圖像逐點相乘最終得到去噪后的足跡圖像[18]。

由于足跡采集設備可能因長期使用而導致密封性不好，采集到的足跡圖像容易受到灰塵噪聲的影響?；覊m噪聲與椒鹽噪聲和高斯噪聲有很大區別，其特征是：噪聲點分布隨機，但總是聚集在一起；噪聲點強度值與足跡區域強度值大小相似；噪聲連通區域的面積總是小于足跡主要部分的面積。鑒于灰塵噪聲具有以上特性，Wang 等人提出了區域秩濾波器，通過消除較小的區域來過濾噪聲[9]。汪桐生采用掃描線濾波算法對足跡圖像進行濾波，去除了足跡圖像中的噪聲[6]。由于足跡壓力采集系統采集的足壓圖像足跟處出現噪聲點的概率相對較高，梁棟等人在對整個足壓圖像去噪后，又對足跟處單獨設定一個閾值進一步去除足跟處噪聲[19]。

在進行圖像去噪操作后，可以進一步對赤足足跡圖像進行圖像增強。鮑文霞等人采用直方圖均衡化方法對足跡圖像進行增強，取得了良好的效果[10]。

圖5[20]顯示了光學足跡采集設備采集的足跡圖像去標尺與去噪過程，圖6[20]顯示了足跡壓力采集系統采集的足壓圖像去噪過程。

圖5 “光學”足跡圖像去標尺與濾波去噪過程Fig.5 De-scaling and filtering denoising process of“optical”footprint images

圖6 足壓圖像濾波去噪過程Fig.6 Filtering denoising process of foot pressure images

1.2.3 標準化

足跡圖像的標準化對于后續進行赤足足跡識別具有重要意義，其作用主要體現在以下三個方面：首先，足跡圖像標準化可以把有量綱的數據轉換為無量綱的數據，從而約束數據的分布，保證了數據的一致性；其次，由于足跡采集設備在采集足跡圖像的過程中會受到光線等因素的干擾，從而導致足跡圖像上的像素值大小有較大的差異，而歸一化操作可以使得圖像上的像素值變為0 到1 之間的小數，減小了差異值所造成的影響；最后，標準化后的數據集不但能夠加快模型在訓練過程中的收斂速度，而且可以提高模型的精度。目前常用的歸一化方法包括zscore 標準歸一化和極大極小值歸一化方法。z-score標準歸一化能夠減小足跡圖像灰度值分布的差異性，因此實驗人員更加傾向于采用此方法進行足跡圖像的標準化[5]。將足跡圖像的大小以及分辨率進行歸一化之前，若實驗需要，還可以把赤足足跡的方向進行歸一化，從而保證足跡圖像腳尖朝上、腳跟在下。Wang等人先把足跡圖像中足跟處沿同一個斜向上方向分布的壓力方向定義為主方向，之后將足跡沿足跟最凸點旋轉至主方向豎直向上，從而得到了足跡方向標準化后的赤足足跡圖像[9]。

1.2.4 數據集增廣

較為常用的數據增廣方法包括：旋轉、水平鏡像、垂直鏡像、平移、亮度變換、剪切以及噪聲等[21]。鮑文霞等人對濾波去噪后的兩種赤足足跡圖像分別采用垂直翻轉、水平翻轉、逆時針旋轉10°和順時針旋轉10°四種方法進行數據集增廣[20]，如圖7和圖8所示；汪桐生采用數據擦除增廣方式[22]對足壓圖像數據集進行增廣操作，即隨機框選出足壓圖像中的部分區域并進行擦除，進而得到殘缺足壓圖像[6]。采用經過殘缺足壓圖像增廣后的數據集進行赤足足跡識別，增加了網絡對于殘缺壓力足跡識別的魯棒性，降低了網絡的擬合時間，提高了卷積神經網絡對殘缺足壓圖像檢索的自適應能力。

圖7 “光學”足跡圖像數據集的四種增廣方法Fig.7 Four methods of augmenting dataset of“optical”footprint images

圖8 足壓圖像數據集的四種增廣方法Fig.8 Four methods of augmenting dataset of foot pressure images

1.2.5 數據集劃分

在傳統的赤足足跡識別方法中，為了驗證所采用方法的優越性，可以將赤足足跡數據集劃分為訓練集和測試集；在深度學習中，為了訓練神經網絡模型并防止模型的過擬合，可以將赤足足跡數據集劃分為訓練集、驗證集和測試集[3]。數據集劃分完成后，就可以進行赤足足跡識別實驗，設計合適的赤足足跡識別方法，構建性能良好的網絡模型。

1.3 識別方法

根據是否運用深度學習的方法，可以將赤足足跡識別方法分為傳統赤足足跡識別方法和基于深度學習的赤足足跡識別方法。傳統的赤足足跡識別方法在2018 年以前在赤足足跡識別中具有廣泛的應用，對于赤足足跡識別技術的發展具有不可磨滅的重要意義。2006 年，Hinton 等人提出了深度學習的概念[23]，它是包含多個隱藏層的一種神經網絡結構，能夠更抽象、更深層次地描述目標對象的屬性和特征[24]。深度學習具有較快的數據處理速度、較強特征提取能力以及較高的識別精度，被越來越廣泛地應用在圖像識別領域[25]。自2018 年開始，基于深度學習的赤足足跡識別方法開始不斷地涌現出來，使得赤足足跡識別技術進一步發展，進入了一個新的階段。下面將對傳統赤足足跡識別方法和基于深度學習的赤足足跡識別方法分別進行介紹。

1.3.1 傳統赤足足跡識別方法

傳統的赤足足跡識別方法通常是先對足跡圖像進行特征提取與選擇，再計算特征之間的相似度，最后利用分類器給出識別結果。識別準確率通常是評價傳統赤足足跡識別方法性能優劣的指標。傳統的赤足足跡識別方法流程圖如圖9 所示。表3 從多個方面對已有的較為經典的傳統赤足足跡識別方法進行比對。

圖9 傳統赤足足跡識別方法流程圖Fig.9 Flow chart of traditional bare footprint recognition method

表3 傳統赤足足跡識別方法對比Table 3 Comparison of traditional bare footprint recognition methods

傳統方法在特征提取過程中，不但可以提取足壓圖像的形態特征、壓力特征、卷積特征、拉普拉斯特征，還可以提取光學足跡采集設備采集的足跡圖像的形態特征和局部相位量化（local phase quantization，LPQ）特征，并可以進一步對特征進行優化融合。為了計算圖像之間的相似度，可以采用度量學習等方法。實驗人員常用支持向量機（support vector machine，SVM）分類器或K 近鄰（K-nearest neighbor，KNN）分類器進行足跡圖像的識別，而采用度量學習核函數的SVM方法能夠進一步提高足跡識別率。圖10 顯示了一個較為經典的傳統赤足足跡圖像識別方法[10]的算法流程。

圖10 傳統赤足足跡圖像識別方法算法流程圖Fig.10 Algorithm flow chart of traditional bare footprint image recognition method

1.3.2 基于深度學習的赤足足跡識別方法

大多數的傳統赤足足跡識別方法都能取得較高的平均識別率，但是當數據集較大時，這類方法并不能快速高效地得出分類識別的結果?；谏疃葘W習的赤足足跡方法不但可以克服這一缺點，而且具有更強的特征提取能力和更高的識別精度，因此該方法逐漸成為赤足足跡識別領域的研究熱點。

基于深度學習的赤足足跡識別方法通常包括以下四個步驟：構建網絡結構模型、特征提取與學習、相似度計算、模型得出識別結果?；谏疃葘W習的赤足足跡識別方法的流程圖如圖11 所示。后文對基于深度學習的赤足足跡識別方法的評價指標進行總結，然后進一步詳細介紹并從多方面對比多種能夠反映研究現狀的識別方法。

圖11 基于深度學習的赤足足跡識別方法流程圖Fig.11 Flow chart of bare footprint recognition method based on deep learning

1.3.2.1 評價指標

在赤足足跡識別實驗中，實驗人員通常通過比較各赤足足跡識別方法取得的平均識別率（或正確識別率）來證明其所采用方法的優越性。在赤足足跡圖像檢索的實驗中，由于實驗數據集較大，除了通過比較各個方法的識別準確率，還可以通過比較其他指標來證明所提出方法的優越性，比如：前i個檢索結果精度P@k、平均精度均值（mean average precision，mAP）以及在累積匹配（cumulative match characteristic，CMC）曲線中表示檢索集中前K個檢索結果中出現正確匹配的概率RankK等。文獻[3]利用Rank1、Rank5、Rank10 以及mAP這4 個指標來反映赤足足跡跨模態檢索的準確度，通過與其他兩種方法的對比，表明其提出的HPM+Separate Triplet Loss算法取得了較高的精度；文獻[17]采用了Rank1、mAP和P@k作為實驗的評價指標，通過與其他方法對比，證明了其提出的赤足足跡圖像跨模態檢索方法的優越性。式（1）到式（4）反映了Rank1、mAP和P@k這3個評價指標的計算過程：

式中，M為查詢集的大??；δ(1)表示查詢圖像標簽是否與返回的第1 個結果相同，相同為1，不相同為0；k為返回的足跡圖像的數量；TP為k個結果中與標簽相同的足跡圖像的數量；AP為每幅足跡圖像的平均相似度；P@k為前i個識別結果的準確度；δ(i)表示查詢圖像標簽是否與返回的第i個結果相同，相同為1，不相同為0。

文獻[36]還設置了消融實驗驗證其構建的置信函數的影響，結果表明，同時使用信息熵和方差作為評價指標評價區域信息時，模型會取得相對最優的性能。

1.3.2.2 方法對比

在基于深度學習的赤足足跡方法中，深度卷積神經網絡（deep convolutional neural network，DCNN）已成為大多數計算機視覺相關任務中最廣泛使用的解決方案[37]。為了提高網絡的性能，實驗人員可以在網絡結構上進行創新，也可以對損失函數進行優化。表4 從多個方面對若干較新的基于深度學習的赤足足跡識別方法進行對比，其中幾乎所有方法都從網絡結構方面進行了創新，最后四種方法還對損失函數進行了優化。

表4 基于深度學習的赤足足跡識別方法對比Table 4 Comparison of bare footprint recognition methods based on deep learning

1.3.2.3 方法小結

網絡結構創新方法在網絡結構上進行創新可以在網絡結構中添加特征融合模塊、注意力機制模塊、引入殘差網絡以及使用較為復雜的網絡結構（如引入分支結構的網絡）等。對于跨模態足跡檢索網絡結構，還可以引入特征嵌入模塊。不同的網絡結構創新方法可以解決赤足足跡識別過程中的不同問題，進一步提高模型性能和識別準確率，使得赤足足跡識別技術愈發完善與成熟。

損失函數優化方法對多個損失函數進行融合可以實現損失函數的優化。優化損失函數可以提高模型性能，加快模型訓練速度并改善模型穩定性。優化損失函數在赤足足跡識別中也具有重要作用，通過選擇合適的損失函數和優化算法，可以提高赤足足跡識別模型的準確率和泛化能力，并加快識別速度。

對網絡結構進行優化是較為普遍的選擇，在對網絡結構進行優化的基礎上優化損失函數會進一步提高模型的性能，實現更高的識別準確率。在確定好神經網絡結構模型后，需要初始化學習率等訓練參數，然后在訓練集上對網絡進行訓練，可以利用損失函數進行度量學習，最后利用訓練好的網絡模型進行赤足足跡識別。由于模型中含有相似度分數計算模塊，模型可以根據計算出的相似度分數得出最終的識別結果。

對于基于深度學習的赤足足跡識別方法，特征提取與學習是至關重要的一個階段。多數方法的創新點在于對特征提取和學習過程進行優化。能夠達到較高識別準確率的方法必須做到較好地提取顯著性特征，排除無關或不重要特征。針對這一問題，瞿金杰[45]提出了一種基于空間聚合加權注意力機制的赤足足跡識別算法。該算法先對特征圖中的所有通道進行疊加，保留特征圖的高響應區域中高于閾值的特征，并將其與特征圖相乘，從而提取出壓力足跡的降維優化后的顯著性特征，再將空間聚合加權注意力機制嵌入到VGG 網絡中，使得網絡能夠專注于處理足跡圖像中的顯著性區域。進一步地，為了提取足壓圖像中的局部特征，其又通過一種基于ResNet50 雙分支網絡的足跡識別算法提取了原始足跡圖像和重構足跡圖像的各顯著性特征，最終在足壓圖像數據集上達到了98.75%的識別準確率。圖12[45]顯示了空間聚合加權注意力機制模塊，圖13[45]顯示了基于空間聚合加權注意力機制的VGG19網絡模型，圖14[45]顯示了ResNet50雙分支網絡結構。

圖12 空間聚合加權注意力機制模塊Fig.12 Spatial aggregation weighed attention mechanism module

圖13 基于空間聚合加權注意力機制的VGG19網絡模型Fig.13 VGG19 network model based on spatial aggregation weighted attention mechanism

圖14 ResNet50雙分支網絡結構圖Fig.14 ResNet50 bilinear network structure

2 面臨的挑戰與展望

赤足足跡識別技術雖然在發展過程中已取得了一定的成果，但仍然存在一些問題。因此，未來的研究方向可以從以下幾個方面進行探索和完善：

（1）識別可行性。丁漢等人[52]的實驗表明行人自然行走狀態下的足壓是穩定的，這表明利用足壓圖像進行人身識別是有科學理論依據的。在今后的研究中，可以探究行人在不同時間段行走、以不同速度行走以及在不同負重條件下行走時足底壓力的穩定性與特異性，同時輔以探究動態足壓與步法特征的關系，從而從根源上探索出能否利用動態足壓圖像進行人身識別。

（2）成趟足跡。目前尚未有研究利用成趟足跡圖像進行赤足足跡識別。由于現場赤足足跡大多是成趟足跡，出現單個足跡的情況較少，而成趟足跡又可以反映出行走人更多的信息，比如可以推斷犯罪現場的作案人數，確定行走人的步法特征，因此未來的研究可致力于探索成趟足跡的識別問題，以推動刑事偵查技術的進步，并使赤足足跡識別研究更加具有現實意義。成趟赤足足跡可以刻畫行人的步態，并且已有研究表明不同人在行走時的步長、步寬、步角是存在較大差異的，而步角的人身特定性則更為明顯。在現有識別方法的基礎上結合成趟赤足足跡圖像的步角等步幅特征分析可能極大提高赤足足跡的識別率。

（3）殘缺足跡。由于現場足跡不一定都是完整的，對殘缺足跡進行識別也具有十分重要的意義。目前關于殘缺足跡識別的研究很少，高梓健[47]將殘缺前掌壓力圖像和殘缺足跟壓力圖像輸入嵌入模塊，通過范數正則化得到各足壓圖像間相關矩陣，相關矩陣融合標簽one-hot 向量，再采用多分支多層級更新模塊進行聚合更新，根據權重矩陣更新圖結構，最后將兩子圖融合并實現殘缺足壓圖像分類。實驗人員可在此基礎上進一步探索性能更好的殘缺赤足足跡識別方法，比如可以設計合適的反演算法將殘缺足跡補全得到完整足跡，之后再進行識別。

（4）采集儀器?，F有的足跡壓力采集設備和光學足跡采集設備采集的足跡圖像質量并不高。今后可以采用更加靈敏的足跡壓力采集設備采集足壓圖像，使得采集到的足壓圖像可以反映更加細致豐富的壓力信息，具有更加清晰的輪廓；也可以采用性能更加良好的光學足跡采集設備采集足跡圖像，減少足跡圖像的噪聲，從而使足跡圖像的預處理過程更加高效。

（5）公開數據集。目前仍沒有一個較大的公開赤足足跡數據集。對于基于深度學習的赤足足跡識別方法，可以進一步擴大赤足足跡圖像數據集，更為理想地，未來研究可以在統一的赤足足跡采集標準下，針對不同地區、不同年齡、不同人種以及不同性別的個體，構建大規模的公共赤足足跡圖像數據集，以便于實驗人員進行識別實驗。

（6）識別模型。目前的赤足足跡識別方法的識別準確率也有待提升。在今后研究中，可以考慮設計輕量級網絡模型，并對模型參數進行剪枝，以減少模型訓練時間并提高識別效率；采用細粒度領域方法構建模型，以更好地適應赤足足跡識別的特定任務和場景；著重改進特征提取與學習階段，提取到優質特征是取得高識別率的前提。

（7）跨模態檢索。赤足足跡圖像跨模態檢索方法同時適用于“光學”足跡圖像和足壓圖像，具有更強的普適性，因此更加值得研究。目前跨模態檢索是赤足足跡識別領域的研究熱點，鮑文霞等人對“光學”足跡圖像與足壓圖像跨模態檢索[8,20]，發現在優化損失函數的同時引入注意力機制可極大提高檢索精度。在后續實驗中，實驗人員可嘗試采用較新的網絡結構（如EfficientNet、RegNet、SENet 等）作為基本框架，引入其他注意力機制（如瓶頸注意力模塊（bottleneck attention module，BAM）、選擇性特征融合層（selective feature fusion layer，SEFL）、帶自適應共享的高效通道注意力模塊（efficient channel attention with adaptive sharing，ECA++）等），構建并優化其他損失函數（如對數損失函數、權重損失函數、焦點損失函數等）。

3 結束語

赤足足跡識別技術在近些年興起并逐漸發展，將有望成為繼指紋識別、人臉識別等生物識別技術后一種新的人身識別方式。對這一技術的流程進行規范并對其相關研究進行綜述，能夠推動該技術的發展。本文從以下四個方面對這一技術的發展進行了綜述：在數據集采集方面，本文將足跡圖像分為油墨捺印足跡圖像、足底掃描圖像、光學足跡采集設備采集的足跡圖像以及足跡壓力采集系統采集的足壓圖像，分別介紹其各自的采集原理、優缺點等，并指出“光學”足跡圖像和足壓圖像更適合構建大型赤足足跡數據集；在圖像預處理方面，本文按去標尺、去噪、標準化、數據集增廣和數據集劃分五個步驟介紹了圖像預處理過程；在識別方法方面，本文分為傳統的赤足足跡識別方法和基于深度學習的赤足足跡方法進行介紹，從改進點、優缺點、準確率等方面對各個方法進行比較，并指出基于深度學習的方法能夠更好地進行特征提取、學習和相似度度量，從而提高識別準確度；同時，本文還給出了基于深度學習的赤足足跡方法常用的評價指標，如準確識別率、CMC、Rank1、mAP和P@k等，并介紹如何利用這些評價指標對赤足足跡識別算法進行性能評估。

雖然赤足足跡識別技術在發展過程中面臨著一些問題與挑戰，但是隨著未來圖像識別技術的發展與足跡采集儀器性能的提升，通過不斷完善赤足足跡識別技術的研究，將能夠逐步克服現有問題，并使該技術應用領域更加廣泛。