基于多數據集深度學習的視覺傳感圖像目標增強識別*

董 濤，楊寶華

(遼東學院信息工程學院，遼寧 丹東 118000)

由視覺傳感器獲取的圖像均可以稱為視覺傳感圖像。視覺傳感器是指通過對攝像機拍攝到的圖像進行圖像處理，來計算對象物的特征量(面積、重心、長度、位置等)，并輸出數據和判斷結果的傳感器。由于外界信號傳輸環境的影響，視覺傳感圖像受外部因素干擾，其中信道噪聲對成像的干擾尤為嚴重，導致目標被弱化，無法準確識別。在深度學習被提出之前，目標識別主要是根據先驗知識構建各類數學模型實現，常用的背景減除法、幀差法，是利用檢測得到目標的某種數據特征構造數學模型，輸入信息并對模型進行求解，獲得識別結果。深度學習提出后，其成為傳感圖像、視覺領域中的主要解決方法之一，該方法可以增強細節信息，且算法的魯棒性和實用性較強，是目前傳感領域的研究熱點及重點。相關學者也不斷地提出一些較好的方法:

李亞娟[1]首先使用全局稀疏表示，總結出樣本和訓練類別間的相對表征能力，通過局部稀疏表示反映出針對測試樣本各類別的絕對描述能力，隨后采用D-S 證據理論將兩種稀疏表示的決策矢量進行融合，獲得識別結果。但是由于算法過于復雜，計算量較大，導致算法運行速度較慢；劉相云等[2]首先以RFB Net 模型為基礎，構建特征金字塔網絡，將特征信息和語義信息融合輸入網絡，進一步提高輸出結果準確率。但是該方法在較為復雜的圖像背景下識別精度會受到影響。Paul 等[3]提出了一種新的自適應限幅雙直方圖均衡方法來增強紅外圖像。使用對數冪過程改變輸入直方圖，對改變的直方圖執行剪切操作后，重新分布剪切部分，以限制過度增強。通過直方圖分離點方法細分修改后的直方圖，實現紅外圖像子直方圖獨立均衡。但是該方法受溫度影響較高，紅外圖像增強效果有待進一步優化。趙若晴等[4]在金文圖像預處理的基礎上，提取其結構特征和局部紋理特征。并將提取結果融合后作為樣本，通過支持向量機識別金文圖像。Li 等[5]針對衛星目標數據的流模式，采用流變分貝葉斯算法來初始化模型參數。使用計算機輔助設計模型生成的衛星目標的數據進行測試，測試結果表明，該方法可以精準識別衛星目標，避免了存儲和重復計算導致的巨大存儲負擔問題。

深度學習技術不斷成熟后革新了識別模式，學習特征更為豐富、特征表達能力更強，深度學習通過模擬人類視覺系統對接收到各類信息的處理過程，實現智能化分類，主要通過研究分析底層特征信息形成較為抽象的高層表示，獲得數據的分布特征。深度學習主要強調了兩個方面，分別為:明確模型的結構層數和突出特征學習過程。本文結合深度學習技術，以識別目標的多種特征為基礎，提出了一種視覺傳感圖像目標增強識別方法。由于顏色特征不受形變、旋轉方向以及運動速度等外界因素影響，因此本文首先采用顏色特征方法完成特征提取，隨后根據識別目標的背景區域與目標本身區域紋理特征差異性，增強圖像背景和目標間對比度，實現視覺傳感圖像增強的目標，并且為了提高計算速度，在增強的過程中將視覺傳感圖像的灰度級進行了降級運算。最后構建多特征參數卷積神經網絡模型，并在連接層后接入Softmax 回歸函數，完成分類識別。實驗分析結果驗證了所提方法的視覺傳感圖像增強和識別性能優勢，所提方法能夠準確地識別出不同場景下的火災和車輛行駛情況，識別效率更高，具有一定的實際應用價值。

1 傳感圖像的目標增強

由于識別目標的背景區域與目標本身區域紋理特征有很大不同，因此可以通過圖像的紋理特征，增強圖像背景和目標之間的對比度，實現圖像增強的目的。

1.1 基于顏色特征方法的傳感圖像特征提取

本文采用顏色特征法提取包含目標的傳感圖像的特征。顏色特征是視覺傳感圖像的特征之一，而顏色是眾多目標中，人眼可以直接感受到的特征，與其他種類特征相比，顏色特征不受形變、運動速度、旋轉方向等因素影響，是一種更具魯棒性的特征表達。以顏色特征法提取的視覺傳感圖像目標特征為基礎，減少目標增強識別時目標自身和周邊顏色的影響。

本文采用色彩直方圖完成圖像目標提取，能夠通過圖像中的顏色量化分布，由于視覺傳感圖像中目標的不同，其顏色特征也不同，因此給出某一色彩占圖像中所有顏色的比例，如式(1)所示:

式中:K為圖像像素中的某個顏色特征，nk為該特征所對應的像素數量，N表示圖像所有像素點的數量。

1.2 基于灰度值共生矩陣的目標增強

根據灰度共生矩陣可獲取視覺傳感圖像目標的紋理特征，結合1.1 部分提取的目標顏色特征，可實現視覺傳感圖像目標增強。

給定一個位移矢量d＝(dx，dy)，且元素P(i，j)表示灰度級為i和j的兩個像素對之間的相對頻率。通過加窗法在給定大小的窗口中計算圖像像素的全部像素灰度值共生矩陣與紋理特征。定義M×N窗口、角度θ(θ＝0°，45°，90°，135°，180°)、距離d以及灰度共生矩陣元素Pij如式(2)所示:

式中:I(k，l)、I(m，n)表示相鄰的兩個像素。若圖像的灰度級為256 級，其灰度共生矩陣則為256×256，計算量較大。因此在實際操作過程中將其降級為64 或32 來提升運算效率，且距離、角度和窗口大小也可以根據圖像的紋理復雜程度決定。correlation 方法能夠保證分析結果的客觀性，因此，采用correlation 方法獲取紋理特征，如式(3)所示:

式中:μx、μy為灰度均值，可通過式(4)進行計算:

σx、σy為灰度標準方差，可通過式(5)進行計算:

隨后將圖像灰度從256 級降到64 級，識別目標越小，則選擇的窗口和距離也越小。針對目標圖像中的所有像素I(x，y)，計算其窗口大小M×N鄰域的灰度共生矩陣，再通過式(3)計算出該區域的紋理特征correlation(x，y)，最后將窗口內的每個像素點的correlation(x，y)設置于256 級灰度上，獲得增強后圖像。

2 實現傳感圖像目標識別

根據1.2 部分獲取了增強后的傳感圖像，考慮到圖像中被識別目標包含多類型特征，為了優化目標識別結果，利用多數據集學習和卷積神經網絡方法估計目標區域，實現傳感圖像目標增強識別。

本文以卷積神經網絡模型為基礎完成目標識別，模型的上層由卷積層和池化層組成，下層則為連接層，在連接層后接入Softmax 回歸函數，使得模型具有分類功能。本文構建的卷積神經網絡模型中，卷積層和池化層分別有4 個、連接層有1 個，如圖1 所示。

圖1 卷積神經網絡結構圖

圖1 所示的4 個卷積層負責完成圖像中各類特征的識別工作，池化層負責使各特征在尺度空間中[6]仍能保持一定的層次性，連接層負責完成特征的分類，而后接入的Softmax 回歸函數則主要起到輸出連接層分類結果的作用。但是由于類內變化過大導致的聚類中的各特征變得分散，集群也可能出現重疊，因此采用指數Laplace 損失函數[7]降低類內特征的變化幅度，調整不同類中心的特征間距離。

設Lc為損失函數，對其進行定義，如式(6)所示:

式中:xa、ya為第a個對象從全連接層中獲得的視覺傳感圖像目標的輸入和輸出特征量，cya表示ya特征量的中心，k表示聚類過程中的對象總量，該數值由視覺傳感圖像目標數量和卷積核數量決定。在數據逆向傳播時，根據式(7)計算xa的偏導數中心:

在迭代過程中更新聚類中心為式(8):

將式(8) 中的δ(ya，a) 定義為δ(ya，a)＝，為充分利用多數據集特征信息(包括目標的顏色、輪廓、特殊動作等)，設某一樣本與其余聚類中心的距離為LMT，如式(9)所示:

式中:λ為邊界參數，為降低計算量采用隨機梯度下降法[8]更新參數，并通過多數據集的LMT值計算出模型的損失函數，完成模型的構建，如式(10)所示:

學習模型構建后，將多數據集學習與卷積神經網絡模型相結合識別圖像目標，在模型的不同區域中共享同一個問題的信息，使得模型中每一個卷積層和池化層中均擁有同一個任務數據，首先構建深度學習迭代式，如式(11)所示:

式中:Gij(x，y)表示以(xij，yij)為研究目標的深度學習灰度像素值。對目標區域作自適應分塊標記處理，獲得識別圖像，如式(12)所示:

式中:Oij(x，y)表示提取出的特征點集，則可得目標邊緣輪廓點的信息，如式(13)所示:

式中:t＝0，1，…，k，通過模板匹配法[9]分割目標區域，獲得角點掃描結果，如式(14)所示:

通過角點檢測[10-11]獲得目標區域的空間分布矩陣，如式(15)所示:

式中:Lxx(x，σ)表示梯度方向的目標輪廓，Lxy、Lyy表示匹配輪廓與二值化匹配參數，隨后確定子相關系數，如式(16)所示:

通過深度學習模型[12]將目標與整個圖像的像素進行分離[13]，提取在子相關系數(k｜k)附近的目標像素點，如式(17)所示:

則目標區域的估計結果，如式(18)所示:

至此實現視覺傳感圖像中的目標增強識別。根據上述內容，可將此次基于多數據集深度學習的視覺傳感圖像目標增強識別流程總結為圖2。

圖2 視覺傳感圖像目標增強識別流程

3 實驗與結果分析

3.1 實驗準備

為保證實驗的真實性及準確性，本文測試過程主要在MATLAB 平臺上完成，數據編譯軟件為MATLAB2019 款商業數學軟件，用于原始圖像處理及視覺信息計算等工作。同時，在實驗中設置構建的卷積神經網絡模型輸入為城市道路視覺傳感圖像，圖像1 為異?；鹎?、圖像2 為異常駕駛行為。其中異常駕駛行為的駕駛人員顏色、動作、輪廓等特征為:右手舉著手機，身穿白色上衣，戴著墨鏡。

以UAS 數據集(數據集來源于https://github.com/yuxiaoz/SGSN)中的256×256 城市道路視覺傳感圖像為仿真對象，進行具體火情測試。圖3所示為日間原始城市道路發生異?；鹎榈囊曈X傳感圖像。

圖3 原始圖像

以圖3 為基礎，從視覺傳感圖像增強效果、目標識別效果、識別效率三個方面進行分析。

3.2 視覺傳感圖像增強效果

為驗證視覺傳感圖像增強的有效性，分別采用本文方法、文獻[2]的RFB Net 遙感影像目標識別方法和文獻[3]的自適應限幅雙直方圖均衡方法對圖3 所示的原始視覺傳感圖像做增強處理，結果如圖4 所示。

圖4 不同方法增強效果圖

圖4 中，黑色邊緣線為日間城市道路發生異?；鹎榈母采w范圍。從圖4 中可以看出，以RFB Net遙感影像目標識別方法和自適應限幅雙直方圖均衡方法處理，進行視覺傳感圖像增強后，圖像邊緣出現不同程度的缺失，而本文方法處理后的視覺傳感圖像成像效果最好，且邊緣保留較為完整，有效解決了由于高斯噪聲等外界因素導致的視覺傳感圖像模糊的問題。

為了進一步測試本文方法對于視覺傳感圖像的增強效果，采用平均梯度信息作為評價指標進行客觀測試。平均梯度信息指視覺傳感圖像的邊界兩側附近灰度有明顯差異，即灰度變化率大，該變化率越大，視覺傳感圖像增強效果越好。以圖3 為例，獲取三種方法在不同圖像大小下，隨著噪聲的逐漸增加的增強效果，如表1 所示。

表1 平均梯度信息測試結果

對表1 進行分析后得出:隨著圖像中噪聲的逐漸增加，本文方法對于圖3 視覺傳感圖像的增強效果較好，并且增強后視覺傳感圖像的平均梯度信息高于0.93，受噪聲影響較小，增強效果好。

3.3 目標識別效果

由于卷積核的數量會直接影響識別性能，因此首先需要確定卷積神經網絡模型中，各卷積層中卷積核數量。一般情況下在使用深度學習對視覺傳感圖像目標進行識別的過程中，后一層卷積層中包含的卷積核數量往往為前一層的2 倍，即若第一層中包含s個卷積核，則第n(n≥2)層的卷積層中就包含2k-1×s個卷積核。根據該策略本文分別使用不同數量的卷積核進行識別，根據第一層卷積核數量，獲取剩余4 層的卷積核數量。由此得到識別率與第一層卷積核數量間關系，如圖5 所示。

圖5 第一層卷積核數量與識別率之間關系

根據圖5 可以看出，第一層卷積核的數量會嚴重影響識別效果，在第一層卷積核數量為0 個-5 個時，隨著數量的增多，識別率直線上升，但是當第一層卷積核超過5 個時，識別率升高速率變得較為緩慢，甚至幾乎沒有變化，這就表明過多的卷積核對提升識別性能幫助較小且還會使計算量增大，影響識別效率，因此本文選擇第一層卷積核數量為5 個，隨后依次計算其余層卷積核數量即可。

為進一步驗證所提方法的有效性，將確定卷積核數量的深度學習模型應用于行車駕駛人員異常行為檢測實例中。選取UAS 數據集中包含駕駛人員異常行為(撥打電話)的某臺車輛為識別目標，該駕駛人員右手舉著手機，身穿白色上衣，戴著墨鏡，將以上數據作為識別特征，分別采用三種方法對目標圖像進行識別，識別結果如圖6 所示。

圖6 不同場景識別結果圖

從圖6 中可以看出，本文方法可以準確識別出白色轎車中撥打電話的駕駛人員，人臉較清晰。相較于RFB Net 遙感影像目標識別方法和自適應限幅雙直方圖均衡方法的目標增強效果更好，因此，本文方法能夠準確地完成行車駕駛人員異常行為檢測，即可識別視覺傳感圖像中的目標，使用卷積神經網絡模型的目標增強效果較好，實用價值較高。

以視覺傳感圖像清晰度為指標，分析視覺傳感圖像質量。清晰度指視覺傳感圖像各細部影紋及其邊界的清晰程度，清晰程度越高，表明視覺傳感圖像質量越好。檢測三種方法對視覺傳感圖像增強后的圖像目標質量，統計結果如表2 所示。

表2 不同方法優化后圖像清晰度對比

由表2 對比結果可以看出，采用本文方法優化后的視覺傳感圖像清晰度均高于6.1；采用RFB Net遙感影像目標識別方法和自適應限幅雙直方圖均衡方法優化后的視覺傳感圖像清晰度均低于6.1。對比結果可以看出，本文方法優化后視覺傳感圖像具有較高的清晰度，優化后視覺傳感圖像目標質量較高，驗證本文方法具有較高的優化效果，提高了目標識別效果。

4.4 識別效率驗證

為進一步證明所提方法的識別效率是否符合實際應用需求，分別測試三種方法對40 張行車道路圖像的識別完成時間，測試結果如圖7 所示。

圖7 不同方法識別耗時對比

根據圖7 可知，在識別對象數量相同的條件下，RFB Net 遙感影像目標識別方法的耗時最長，最大耗時為14.7 s，自適應限幅雙直方圖均衡方法次之，最大耗時為10.1 s。相比之下，本文方法的用時最短，最大耗時為6.2 s，這是由于在視覺傳感圖像增強的過程中對灰度級進行了降級，且選擇了合適的卷積核數量降低了算法的計算速度。另一方面，從圖7 中還可得出，隨著識別對象數量的增加，所提方法所用時間呈線性增長，且增長速度較慢，這就表明本文方法受待識別目標數量的影響較小，在計算量較大情況下，所提方法仍能保持較理想的穩定性。

5 結論

深度學習能夠對包含多數據特征的目標進行識別，因此本文結合深度學習技術提出了一種基于多數據集深度學習的視覺傳感圖像目標增強識別。在仿真分析中將不同方法應用在道路圖像增強和目標識別實例中。測試結果表明，所提方法能夠有效增強火情圖像邊緣、根據駕駛人員的多種特征給出準確異常駕駛行為識別結果，且識別速度較快。在下一步研究過程中還可以深入識別目標的其他特征信息，使得識別所得結果更為具體，進一步減少相關人員的工作量。