基于深度學習的紫外成像儀的圖像配準與融合

崔寶京,程曉榮

(華北電力大學控制與計算機工程學院,河北 保定 071003)

1 引言

隨著科技的飛速發展,機械化、智能化程度的逐年攀高,各種電力設備應運而生,整個電力系統的負荷不斷增加,對電力系統運行的穩定性要求也在不斷提高。然而輸配電線路及相關電力設備,長期處在室外環境下運行,經過內外部力量的影響,某種程度上會出現絕緣材料損毀等問題,在相關環境條件下發生電力設備電暈放電情況[1]。電暈放電危害電力系統的穩定,易誘發重大事故,因此需要一種方法精準檢測放電位置,及時進行維護。

電氣設備在進行放電時,電暈與局部的放電位置,會向外輻射出大量紫外線[2]。由于太陽光發射出的波長在280nm以下的紫外光,幾乎完全被大氣臭氧層所吸收[3]。因此可以直接認定電力設備中檢測到的波長在280nm以下的紫外光是由電暈放電產生。紫外成像儀采用全日盲技術的原理,將紫外與可見光圖像進行雙通道融合,能在電力設備放電早期捕捉到電暈信號[4]?？紤]到檢測的準確性以及定位的精準,傳感器得到的圖像不能直接做簡單的融合,需要預先對紫外光與可見光圖像做配準處理。

目前圖像的配準已經被廣泛地應用于各個領域,各種配準方式也相繼出現。文獻[5]提出了一種基于互信息的紫外與可見光圖像配準算法,雖然配準精度較高,但耗時較長。文獻[6]提出了一種判斷式圖像的混合配準方法,能夠有效的校正劇烈形變所導致的血管損傷評估誤差,但需要基于配準組別圖像均方差值判定劇烈形變和輕微形變,相對復雜。文獻[7]提出了一種基于約束點特征的紅外與可見光圖像配準方法,采用一種對象檢測算法提取約束點特征,避免構造復雜的特征描述子,不需要刪除錯配和冗余點,提高了配準效率。引入高級語義信息,提高配準精度,但可能會造成一些關鍵性的特征丟失。

圖像配準是融合的基礎和前提[8],而提取特征又是整個配準過程中最重要的環節,能否精確提取特征直接影響配準的精度。因此,找到一種穩定且精準的提取特征的方法,對于整個圖像配準來說十分關鍵。本文提出了一種基于AlexNet網絡與果蠅優化算法(Fruit fly optimization algorithm,FOA)-小波融合的圖像配準融合方法。通過AlexNet網絡對圖像特征進行自動提取,經過多層卷積獲得待配準圖像的大量關鍵性的特征信息,進而得到兩幅圖像的空間變換參數,完成圖像配準;再結合FOA-小波算法對已配準的圖像實現融合。

2 AlexNet網絡圖像配準

2.1 AlexNet網絡

2012年,Krizhevskya和Hinton等人在深度學習思想的影響下設計了基于卷積神經網絡的AlexNet模型,AlexNet模型已在超過1000種類的100多萬張圖像上進行了訓練,學習相對豐富的特征表示[9]。對于傳統的機器學習而言,是一次歷史性的革新,開創了深層神經網絡的先河,在AlexNet網絡之后不斷涌現出更深層次的神經網絡。

AlexNet網絡是基于卷積神經網絡的一種經典模型,具有8層卷積神經網絡結構,包括5層卷積層,3層全連接層,1層softmax損失層。結構深,參數多等特點,使其相較于傳統的神經網絡而言,能夠得到更多的特征信息[10]。

AlexNet網絡在卷積神經網絡中運用ReLu作為激活函數,避免了常規的Sigmoid函數與Tanh函數在神經網絡層數較深時出現的梯度消失的問題,其函數圖像對比如圖1所示。此外ReLu函數不需要進行冪級運算,并且當輸出大于0時梯度為1,有效的保證誤差反向傳播型神經網絡權值與閾值的持續優化[11]。ReLu函數表達式如式(1)

圖1 激活函數圖像對比

f(x)=max(0,x)

(1)

AlexNet網絡引入了Dropout技術,又稱其為丟棄層。Dropout丟棄層隨機忽略部分神經元,使模型不過分依賴某些局部特征[12],防止了過擬合現象的發生,提高了模型的說泛化能力。

AlexNet網絡運用了重疊最大池化的方法,提出了池化濾波器的移動步長小于其尺寸邊長,如圖2所示,使池化層的輸出發生重疊,豐富了提取的特征信息。

圖2 重疊最大池化

AlexNet網絡應用了局部響應歸一化層(LRN),對局部神經元的活動創建競爭機制,對反饋較大的神經元進行響應放大,對響應較小的神經元進行一定抑制。這種競爭機制的建立使模型在丟棄層的基礎上進一步增強了泛化能力。AlexNet網絡在本實驗中被用作特征提取器,通過不同深度層次的5層卷積層,如圖3所示,分別提取圖像的不同特征,有效解決了人工提取特征的局限性問題,具有更好的適用性。

圖3 AlexNet網絡結構

2.2 空間變換矩陣

圖像的配準方法有很多種,但是不管哪種方法,其根本目標都是完成兩幅圖像在空間上的對應關系?；谔卣鞯呐錅史椒?在特征匹配的同時得到最佳的空間變換參數。因此圖像的配準可以看作待配準圖像以目標圖像為基準進行的空間變換過程,其變換過程用數學公式表達為

Ig(x1,y1)=F[Ir(T(x2,y2))]

(2)

上式中,Ig(x1,y1)表示為待配準圖像某點的像素值,T(x2,y2)表示空間變換時該點的矩陣參數,Ir(T(x2,y2))表示為空間變換后對應像素點的坐標,F為待配準圖像像素點變換到目標圖像對應像素點的插值操作。

構造空間變換矩陣之前,最重要的是找到待配準圖像與目標圖像的空間對應關系,確定空間變換模型。根據以往研究發現,圖像配準過程可能存在的空間變換關系有平移、縮放、旋轉以及無規則變換,如圖4所示。

圖4 空間變換關系

在紫外成像儀中,可見光鏡頭與紫外光鏡頭經過了嚴格的光學校準,在進行配準時只涉及平移操作,不需要改變圖像的形狀與大小,因此剛體變換模型完全滿足需要。剛體變換矩陣可表示為

(3)

式(3)中,(x,y)與(x′,y′)分別代表變換前后某像素點的對應坐標,dx、dy分別代表水平方向與豎直方向的平移量,θ為旋轉角度。

3 FOA-小波融合

3.1 小波變換

小波變換在處理圖像時重構能力強,不僅可以找到正交基實現無冗余的信號分解[13],又保證了信號的分解信息不被丟失。

小波變換進行圖像分解具有方向性,在提取圖像低頻信息的同時,還獲得了水平、垂直、對角線三個方向的高頻信息。進行每一層的分解時,都會生這4個子帶,下一層的分解僅對低頻信息作用。圖像的灰度信息,大多分布在低頻分量中,表征了圖像的輪廓,展示了圖像的直觀視覺[14];高頻分量代表了圖像的細節特性。整個小波變換過程分為兩個步驟,第一是源圖像的分解,第二是分解后圖像的重構。

分解產生低頻子帶信息如式(4)所示

(4)

分解產生水平方向的高頻子帶信息,如式(5)所示

(5)

分解產生垂直方向的高頻子帶信息,如式(6)所示

(6)

分解產生對角線方向的高頻子帶信息如式(7)所示

(7)

將分解信息重組,得到重構圖像,如式(8)所示

(8)

根據上述分解式(4)-(7)可知,二維小波分解的示意圖如圖5所示。

圖5 小波兩層分解示意圖

分析不同的小波融合規則適用范圍,對高頻部分采用局部方差融合規則。將兩個源圖像的高頻子帶的數據信息分別分成n個子塊,每個子塊的數據信息分別為A、B。計算高頻融合信息

(9)

式(9)中K1和K2為紫外光與可見光圖像的高頻子塊的融合加權系數。當紫外光高頻子塊的方差數值大于可見光的高頻子塊時則K1大于等于K2,反之則K1小于K2。F為融合后的高頻子圖像。

對于低頻部分采用加權平均法,通過調整權值,對融合的低頻信息進行偏好設置,可在某種程度上消除噪聲。具有實現簡單,運算效率高等優點,大大提升了整個算法的融合效率。

3.2 FOA算法

紫外光與可見光圖像,經過小波分解產生對應的分解向量。在經過一定的重構系數,得到重構向量,進而得到融合圖像。這里需要一種高效的優化算法,通過迭代尋優找到兩個圖像分解向量的最優融合參數。

果蠅優化算法(Fruit fly optimization algorithm,FOA)是基于果蠅覓食行為的仿生學原理而提出的一種智能群體優化算法[15]。通過對果蠅捕捉食物的過程進行模擬,進而實現對全局的迭代尋優,找到最優解。與粒子群算法[16]、遺傳算法[17]等優化算法相比,FOA原理易懂、操作簡單、易于實現,具有較強的局部搜索能力[18],在深度學習、人工智能領域被廣泛應用。

FOA滿足了同時優化多個參數的需求,根據優化參數個數定義種群規模,隨機初始化種群位置以及飛行方向、距離區間。由味道濃度判定函數,得到各位置果蠅濃度,每次迭代判斷味道濃度是否優于前一代味道濃度,計算公式如下

D(p,i)=(X(p,i)2+Y(p,i)2)0.5

(10)

S(p,i)=1/D(p,i)

(11)

A(i)=S(p,i)

(12)

其中D(p,i)表示種群p中第i個果蠅距離原點的位置,X(p,i)與Y(p,i)為初始化種群各果蠅位置的橫縱坐標;S(p,i)為該果蠅位置的味道濃度,取距離D(p,i)的倒數;A(i)為待優化的第i個參數。

FOA優化算法中,初始化的果蠅,隨著一次次迭代,不斷變換位置,直到迭代尋優結束后,這些位置形成了果蠅的飛行路線,呈散點狀分布,如圖6所示。

圖6 優化后的果蠅飛行路線

3.3 FOA優化小波算法原理

FOA優化小波算法原理簡單便于操作,如圖7所示。將移動配準后的紫外光圖像與可見光圖像進行不同級別的小波分解,產生不同的分解向量,作為訓練樣本,帶入FOA優化模型進行迭代,得到最佳融合參數。

圖7 FOA優化小波算法原理圖

優化模型中,融合圖像的信息熵可看作味道濃度,融合參數為果蠅位置坐標。迭代優化過程即找到融合圖像信息熵最大值前對應的融合參數的迭代尋優過程。

4 紫外與可見光圖像的配準融合

基于AlexNet網絡與FOA-小波融合的圖像配準融合流程圖,如圖8所示。具體步驟如下所示:

圖8 配準融合流程圖

1)通過AlexNet網絡對待配準的紫外與可見光圖像分別進行特征提取,并配合空間變換矩陣對圖像提取的特征進行配準;

2)經過二維小波變換,對可見光圖像與空間變換移動后的紫外圖像進行分解;

3)經FOA優化得到小波融合的最佳融合參數后,對分解向量重構,實現圖像的配準融合。

5 實驗與結果分析

實驗裝置需要用到十字低壓汞燈、高靈敏紫外鏡頭與可見光鏡頭。由于240-280nm的紫外光成像后只有目標信息,無法對放電位置進行精準的識別。所以高靈敏紫外成像儀具有雙通道,同時對日盲紫外光與可見光接收成像,再進行實時的配準與融合。通過將僅攜帶目標信息的紫外光與攜帶背景信息的可見光進行配準融合,精準找到放電位置。為了便于對融合后的圖像進行觀察,此處使用了十字低壓汞燈。紫外鏡頭與可見光鏡頭如圖9所示。

圖9 高靈敏紫外鏡頭與可見光鏡頭

5.1 AlexNet網絡訓練結果分析

表1為AlexNet網絡模型的結構參數,由表可知該網絡模型共有24層,除了基本的5層卷積、4層全連接外,另有3層池化、7層ReLu層、2層歸一化層、2層丟棄層、輸入層和輸出層。該模型輸入層有一定要求,像素為227*227的3通道的圖像。本網絡在此處處理回歸問題,輸出層為回歸層,經過4層全連接層后輸出9行1列的空間變換參數矩陣。

表1 AlexNet網絡結構參數

圖10為AlexNet網絡的訓練結果,(a)、(b)分別表示訓練樣本的均方根誤差及損失函數圖像。

圖10 AlexNet模型訓練過程

由圖10可知,訓練過程中隨著迭代次數的增加,均方根誤差與損失函數曲線,均是先經過驟降后,逐漸趨于穩定,達到收斂狀態。測試集曲線變化趨勢,與訓練集曲線變化趨勢基本吻合,表明模型未產生欠擬合或過擬合情況,訓練效果良好

5.2 主觀評價

圖11分別表示采用AlexNet網絡-FOA小波融合算法,對不同距離下拍攝的紫外光與可見光圖像的配準融合效果。通過對比很清楚的觀察出,配準融合后的圖像很好的實現了空間上的對齊與顯示上的融合。這表明基于AlexNet網絡-FOA小波融合的紫外與可見光圖像的配準融合的方法在直觀視覺方面已經滿足了預期的圖像配準融合要求。

圖11 不同距離下基于AlexNet-FOAWF圖像配準融合算法仿真結果

5.3 客觀評價指標

5.3.1 疊加精度

在主觀評價部分,已經從主觀視覺層面表明了方法的有效性。這里引入了疊加精度作為紫外光與可見光圖像配準的客觀評價指標,從客觀數據指標層面對該方法加以驗證。疊加精度代表紫外成像儀中可見與紫外兩通道對同一發射光源成像時疊加角度偏差的最大值,單位為 mrad[5],測試系統示意圖如圖12所示。

圖12 疊加精度測試系統

同一視角發射的混合光源,通過分劃板,分別射出可見光與紫外光進入平行光管。紫外成像儀對雙通道射出的紫外與可見光進行成像。最后通過一定方法獲得生成圖像的中心點。由式(13)求解獲取疊加精度。

(13)

其中dx與dy分別為紫外與可見光圖像的質心橫縱坐標差;W、H分別為水平、豎直方向的像素數;θw、θH分別為水平、豎直方向上的測量角度。由式(11)分別計算出6m、10m、14m距離下的紫外光與可見光圖像配準后的疊加精度。將不同距離下的疊加精度整理如表2所示。

表2 配準后的疊加精度

由式(11)可知,精確定位紫外光與可見光圖像的中心點坐標是計算疊加精度的關鍵。本文利用Matlab自帶ginput函數,標識坐標區坐標。通過肉眼對圖像質心的觀察,選取三個點進行坐標識別,最后對三個點的橫縱坐標取均值得到圖像最終的質心坐標?？紤]可見光圖像目標信息影響因素較多,手動的的識別方式相對于自動的質心識別更加準確,當然在允許范圍內也存在一定的誤差。

5.3.2 融合信息熵

為了更好的判定融合的效果與FOA優化的優點,這里引入融合信息熵作為圖像融合的評價指標。假設融合圖像為F,計算融合信息熵有如下幾個步驟:

1)將融合圖像F轉為灰度圖,記錄融合圖像的每個灰度值的像素數,得到對應的直方圖統計hf(i)。

2)由式(14)計算融合圖像的灰度直方圖統計概率,得到圖像中每個像素值的出現概率。

(14)

3)由式(15)計算融合圖像的信息熵。

H(F)=-pf(i)*log2pf(i)

(15)

式(14)中的m、n分別表示,融合圖像對應得二維像素矩陣得行數與列數;式(15)中H(F)為計算得到得融合圖像得信息熵,當信息熵值越大時,其包含得特征信息越多,保留的圖像細節越豐富,圖像得融合效果越好。當信息熵值為1時表示完全融合。

在不同距離下拍攝得到得紫外光與可見光,經過配準融合后得到的信息熵的值如表3所示?？梢钥闯鼋汧OA優化后得到的融合圖像的信息熵,明顯高于未優化得到的融合圖像。

表3 不同距離下融合圖像信息熵

5.3.3 對比實驗

為了驗證本方法配準融合的優越性,將本文方法與文獻[4]和文獻[5]的方法進行了對比實驗。在相同條件下分別運用三種方法對紫外成像儀在6m、8m、10m、12m、14m距離下得到的紫外光圖像與可見光圖像進行配準融合操作,對比結果如表4所示。

表4 對比實驗結果

從表4中可以看出,相同條件下進行圖像配準融合,本文所提方法無論在疊加精度還是融合信息熵方面均明顯優于文獻[4]與文獻[5]中的方法。因此運用本文方法進行配準融合優勢明顯。

6 結論

針對高靈敏紫外成像儀中紫外光與可見光特征匹配困難,配準精度和融合效果不佳的問題,提出了一種基于AlexNet網絡與FOA-小波融合的圖像配準融合方法,得出如下結論:

1) 結合AlexNet網絡和空間變換矩陣對紫外圖像和可見光圖像進行配準,該方法收斂速度快,匹配精度高,配準弧度小于0.5mrad,滿足工業要求。

2) 利用FOA優化二維小波,實現可見光圖像與紫外光圖像融合。相比傳統的小波融合算法,無需人工設定閾值。融合后的圖像具有較高的信息熵。

通過本文方法,能夠高效地實現高靈敏紫外成像儀可見光圖像與紫外光圖像的配準與融合,為實時精確地定位電力設備的放電位置打下基礎,該方法具有較好的應用前景。