基于改進Live-Wire算法的無人機遙感影像標注

崔紅霞，陳麗君，趙昊罡

(渤海大學 信息科學與技術學院，遼寧 錦州 121010)

0 引言

隨著人工智能技術的發展，深度學習在遙感影像自動解譯領域的應用發展迅速。在深度學習算法中，大量的訓練數據標注是其得到最優檢測模型的保證。目前，遙感數據標注方法主要分為兩類[1]：一類是基于人工交互的數據標注，主要利用離線和在線標注工具。另一類是自動數據標注方法，如張鋼等人[2]提出一種基于多示例多標簽學習的圖像自動標注框架,在此基礎上提出一種基于貝葉斯學習的多示例多標簽稀疏集成算法.

顯然，自動標注方法仍然依賴于一部分人工標注的數據集，人工標注在深度學習的領域仍然是必不可少的環節。目前，應用廣泛的在線或者離線交互標注工具，labelme[3]以及labelimg[4]，以用戶交互圖像分割的方式，將一張圖片中的目標物體分割出來，即用戶通過點擊設置一些前景和背景的標注點，生成包含目標區域的多邊形頂點，適用于邊界規則的目標輪廓提取和標注；但對于遙感影像非規則自然地物目標區域，人機交互圖像分割存在工作量大，輪廓定位不準確的難題。

目前，人機交互的圖像分割算法分為兩大類，一類是主動輪廓模型方法[5-9]，使用戶提供的初始輪廓沿能量降低的方向迭代演化到理想的目標輪廓上,完成圖像分割,這類算法需要給出初始的輪廓，但對于特別復雜目標迭代的分割結果往往不能達到要求;另一類為基于動態規劃圖搜索算法[10-11]，圖搜索算法不通過迭代初始輪廓降低能量的方式，而是通過分步優化能量函數獲得邊界，需要在全圖范圍內尋找優化的邊界。Live-wire算法是一種經典的動態規劃圖搜索算法，由Eric N.Mortensen[12]等人提出，廣泛地應用在圖像分割[13]中。文獻[14]研究基于BSP和動態規劃的大規?？沼蛏葏^劃分的方法，該文將二叉空間分割算法結合動態規劃方法，通過階段動態搜索的二叉空間分割算法，保證結果的最優性。文獻[15]研究的帶浮動錨的Live-Wire交互式分段技術，通過基于特定圖元設計4種新穎的Live-Wire交互來嘗試這種新的靈活性：繪畫，捏，概率和拾取錨，分析這種方法的計算方面，并提供了可行的解決方案來減少時間復雜度。

對于輪廓比較平滑、信噪比高的目標，文獻[16-17]的方法可以獲得比較好的效果，但無人機遙感影像信噪比低、自然地物邊界復雜且不規則，傳統的Live-wire算法往往不能準確地定位地物邊界。本文將交互式Live-wire算法[18]引入深度學習的樣本標注，通過改進Pal-King[19-21]模糊邊緣檢測方法以及優化Live-wire算法代價函數的方法以提高地物邊界的跟蹤精度和效率，并通過大量樣本的標注實驗驗證本文的算法。

1 傳統live-wire的人機交互圖像分割方法

傳統Live-Wire算法是將整個圖像看成一個加權有向圖[22]，圖像中每個像素為圖的一個節點，并且每個節點都被賦予不同代價值，相鄰像素之間有一條加權有向邊，在邊上定義一個代價函數,然后通過圖搜索算法結合動態規劃，找連通圖[23]中兩點之間的最短路徑,兩點之間的最短路徑當作物體的邊界。其關鍵在于代價函數的建立和最短路徑的生成。

1.1 代價函數的建立

代價函數的計算方法有多種，由于圖像最短路徑的代價與邊緣特征有密切關系，邊緣特征越顯著的像素點，代價越低，使得最短路徑的路線越容易貼合待標注區域的輪廓邊緣。因此，局部代價函數 通常由邊緣特征構造，如公式(1)所示：

L(p,q)=wZfZ(q)+wGfG(q)+wDfD(p,q)

(1)

其中：p為q的8鄰域內的相鄰點，fZ(q)為拉普拉斯交叉零點值、fG(q)為像素點梯度值、fD(p,q)為像素點梯度方向,wZ,wG,wD為權值，根據文獻[12]所提出的方法，將其分別設置為0.43,0.43,0,14：

拉普拉斯交叉零點代價值fZ(q)如公式(2)所示：

(2)

其中：IL(q)是圖像像素點q的拉普拉斯值，圖像的拉普拉斯二階零交叉點對應最大(最小)的梯度幅值，代表邊緣特性并且它有較低的局部代價值。

像素點梯度值：

令Ix,Iy分別表示x，y方向的梯度，則梯度幅值G如公式(3)所示：梯度幅值越大，邊緣點特征越明顯，路徑代價越低，令fG如公式(4)所示：

(3)

(4)

像素點梯度方向代價：

梯度方向代價函數起到邊緣平滑作用，邊界變化劇烈處將設置較高代價，如公式(5)所：

(5)

令:dp(p,q)=D′(p)·L(p,q)；dq(p,q)=D′(q)·L(p,q)

D′(p)=(Iy(p),-Ix(p))；D′(q)=(Iy(q),-Ix(q))

1.2 最短路徑方法

傳統Live-wire 算法結合人機交互[24]，確定開始種子點，最后利用數據結構中的Dijkstra最短路徑算法，計算出圖像中8鄰域內所有像素點到種子點seed point的最小代價路徑并確定下一個邊緣種子點；人機交互更換種子點，重新進行最小代價路徑的計算，多次重復以上步驟，自動提取目標區域輪廓線；。由于最短路徑的代價與邊緣特征有密切關系，邊緣特征越顯著的像素點，代價越低，目標輪廓邊緣越精確。利用Dijkstra 算法[25-26]進行最小代價路徑搜索的流程圖如圖1所示。

圖1 Dijkstra 算法流程圖

2 改進的Live-wire地物輪廓提取方法

傳統的Live-wire 方法代價函數涵蓋了邊緣點特征、邊緣點梯度幅值的特征、節點之間梯度方向的變化特征[27-28]。受飛行平臺復雜運動、光照條件的影響，無人機遙感圖像的邊緣質量下降。傳統的拉普拉斯算子[29]用作此類圖像的邊緣檢測時，容易導致邊緣不連續以及假性邊緣,抗噪性較差[30]。本文改進模糊邊緣檢測[31]方法并替代Live-Wire算法中的拉普拉斯交叉零點邊緣提??；另一方面通過增加節點之間梯度幅值的變化特征優化代價函數，提高算法的抗噪性能并平滑邊界。

2.1 基于改進PAL-King算法的邊緣提取

Pal和King提出的模糊邊緣，即Pal算法[19-20]是基于模糊理論的模糊邊緣檢測算法。其主要思想是通過模糊屬度函數將圖像映射到模糊空間，利用模糊空間的增強運算，提高影像邊緣附近像素灰度的對比度，再利用逆變換實現模糊特征空間到圖像空間域的轉換，在空間域內僅需通過簡單的“min”或“max”算子實現邊緣提取。為克服傳統Pal算法隸屬度函數復雜且原圖像中相當多的灰度值被切削的問題，以及隸屬度函數中的參數設置沒有理論指導規則，隨機性大等問題，本文改進了傳統的Pal-King模糊邊緣檢測法，具體算法步驟如下：

1)定義新的隸屬度函數:

(6)

其中:xmin≤xij≤xmax，xmin為最小灰度級;xmax為最大灰度級；令Pij=F(xij)，Pij為模糊隸屬度值；Fe>2。顯然，整幅圖像的隸屬度值域為[0，1]彌補了Pal King 算法值域為(a，1](a>0)[30-31]導致低灰度值被硬性切削的問題。

2)融合Otsu算法的模糊空間增強方法:

傳統的Pal-King算法將模糊空間的分割閾值(渡越值)設定為0.5,小于0.5的模糊隸屬度被壓縮，大于0.5的模糊隸屬度被拉伸，以實現模糊空間的非線性增強。為克服傳統Pal-King固定分割閾值帶來的隨機增強誤差，本文以Otsu算法獲取圖像空間域的最佳分割閾值xe,并計算模糊空間的渡越值Pe=F(xe);進一步定義模糊增強算子如式(7)：

(7)

其中：若0≤Pij≤Pe，則a=1,b=0;若Pe

職業素質教育是系統全面的教育，不僅包括職業知識、技能教育，還包括職業道德、職業行為、職業作風和職業意識等方面的教育。作為一名護理教師，首先要通過自身穩定的專業思想去感染、引導學生，鞏固學生專業思想，因為學生牢固的專業思想是穩定護理隊伍、發展護理事業的重要保證[1]。其次要發揮自身形象示范作用，樹立良好的護士職業形象。護理教師的形象示范作用主要表現在儀表、面部表情、動作姿態等方面。教師高雅得體的舉止、對護理工作的興趣和熱愛，會使學生感到可信、可親，進而仿效學習，還可以讓護生以最佳心境參與學習[2]。

利用式(8)進行迭代運算:

(8)

一般r取3。

(9)

4)結合梯度雙閾值法[32]，提取模糊增強后的圖像邊緣特征，替代公式(1)的代價函數的第一項：如式(10)所示，令low，high為通過灰度直方圖統計方法自動獲取的低閾值以及高閾值，tq為當前點的梯度值,tp當前點8鄰域內任意像素點梯度值。

fZ(q)=1，tq>high||tp>high；fZ(q)=0，iftq

(10)

綜上，通過改進模糊邊緣檢測方法并替代Live-Wire算法中的拉普拉斯交叉零點邊緣提取，抑制傳統的拉普拉斯算子[23]遙感圖像邊緣特征提取的不足。

2.2 優化的代價函數

設優化后的代價函數為：

L'(p,q)=wZfZ(q)+wGfG(q)+wDfD(p,q)+wTfT(p,q)

(11)

其中：wZ，wG，wD，wT根據文獻[12]設為0.35，0.35，0.15，0.15。

fZ(q)、fG(q)、fD(p,q)分別如公式(10)、(4)、(5)所示，分別描述拉普拉斯交叉零點值、像素點梯度值、像素點梯度方向。為了進一步抑制邊緣提取的不連續性并提高邊緣提取的平滑性，通過增加梯度變化特征改進代價函數。

本文令fT(p,q)表示節點p、q之間的梯度幅值變化特征，q節點為p節點鄰域內像素點，如果節點p、q的梯度幅值變化越劇烈，fT(p,q)較小，路徑代價越小，反之較大。本文提出的fT(p,q)如公式(12)所示：

fT(p,q)=1-1/e|Gp-Gq|

(12)

其中：G(p),G(q)分別為p點和q點的梯度幅值，分別為公式(13)：

(13)

3 實驗結果與分析

以400幅 512*512像素無人機遙感影像的地物標注(每類地物100幅)為例。標簽標注工具labelme、傳統Live-Wire方法和本文所述方法分別定義為方法I、II、III；利用3種方法分別進行無人機遙感影像裸露地、建筑物、水體、農作物4類復雜典型地物的標注。如圖3～6所示，Label標注工具通過多邊形逼近曲線，地物提取的精度和效率完全依賴于構造輪廓多邊形的人工操作。傳統Live-Wire方法則利用拉普拉斯地物邊緣提取算法、傳統代價函數、最小路徑跟蹤方法人機交互提取地物的輪廓，在邊緣符合度以及效率上都優于標注工具，但基于Live-wire算法的標注需要較多的人工交互、存在邊緣不完全、斷點以及欠平滑的鋸齒情況。對比傳統Live-wire算法，應用改進的Live-wire算法的輪廓提取的邊緣平滑且鋸齒現象大量減小，輪廓提取的自動化程精度和效率更高。

為定量評價樣本標注的穩健性和效率，分別利用方法II和方法III重復提取(n次)400幅地物的封閉輪廓，計算每類地物標注面積的中誤差，如表1所示：傳統的Live-wire算法自動化程度低、其標注受人為選取的特征點的影響大、穩健性較差。本文改進的方法的樣本標注的穩健性、自動化程度更高。假如有n次觀測提取，則標注算法的中誤差可按式(14)計算。

表1 方法II和方法III樣本標注穩健性分析

(14)

直觀的從標注圖像可以看出，如圖2所示，改進后邊緣更加連續、完整,噪聲[33]影響減少改進后的邊緣更加平滑，鋸齒現象減少。用改進的Live-Wire算法完成輪廓提取，沿著順時針方向構建輪廓邊界點序列，結合曲線積分區域填充算法[23,34]，以不同色(根據分類選擇)填充區域，完成目標標注。

圖2 傳統代價函數與優化代價函數的標注

圖3 裸露地樣本局部標注對比

圖4 筑物樣本局部標注對比

圖5 水體樣本局部標注對比

圖6 耕地樣本局部標注對比

4 結束語

標簽的制作是深度學習中訓練學習模型的關鍵步驟，針對高分辨率航空影像地物復雜、紋理豐富、背景噪聲以及密度大、且可能存在模糊的邊緣特性的特點，改進已有的Live-wire半自動輪廓提取算法，提高其邊緣提取的連續性、抗噪性和平滑性。首先，通過改進模糊隸屬度函數克服了Pal-King隸屬函數可能的灰度覆蓋空間不足的缺陷并結合雙閾值方法實現邊緣點的提取，以改進的Pal-King的模糊邊緣檢測方法替代Live-Wire算法的拉普拉斯邊緣提取方法。其次，通過增加節點之間梯度幅值的變化特征優化代價函數，以提高Live-Wire算法的輪廓跟蹤的連續性。對比實驗證明，本文所述的方法(稱為方法III)傳統的Live-Wire方法(稱為方法II)的輪廓跟蹤的邊緣貼合度和自動化程度都優于傳統的標注工具(Labelme、LabelImg)。但本文所述方法的穩健性和自動化程度優于傳統的Live-Wire輪廓提取和跟蹤方法。利用該方法，項目組正在進行無人機低空遙感影像海量樣本集和樣本標注工作的研究。