傾斜攝影測量像控點自動識別技術研究

丁 濤 劉春陽

(1. 安徽省核工業勘查技術總院， 安徽 蕪湖 234001;2. 安徽理工大學 空間信息與測繪工程學院， 安徽 淮南 232001)

0 前 言

傾斜攝影測量技術可以獲得測攝對象的紋理特征，抓取相關屬性信息，被廣泛應用于城市管線排查、災害預警救治、國民建設等領域[1]。但在航測作業過程中可能會受到云霧遮蔽、大氣折射干擾、航攝相機鏡頭畸變等因素的影響，導致影像出現多類型形變，進而對原始影像產生影響，降低了數據處理精度。通過高精度控制點進行幾何校正，能夠減小誤差，得到符合要求的數字產品。因此，在無人機傾斜攝影測量中，內業刺點精度會直接或間接影響三維模型精度[2]。但由于人工內業像控點識別的像片分辨率有限，導致像控點角點放大時像素模糊，從而影響刺點精度。

當像控點圖像混在大量像片數據中時，像控點中心標志的識別效果較差。借助深度學習特征訓練模型，對大量像控點圖像數據進行訓練，以獲取高精度、高效率的像控點圖像識別模型。模型在像控點特征提取上具有魯棒性，泛化能力強，可實現計算機端到計算機端的深度網絡訓練。首先，通過HSV色彩空間圖像增強技術來優化無人機圖像；然后，以深度學習目標檢測識別增強算法為基礎，結合線段檢測算法，對像控點進行自動角點識別，以提高像控點的識別效率與精度。

1 圖像增強

Retinex是90年代中期由Edwin Land提出的一種理論[3]。該理論將人眼能接收到物體影像歸因為自然光源或人工光源在物體上發生了反射，被廣泛應用于人工智能、圖像處理、信號分析等領域。物體能夠成像的兩大不可或缺的因素為入射光和反射光，而Retinex通過減少或抵消外源光照(如日照、燈光等)對最終成像的影響來增強影像質量。文獻[4] 以RGB色彩空間和小波變換為基礎，采用Retinex算法進行井下暗色背景的影像增強，但可能出現圖像失真現象。無人機拍攝的像控點像片為高空影像，相較于貼近攝影，失真幾率更大。

HSV是根據顏色的直觀特性構建的一種色彩空間，包括色調(H)、飽和度(S)、明度(V)。相較于RGB色彩空間，HSV色彩空間在圖像增強上有一定優勢。針對Retinex算法可能出現圖像失真的情況，將RGB與HSV互換。對于HSV色彩空間而言，考慮到無人機傾斜攝影的影像可能會受到稀薄云層、霧霾等因素的影響，利用明度分量的遞增變化對包含像控點的航攝影像飽和度進行校正，以達到目標像控點圖像增強的目的。

在提取明度分量的基礎上，結合原始無人機影像數據照度分量，運用多尺度Retinex算法計算提取后影像數據的照度分量估計值[5]，如式(1)所示：

(1)

其中：

L=lg (IV(x,y))×Hk(x,y)

(2)

式中：IV(x,y)為原始無人機影像數據照度分量；wk為第k個尺度的加權系數；N為尺度個數；L為照度分量；Hk(x,y)為中心環繞函數。

飽和度分量會隨著亮度分量的改變而改變，因此，在增強亮度分量的同時需要控制飽和度分量。在HSV色彩空間中，光譜色占比越大，顏色與光譜色的貼合度越高，顏色的飽和度也就越高。為了避免圖像失真，對飽和度分量進行加強處理[6]。另外，還需進行噪聲濾除。將無人機航攝影像由HSV色彩空間轉回到RGB色彩空間即可達到圖像增強的目的。

分別采用單尺度Retinex算法、多尺度Retinex算法和基于HSV色彩空間的改進Retinex算法對明亮度較暗的無人機傾斜攝影影像進行圖像增強。由圖像增強效果對比(見圖1)可知，采用3種算法獲取的圖像的明亮度均得到了提高。其中，采用單尺度Retinex算法獲取的圖像亮度增強效果較差；采用多尺度Retinex算法獲取的圖像亮度增強過度，導致圖像真實性較差；采用基于HSV色彩空間的改進Retinex算法獲取的圖像明亮度、真實度的增強效果更優。

圖1 圖像增強效果對比

2 深度學習增強算法

深度學習(deep learning，DL)是由Geoffrey Hinton教授在借鑒了人類大腦學習方式后，提出的類比于計算機智能處理解算的一種方法。DL將初代特征向量轉換到新的特征空間中，使機器自主訓練并學習，有助于歸類并識別目標所包含的多層次特征屬性，可從表層的類神經網絡轉向深層的神經網絡。目前常見的DL目標檢測模型主要有：單步多目標檢測(single shot multibox detector，SSD)模型、基于區域的全卷積神經網絡(region-based full convolutional network，R-FCN)模型和基于快速區域的全卷積神經網絡(fast region-based full convolutional network，Fast R-CNN)模型。以卷積神經網絡(convolutional neural network，CNN)衍生算法為代表的算法在圖像檢測領域的應用較為廣泛，圖像識別精度較高。但由于CNN算法可能導致大量圖像邊界冗余，從而使檢測周期延長，生產成本增加。與R-CNN的雙步檢測衍生算法不同，目標檢測(you only look once，YOLO)算法只需單步檢測，省略了從目標圖像候選框中分離出衍生分支這一步驟[7]，避免了特征圖候選區域堆積的情況，以網格的形式分割圖像，選取非單一的默認候選框進行獨立網格的特征分類和坐標回歸[8]。這簡化了網絡運算步驟，提高了計算機處理速度，保證了目標檢測精度。但對于較小的目標而言，該算法可能出現遺漏或者檢測錯誤的情況。相較于YOLO算法，SSD算法在目標特征檢測精度和計算機處理速度等方面有著良好的表現，可達到亞像素級別的識別精度，通過簡單的參數調整即可處理數字圖像?；诖?，本次研究采用線段檢測(line segment detector，LSD)算法來增強SSD算法，以提取具有特殊線性條件的像控點標志目標特征。

2.1 目標檢測

無人機拍攝的圖像數據量較大，人工挑選包含像控點的像片時間過長；另外，像控點標志較小，肉眼挑選難度較大。因此，考慮到像控點的檢測準確度和周期，提出基于深度學習的SSD300目標檢測增強算法，在保證機器識別速度的前提下，提高像控點標志識別的精度和能力。像控點目標檢測包括以下3個步驟：

(1) 將尺寸為300×300×3的包含像控點的影像數據輸入到主體網絡中，在提前訓練好的基礎網絡中截取非單一尺寸的特征圖，同步輸出卷積層的相關特征圖像，6個卷積層分別為C4_3、C7、C8_2、C9_2、C10_2、C11_2。

(2) 根據輸出特征圖中的像素點建立候選框。由于類別不同，導致默認框數不同，根據不同尺寸將其分成6個類別。

(3) 篩選候選框，分離出需要的包含像控點目標的無人機影像數據。

由于相鄰卷積層之間無緊密聯系，導致其他卷積層可能出現無特征信息補充，因此提出一種加強卷積層與卷積層聯系的基于LSD算法的SSD增強算法。將C4_3、C7、C8_2、C9_2、C10_2、C11_2作為目標特征層，結合淺層和深層等2種特征層，采用空洞卷積底部采樣的方法，以達到識別模型對無人機影像中小目標像控點標志學習的目的。

淺層與深層特征層相互融合形成的低特征層C4_3分為2層結構。第1層通過第1卷積核，不改變特征圖大小。第2層通過第2卷積核進行C7反卷積上采樣處理，獲得256個尺寸為38×38的特征圖，改變了特征圖大小，變化尺寸翻倍。

通過上述步驟獲得的新C7特征層可分為3層結構。第1、2層分別通過第1、2卷積核，利用新的C7特征層自主卷積運算處理獲得512個尺寸為19×19的特征圖。第3層通過第3卷積核進行 C8_2反卷積上采樣處理，獲得256個尺寸為19×19的特征圖，改變了特征圖大小，變化尺寸翻倍。

新C8_2特征層與新C7特征層的結構大體相同。經過C4_3、C7、C8_2的分層卷積運算后，特征圖的尺寸逐級遞減。在兼顧目標檢測算法精度的前提下，還應考慮實際檢測效率，因此，自C9_2特征層后，不進行淺層與深層的融合操作[9-10]。

損失函數的計算如式(3)所示：

(3)

其中：

(4)

(5)

在進行包含有像控點的無人機傾斜攝影像片檢測時，檢測框正確識別目標圖像為正樣本，無法識別或識別錯誤的為負樣本。

采用草地、水泥道路、柏油道路、人行道、泥地和石子路等6種環境背景下布設的像控點標志圖像進行實驗。圖像寬度為5 472像素，長度為3 648像素。像控點數據集共包含200張影像，其中100張作為已標注的像控點數據集，100張作為待檢測的像控點數據集。訓練數據均經過圖像增強和降噪處理，采樣閾值設為0.5。根據SSD卷積層輸入尺寸的要求，采用滑窗采樣方法(學習率為100%，滑動窗口為300)將待檢測的像控點數據集中的像片尺寸裁剪為300×300。

采用基于梯度下降的動態自適應梯度方法[11]進行像控點識別訓練。利用Arcmap10.2圖像處理軟件對無人機影像數據進行掩膜裁剪，獲得像控點圖像的訓練數據GCP.tif。創建待檢測的像控點數據集的矢量標簽GCP.shp，將圖層屬性列表中的數值修改為300。在進行柵格數據轉化后，設置像控點范圍使其與起始圖像保持一致，從而獲得標注好的標簽。對標注好的標簽進行裁剪，分離出1 100張300×300像素的像控點標志像片，隨機選擇其中的60%作為訓練影像，30%作為測試影像，10%作為驗證影像。通過增強SSD算法對無人機傾斜攝影的像控點影像數據進行提取，能正確識別的像控點為矩形紅白相間的標靶像控點。

2.2 評價指標

選取的評價指標包括：(1) 回收率(Recall)，待檢測的像控點數據集中能被準確識別的像控點比例；(2) 精確率(Precision)，模型預測的像控點圖像中能識別出像控點的數量占比；(3) 重疊度(intersection over union，IOU)，識別出的像控點圖像和實際包含像控點圖像的重疊量與實際像控點的比值；(4) 均值交并度(mean intersection over union，MIOU)是圖像分割的關鍵指標，首先計算出所有的IOU值，然后求解總體均值；(5) 準確率(Accuracy)，模型識別出的像控點數量占整體樣本數量的比例。對YOLO算法、SSD300算法和SSD300增強算法性能進行比較分析，結果如表1所示。SSD300增強算法的回收率為86.1%、精確率為77.9%、重疊度為75.3%、均值交并度為76.9%、準確率為89.7%，可見SSD300增強算法性能優于YOLO算法和SSD300算法。

表1 3種算法評價指標的對比

3 線段檢測算法

3.1 算法原理

LSD算法主要檢測圖像中的直線信息，當直線屬性達到檢測閾值，即被判斷為目標線段信息。對于無人機傾斜攝影圖像而言，包含像控點的圖像梯度與直線交替變化至關重要。首先，計算每個像素的水平線角度，產生一個單位向量場，使圖像中的所有矢量線段均與其基點的水平線段相切；然后，這個向量場被分割成像素的連接區域，這些像素共享相同的水平線角度。

基于反向原則和Helmholtz原則，LSD算法在滿噪聲的圖像中無法檢測出目標線段[12]。在反向模型中，一條線段上的對齊點數量應該和被檢測到的線段上的一樣多，或者更多。假設給定1個圖像i和矩形r，k(r,i)為對齊點的數量，n(r)為矩形r中的像素總數，則與檢測到的興趣點數量相同的期望點數量如式(6)所示：

NE=NtestPH0,k(r,I)≥k(r,i)

(6)

式中：NE表示期望點數量；Ntest表示測試次數，為所有可能的矩形數量之和；PH0表示反向模型H0的概率；I為反向模型下的隨機分布圖像。

可以看出，H0隨機模型確定了對齊點的數量分布k(r,z)，其只取決于與I相關的水平線場的分布。因此，H0為圖像梯度方向的噪聲模型，而非圖像的噪聲模型。作為一種自動圖像檢測工具，需要設置比例因子、圖像縮放比例、梯度閾值、容差值、圖像面積、線段長短閾值等6個內部參數。

當梯度幅度較小時，處于較緩和過度區域的像素會由于其數值的量化性而導致計算時出現梯度誤差，因此設置梯度閾值ρ對像素進行標記，當梯度小于閾值時像素不參與線性支撐區域和矩形的構建。

3.2 像控點線段檢測

本算法與PPHT算法、Radon算法[12]識別效果的對比如圖2所示。當藍色交叉線位置與像控點 X型幾何中點重合時，表示識別出像控點。對于不同深淺綠色及道路交替背景下的像控點，本算法與PPTH算法能較好地識別出像控點幾何中心，而Radon算法則出現了定位錯誤，直接定位到了標志邊角。對于道路磚石交叉直角背景下的像控點，PPTH算法將紅色磚塊與白色路牙交替處錯誤識別為像控點，Radon算法將磚石交叉處錯誤識別為像控點幾何中心。

圖2 3種算法識別效果的對比

像控點中心識別準確率的計算如式(7)所示：

(7)

式中：Pall表示像控點中心識別準確率；NT表示像控點中心識別正確的數量；Ng表示實際檢測出的像控點數量。

定位中心精度的計算如式(8)所示：

(8)

式中：Pacc表示定位中心精度；n表示參與識別的像控點數量；p(xi,yi)為真實圖像的像素坐標；p′(xi,yi)表示識別出的像素坐標。

無人機鏡頭曝光一次會同時收集到5張包含同一像控點影像的數據，將這5張像片歸為一組，則其識別準確率的計算如式(9)所示：

(9)

式中：Pg表示識別準確率；NTG表示像控點中心識別出的組數總和；NGG表示實際檢測出的組數總和。

由3種算法檢測精度的對比(見表2)可知，本算法的檢測精度高于PPHT算法和Radon算法，這是由于Radon算法主要借助于二值邊緣提取像控點；PPTH算法對背景環境要求較高，當背景中出現顏色或者直線交叉線條干擾時，容易導致定位紊亂。

表2 3種算法檢測精度的對比

4 結 語

根據像控點標志的顏色和角度等幾何特征，提出了多算法聯合識別像控點標志的方法。首先，利用改進的Retinex色彩增強算法對原始影像進行優化處理；然后，采用SSD增強算法對包含有像控點的影像數據進行訓練識別；最后，利用LSD算法進行多閾值篩選，以實現像控點的識別與提取。本算法提高了內業像控點的識別精度，提升了作業速度，為傾斜攝影測量內業工作提供了技術參考。