基于三目視覺的輸電導線弧垂三維重建方法研究

闕 波 劉偉東 姜文東 王和平 鄒 彪

1國網浙江省電力有限公司，浙江 杭州，310007

2國網通用航空有限公司，北京，102209

隨著智能電網建設的不斷推進［1，2］，對影響輸電線路正常送電的危險源的自動識別和報警是國家電網安全運行的一個迫切需求。為了避免危險源（高樓、大樹、帶揚臂的危險車輛等）對輸電線路的影響，除了檢測危險源外，弧垂的重建也非常重要。

目前輸電線弧垂的重建主要是基于點云來完成的。文獻［3］基于機載激光雷達利用模型殘差聚類精確提取單根電力線點云；文獻［4］使用機載激光點云采用二分法提取每根分裂子導線點云，并采用二維直線擬合重建點云；文獻［5］使用機載激光雷達點云提取并重建輸電線；文獻［6］基于激光雷達點云，對比直線段與懸鏈線段相結合的模型，以及直線段與拋物線段相結合的模型重建輸電線的效果；文獻［7］通過對三角網漸進加密濾波方法進行改進，采用k-means聚類分割單檔電力線點云，并采用兩種不同的方法重建輸電線；文獻［8］基于架空輸電線走廊重建輸電線，實現了對電力線數目、檔距長度等因素魯棒的重建方法；文獻［9］通過點云聚類、懸掛點檢測和電力線三維建模等技術得到三維的輸電線。這些方法使用包含三維信息的點云，可以較好地重建輸電線，但其代價比較大。

三目視覺系統采用3個具有一定位置關系的攝像頭，模擬人的眼睛，構建立體視覺系統，實現場景的三維重建，并且可以像普遍存在的監控攝像頭那樣，代替人完成長時間的現場監控。由于價格比較低，三目視覺系統可以在國家電網中大范圍的使用，提升智能電網的管理效率。而且，三目視覺系統使用3個攝像頭，相比于雙目視覺［10］，可以得到的信息更加豐富，標定的更加準確，可以更有效地實現三維重建。

因此，本文提出了一種基于三目視覺的輸電線弧垂三維重建方法。首先，單獨標定各個攝像機，接著，基于特征點兩兩標定攝像機，然后，采用光束平差參數優化方法同時標定3個攝像機?；跇硕ê玫娜繑z像機，采用視點平面掃描技術為每個攝像機計算空間概率圖，并使用半全局代價空間優化方法優化空間概率圖得到3個深度點云。通過融合和過濾深度點云，最終得到重建后的深度圖?；谌恳曈X的三維重建可以自動實現高精度的長距離架空輸電線弧垂的三維重建。

本文的三目視覺系統架構如圖1所示。系統采用3個12 mm焦距1 230萬像素鏡頭的同步工業攝像頭，安裝在電網鐵塔橫梁上，位于同一個水平線上，攝像機的光軸也都是水平的，并且中間的攝像機和左右兩邊的攝像機等間隔。整機采用太陽能供電，電壓12 V，電流60 A。

圖1 攝像頭的安裝位置（紅色的圈）Fig.1 Fixing Position of Cameras（Red Circles）

1 視覺標定

1.1 單目標定

對于每個攝像頭，采用張氏標定法［11］基于棋盤格圖像確定攝像頭的內部和外部參數。內部參數是攝像頭的焦距和攝像機中心；外部參數是攝像機坐標系相對于世界坐標系的旋轉矩陣和平移向量。像素點的成像坐標(u，v)與世界坐標系的三維坐標(X，Y，Z)的變換公式為：

式中，第一個3×3的矩陣是內參矩陣，描述的是圖像中心點的偏移量和焦距；第二個3×4的矩陣是外參矩陣。通過采集一系列的(u，v，X，Y，Z)來計算其他最佳系數，實現單目標定。單目標定主要確定攝像機的內部和外部參數。

1.2 雙目標定

對于三目系統中的任意兩個攝像頭，采用雙目標定的方法確定攝像頭之間的空間位置、旋轉角度等參數?；诿總€攝像頭采集的圖像，通過角點檢測技術［12］自動檢測圖像中的特征點，并計算它們的判別性特征，使用Hamming距離兩兩匹配不同圖像中的對應特征點，采用隨機采樣一致性來過濾掉特征點之間的錯誤匹配，建立任意兩個攝像機之間的姿態關系。這里，特征點是圖像中在某方面屬性特別突出的像素點，是在某些屬性上強度最大或者最小的孤立點、線段的終點等。為了得到有效的判別性特征，提高標定的效果，算法設計了深度神經網絡，如圖2所示，用于在每個特征點處提取深度學習特征。其深度神經網絡各層的設置如表1所示。

表1 深度神經網絡各層的設置Table 1 Configuration of Layers for Deep Neural Network

圖2 提取特征點特征的深度神經網絡Fig.2 Deep Neural Network for Feature Extraction of Feature Points

本文采用公開的ImageNet數據集，并在現有神經網絡的基礎上外加一個全連接層用于輸出分類的結果。算法使用訓練好的深度神經網絡，在圖像的特征點處提取并輸出2 048維的深度特征。

為了標定左、右攝像機，本文采用旋轉矩陣R和平移矩陣T來描述左、右兩個攝像機坐標系的相對關系。假設空間中有一點Q，其在世界坐標系下的坐標為Q W，其在攝像機1和攝像機2坐標系下的坐標可以表示為：

進一步可得到：

綜合式（2）、式（3）可知：

式中，R1、T1為攝像機1經過單目標定得到的相對標定物的旋轉矩陣和平移向量；R2、T2為攝像機2經過單目標定得到的相對標定物的旋轉矩陣和平移向量。

基于檢測到的一系列特征點，算法可以確定兩個攝像機的攝像頭間的空間位置和旋轉角度。雙目標定除了進一步確定攝像機的內外參數外，還要確定攝像機之間的空間位置和旋轉角度等。

1.3 三目標定

對于三目視覺系統，算法采用§1.2中的方法自動檢測攝像機所采集的圖像中的特征點，并建立三目系統下特征點之間的對應關系。采用光束平差參數優化方法［13］，本文對3個攝像機的內部、外部等參數同時優化，建立3個攝像機的姿態關系，完成三目攝像機的標定。

光束平差參數優化是一個最小化問題：

式中，m取3，代表3個攝像機拍到的3個圖像；n是在3個圖像中共同可見的特征點的數量；x ij是第j個圖像上的第i個特征點的坐標；v ij是一個開關量，如果第i個特征點在第j個圖像上有映射，則v ij=1，否則vij=0，每個圖像j由向量bj參數化表示，每個特征點由ai參數化表示；P(ai，bj)表示特征點i在第j個圖像上的通過上述攝像機的內參、外參計算得到的坐標；d(g，h)表示向量g和h的歐式距離。算法通過最小化n個特征點在3幅圖上投影的誤差，得到3個攝像機的參數和相互關系，標定3個攝像機。三目標定和雙目標定一樣，除了進一步確定攝像機的內外參數外，還要確定攝像機之間的空間位置和旋轉角度等。

2 三維重建

基于標定好的三目視覺系統所采集的3個圖像，本文通過多視點平面掃描技術依次為3個攝像機計算其所對應的三維空間中的各點成為場景中物體的概率，得到3個概率圖。

通過上述的三目攝像機標定，各個攝像機的圖像空間和相應的真實世界的錐形空間之間建立了對應的映射關系。利用這些映射關系，算法可以將3個圖像映射到上述的錐形空間，得到3個映射后的圖像Γk(k=1，2，3)。接著，在錐形空間中任選一個點p，并以該點為中心在每個映射后的圖像上取一個局部窗口W p，k(k=1，2，3)，計算3個圖像上的上述3個局部窗口上的互信息，并將互信息的值作為該點成為場景中物體的概率。

由于單幅圖像中每個像素的概率是獨立估算的，而且上述3個圖像之間可能會有尺度、光照上的差異，這些會導致初始相鄰像素間的概率相差過大，使獲得的概率圖不連續。因此，本文采用半全局代價空間優化方法［14］去除這些不連續的噪點。

接著，算法以每個攝像頭為原點，通過射線的方式分別遍歷上訴概率圖，概率最大的位置對應的深度就是這個位置的深度值，從而得到對應的3個深度點云圖。深度點云位于攝像機的坐標系中。

2.1 深度圖融合與過濾

為了得到世界坐標下的深度圖，本文需要對3個深度點云進行融合和過濾。依據每個攝像機和世界坐標系的關系，將3個深度點云上的點映射到三維世界坐標系中，使得每個三維世界坐標系中的點對應3個深度值d k(k=1，2，3)。

2.2 導線弧垂擬合

由于弧垂較細，重建后容易斷開［15］。本文通過隨機采樣一致性擬合出導線弧垂，實現弧垂的完整三維重建。擬合步驟如下：

1）隨機選擇n個三維重建的點rnd_points。

2）擬合二次方程M，并計算每個不在rnd_points中的數據點在這個擬合好的模型M上的誤差。如果誤差小于一個閾值th_error，就將這個重建點加到rnd_points里。

3）如果rnd_points中點的個數大于閾值th_num，則用rnd_points中的點再次擬合二次方程M：y=ax2+bx+c，并計算rnd_points中的所有點在新模型M中的誤差，如果誤差小于當前的最優誤差，就保存這個誤差以及對應的二次方程M。

4）如果當前迭代次數沒有達到最大的迭代次數，轉到步驟1），否則轉到步驟5）。

5）輸出最好的擬合模型M′。為了處理多個弧垂的不同情況，本文首先對各個弧垂進行聚類，將不同的弧垂區分開來，再使用隨機采樣一致性擬合出導線弧垂［16］。

3 實驗

本文選取浙江省和江蘇省實際電網場景來采集圖像，重建輸電導線弧垂，以此測試算法的有效性。本文三維重建采用256顆CUDA核的NVIDIA Jetson TX2主控板；三維重建精度的定量驗證采用南方全站儀：NTS-342R10A，其測角經度為2″，測距精度為±（2 mm+2×10-6×D）。

3.1 三維重建實驗

以一個實際的高壓輸電線作為實驗對象，如圖3所示，根據本文重建方法可以得到左、中、右3個攝像機視角下的三維重建圖像，如見圖4所示。從圖4中可以看出，三目視覺中的每個攝像頭都能得到較好的三維弧垂重建結果。

圖3 實際輸電線弧垂Fig.3 Real Power Line Arc Sag

圖4 左、中、右3個攝像機坐標系中的三維點云圖Fig.4 3D Point Cloud Maps in the Three Cameras Coordinate Systems（Left，Middle，Right）

3.2 深度圖像融合實驗

為了驗證深度圖像融合的效果，本文選擇一個包含3個鐵塔、多條弧垂的場景，如圖5所示。其中左、中、右3個攝像機在坐標系中的三維點云融合結果如圖6所示。

圖5 實際的弧垂圖像Fig.5 Real Arc Sag Image

圖6 融合后的深度圖像Fig.6 Fused Depth Image

3.3 圖像去噪實驗

為了獲得更平滑的三維重建圖像，本文進一步進行了去噪處理，實驗結果如圖7所示。

圖7 去噪后的深度圖Fig.7 De-noised Depth Image

3.4 弧垂擬合實驗

為了證明弧垂擬合的有效性，本文擬合了上面圖像中不連續的弧垂，得到了完整的弧垂，如圖8所示。由于多個不同的弧垂分別進行了擬合，弧垂之間也沒有相互干擾。而且本文采用了隨機采樣一致性擬合導線弧垂，算法對噪聲等干擾具有較好的抗干擾能力，使得弧垂擬合的結果準確。這驗證了本文弧垂擬合方法是有效的。

圖8 弧垂擬合后的圖像Fig.8 Resulting Image of Arc Sag Fitting

3.5 本文三維重建方法的定量分析

為了定量衡量本文三維重建方法的精度，2019年7月26日在江蘇省南通海門市泰吳線上安裝該三維重建系統，采集并重構點云數據。本文還采用南方全站儀獨立坐標系測量方式采集單個區域共計6個檢查驗證點。為了方便分析，檢查驗證點主要選取特征明顯、圖片易分辨的特征點，比如目標塔上的外角點、地面醒目固定物等，如圖9所示。

圖9 檢查驗證點選點示意圖Fig.9 Illustration of Checking Points Selection

1）絕對精度驗證。

根據選取的檢查驗證點，使用Cloudcompare軟件打開本文方法重建的點云，并從中取出6個檢查驗證點坐標，和實際測量點坐標值進行對比。檢查驗證點如圖9中的綠色圓圈所示，重建精度的絕對驗證結果如表2所示。ΔX、ΔY、ΔZ代表實際測量值和重建后的點云測量值在X、Y、Z3個坐標方向上的差值。

表2 檢查驗證點坐標差值/mTable 2 List of Coordinate Differences for Checking Points/m

2）相對精度驗證。

為了測量三維重建的相對精度，用Cloudcompare打開本文重建的點云，并量取兩個檢查驗證點的距離，與實地測量的兩點間距離進行對比，得到相對精度差值。實驗選取了6對檢查驗證點對應的5條線段，分別是L（W1-W2）、L（W3-W4）、Ld、L（KZ1-KZ2）、L（KZ3-KZ5），如圖9中5條黃色的線段所示，相對精度的對比結果如表3所示。

表3 檢查驗證點相對距離差值表/mTable 3 List of Relative Distances for Checking Points/m

由表2中可知，在Y和Z方向上，本文的三維重建方法測得的檢查驗證點的坐標值和實際測量值之間的誤差不超過4 cm，在X方向上誤差為28.3 cm。從表3可以看出，在相對精度方面，本文的三維重建方法測得的檢查驗證點間的相對距離和實際測量值之間的平均誤差為23.2 cm。這說明了本文的三維重建方法的準確性。

4 結束語

針對輸電線弧垂的三維重建問題，本文提出了一種基于三目視覺的輸電線弧垂三維重建方法，能夠實現單目、雙目、三目攝像機的標定，自動實現圖像采集和輸電弧垂的三維有效重建，在實際輸電場景中的實驗驗證后得到如下結論。

1）在三目視覺標定過程中，采用深度神經網絡自動學習具有判別性的深度特征，可以更加準確的匹配圖像間的對應特征點，準確的標定攝像機。

2）三目視覺在輸電線弧垂三維重建中能夠捕捉更多的場景信息，獲得更豐富的點云，可以通過相互驗證濾掉噪點，得到更好的重建效果，同時比雷達的成本更低。

本文的方法可以有效的從三目視覺系統采集的三個圖像中重建出輸電線弧垂，有利于發現可能影響輸電線安全的危險源，這有益于保證輸電線路的安全，對電網的安全穩定運行具有重要意義。