遙感影像立體匹配網絡跨域遷移能力分析

張曉藝,余岸竹,曹雪峰,李振琦,權雨君

(信息工程大學 地理空間信息學院,鄭州 450000)

0 引言

從立體像對中估計視差是攝影測量和計算機視覺中的基本問題之一,其關鍵任務是尋找同名特征點的像素對應關系,通常稱為立體匹配或立體密集匹配。立體匹配的原理是通過尋找立體像對之間像素級的匹配關系構建視差圖,恢復場景的深度信息,在無人駕駛、三維重建、航空測繪等領域應用廣泛。立體像對分為左、右視圖,通過計算左圖每個像素點(x,y)在右圖上對應像素的位置(x-d,y),可以得到每個像素點的視差d,進一步通過式(1)得到對應的深度圖。

depth=baseline×focallength/d

(1)

式中:focallength是相機焦距;baseline是相機光心之間的距離(即基線長度)。

在傳統立體匹配算法中,Scharstein等[1]將傳統立體匹配方法分為4步,即匹配代價計算、匹配代價聚合、視差計算和視差精化。匹配代價計算通過在左右影像上計算相似性測度確定匹配代價,描述像素之間的匹配關系;匹配代價聚合對鄰接區域的匹配代價進行聚合,提高匹配代價的魯棒性和精確性;視差計算一般采用贏者通吃(winner take all,WTA)策略,將匹配代價最小時對應的視差值作為該像素的初始視差;視差精化則利用左右一致性檢測、亞像素插值等后處理操作對初始視差進行優化,旨在得到精確、完整、光滑的視差圖。然而,傳統匹配代價計算基于圖像亮度信息衡量圖像匹配程度,難以實現無紋理、弱紋理等病態區域的視差估計,且存在計算效率低、誤匹配率高的缺點。

隨著深度學習方法的不斷發展,研究人員開始將深度學習方法引入立體匹配問題中,用于提升立體匹配精度、提高立體匹配效率和簡化立體匹配流程。2015年后,卷積神經網絡被引入立體匹配中解決匹配代價計算問題,MC-CNN[2]、DRR[3]通過有監督學習來計算匹配代價,在雙目數據集上取得了匹配速度和精度的提升,為深度學習在立體匹配的應用奠定了基礎。隨后,DispNet[4]等利用卷積神經網絡直接實現像素級的視差輸出,構建端到端的立體匹配網絡進行有監督的學習訓練。自此,端對端立體匹配網絡成為主流,其輸入端是經過核線校正的立體像對,輸出端是左影像對應的視差圖。2017年,GC-Net[5]通過構建代價體,并利用3D卷積處理代價體,獲得更多的幾何和上下文信息,創新性地提出了立體匹配專用網絡。目前,已經出現了多種立體匹配專用網絡結構,并取得了優異的結果。

由于深度學習方法在立體匹配中表現出巨大應用潛力,基于深度學習的立體匹配算法相繼涌現,梳理和評價立體匹配網絡的工作也相繼展開。Poggi等[6]按照端對端和非端對端的分類梳理了2016-2019年間的立體匹配算法。Laga等[7]介紹了2014-2019年主流算法的發展與優化,對主要算法模型進行了比較。季順平等[8]利用航空數據集對2017-2019年間典型的網絡模型進行了定量的實驗比較與分析。然而,2019年至今出現了新的模型設計思路,網絡的精度表現、跨域性能都有明顯提升。因此,客觀評價立體匹配網絡的性能對于現有算法優化和新算法提出具有重要的指導意義。

跨域(cross-domain)是指源域和目標域在特征空間、邊緣分布等方面存在差異[9]。雖然以上方法在計算機視覺領域取得了不錯的結果,但是在攝影測量與遙感中,受到成像平臺、成像視角、光照條件等因素的制約,遙感影像在顏色、光照、對比度和紋理方面有較大的差異,普遍存在明顯的跨域現象[10],嚴重影響了現有立體匹配網絡的精度和性能?；诖?本文主要研究在相同訓練條件和誤差指標下不同立體匹配網絡性能的實驗與比較,主要工作如下。

1)梳理了2016-2022年出現的立體匹配網絡(表1),選擇了5種代表性的端對端網絡進行分析。

表1 2016-2022年間立體匹配網絡

2)定量評估了5種代表性網絡模型在不同遙感數據集中的精度表現,評價了網絡模型在遙感影像中的場景適用性和跨域泛化性。

3)綜合實驗結果,提出了立體匹配網絡在無人機影像和航空航天影像的潛力和挑戰。

1 端對端立體匹配算法

1.1 近年發展

基于深度學習的端對端立體匹配專用網絡可以劃分為特征提取、代價體構建與正則化、視差計算3個階段(圖1)。在特征提取中,大多使用共享權重的孿生卷積網絡提取左右圖像的特征。在代價體部分,采用計算相關層或串聯特征的方式進行構建,基于相關層的方式計算左右圖像的匹配相似度,基于串聯特征的方式將左右圖像特征拼接實現代價體構建。在視差計算中,網絡通過將立體匹配轉化為回歸問題,實現精細化視差輸出。

圖1 端對端立體匹配網絡的一般流程

當前,特征提取階段大多使用孿生卷積網絡提取左右圖像的特征信息。在此基礎上,殘差網絡被用于提高網絡深度、加強特征提取能力;跳層連接被用于優化網絡特征提取結果,空間金字塔池化能夠提取多級特征,增強圖像的全局信息。如表1所示,自2018年PSMNet以來,后續的網絡多使用空間金字塔池化這一策略增強網絡對于全局信息的捕獲能力。目前,主要有兩種代價體的構建方式:采用的左右特征內積構建3D代價體和左右特征串聯構建4D代價體。前者利用點積記錄特征相似性,計算量較少但是丟失了大量圖像特征信息,后者一般在后續處理中采用3D卷積進行歸一化,需要學習大量網絡參數。因此,對于3D代價體的優化策略包括語義掩膜引導聚合、邊緣信息引導聚合、半全局聚合等;對于4D代價體,大多數網絡一般通過堆積漏斗結構、體積金字塔池化、引導聚合層等策略,使代價體對更具魯棒性和全局性。2021年,RAFT-Stereo將門控循環單元(gate recurrent unit,GRU)用于視差估計,STTR提出使用Transformer代替傳統代價體的創建和歸一化,獲得了良好的效果,說明了自然語言處理中的算法模塊經過調整之后可以在立體匹配任務中發揮有益影響,為設計新算法提供了思路。

1.2 典型端對端網絡分析

在基于深度學習的立體匹配算法發展過程中,PSMNet提出的空間金字塔池化、代價體構建與正則化策略開創了立體匹配專用網絡的先河,是立體匹配網絡的經典算法;DSMNet和CFNet分別通過優化算法流程中的特征提取和代價體構建模塊使得算法更具有魯棒性、更適合跨域視差估計,可以很好地反映網絡中模塊優化的跨域精度提升效果;RAFT-Stereo和STTR分別將自然語言處理中的GRU和Transformer引入立體匹配網絡,代替原有的視差回歸和代價體構建模塊,從而提高視差估計效率和精確度,在立體匹配網絡新模塊設計中具有代表性。因此,本文選擇PSMNet、DSMNet、CFNet、RAFT-Stereo和STTR作為代表性算法進行精度實驗和網絡分析。

PSMNet是端對端立體匹配的經典網絡。該網絡在特征提取階段使用空間金字塔池化策略擴大卷積網絡的感受野,增強圖像對全局信息的提取能力,以聚合不同尺度和不同位置的特征。隨后,將左右圖像特征串聯,構建維度是1/4H×1/4W×1/4D×64的4D代價體,使用堆疊沙漏(stacked hourglass)3D卷積進行代價體正則化。堆疊沙漏由3個編碼器-解碼器結構串聯而成,結構內部與中間監督相結合,有效引導代價體正則化。最后,網絡采用回歸的方式得到稠密視差輸出。

為了增強網絡模型的跨域泛化能力,DSMNet使用基于圖的非局部濾波層(non-local graph-based filter,NLF)提取圖像魯棒特征和幾何表示,同時用域歸一化(domain normalization,DN)代替批歸一化(batch normalization,BN),實現特征在空間維度和通道維度上分布的歸一化,保持特征的域不變性。DSMNet的代價體維度為1/3H×1/3W×1/3D×32,代價聚合通過半全局聚合層(semi-global aggregation layer,SGA)和NLF層實現,SGA層通過在圖像4個方向上聚合匹配代價,NLF層則用于實現匹配代價的長距離傳播,增強網絡對全局信息的利用,最終回歸得到視差。

同樣是為了解決算法的域適應性問題,CFNet認為數據集之間的圖像場景差異和視差分布不均衡限制了網絡模型的泛化能力,提出以級聯融合代價體(cascade and fused cost volume)增強立體匹配算法的跨域魯棒性。其中,融合代價體(fused cost volume)將多個低分辨率代價體進行融合從而擴大感受野,級聯代價體(cascade cost volume)使用基于方差的不確定性估計確定視差搜索范圍,減少視差分布對立體匹配精度的影響。在得到初始視差之后,網絡按照由粗到精的方式精化初始視差,通過計算像素的不確定度調整視差搜索范圍,實現視差圖的迭代精化。

RAFT-Stereo將自然語言處理中的GRU模塊引入立體匹配算法,代替3D卷積進行代價體的正則化,減少內存和算力消耗。該網絡的特征提取模塊使用圖像特征編碼器和上下文編碼器,前者用于提取左右視圖的圖像特征,后者提取左視圖的上下文信息用于GRU更新。RAFT-Stereo沒有采用特征串聯融合的方式構造4D代價體,而是計算特征向量的點積構建3D代價體,并對代價體的最后一個維度平均池化得到相關金字塔,擴大網絡感受野。除此之外,網絡剔除相關查找算子建立視差與相關特征的聯系,實現查找相關特征的目的。在視差計算中使用多級卷積GRU傳播圖像的全局信息,迭代精化獲得精確視差。

STTR從序列到序列的角度重新審視了立體匹配問題,提出利用Transformer代替以往方法中的代價體構建。STTR使用編碼器-解碼器獲取圖像特征,將左右特征圖輸入Transformer模塊中,交替計算自注意和交叉注意,自注意計算同一圖像上沿核線像素的注意力,交叉注意計算左右圖像之間沿極線像素的注意力,注意力計算中使用相對位置編碼提供特征的空間信息。估計視差時,STTR采用改進WTA方法估計初始視差,并利用語義信息提供跨核線信息,精化初始視差。

2 實驗設置

2.1 數據集

為了對比研究5種立體匹配網絡的性能,本文在Sceneflow、KITTI Stereo 2015[26]、UAVStereo[27]和WHU[28]的立體子集等多個場景公開數據集上進行實驗驗證。

Sceneflow數據集利用Blender合成了大規模復雜場景的立體匹配模擬數據。該數據集廣泛用于端對端立體匹配網絡的訓練,包括FlyingThing3D、Driving和Monkaa 3個子集,對應有不同的圖像場景類型和視差分布。

KITTI數據集是一個面向自動駕駛場景的室外真實數據集。其中包含了大量的道路、汽車、建筑等數據,視差數據由車載激光雷達結果反算得到,有效視差像素較為稀疏,約占全部像素的1/3。

UAVStereo數據集是一個多分辨率的無人機低空場景數據集,其中包含居民地、林地和礦區共3種代表性場景的合成數據和真實數據,可被用于驗證網絡對低空獲取的地表數據的處理能力以及在合成域和真實域之間的泛化能力。由于網絡的計算性能和機器內存限制和當前網絡處理要求,本文主要采用其中960像素×540像素的低分辨率數據進行測評(后文中的UAVStereo指UAVStereo的低分辨率子集)。

WHU數據集是用于大規模地表重建的航空合成數據集,包含五視影像子集和立體匹配子集(后文中的WHU指WHU的立體匹配子集)。數據集中的航空圖像和視差真值由軟件生成的3D模型渲染得到,涵蓋建筑、工廠、山地、裸露地表等。本文實驗采用WHU數據集中的立體匹配子集,含有8 316對訓練數據和2 663對測試數據,分辨率為768像素×384像素。

由于相機基線、焦距和場景深度的差異,不同數據集的視差有較大差異。4個場景數據集視差在0～384像素之間的視差值分布情況如圖2所示。就視差范圍來講,如圖2所示,Sceneflow、KITTI Stereo 2015和WHU數據集的視差分布在150像素之內,UAVStereo視差在50～350像素之間,這是由于無人機影像基線大,根據式(2),其視差值和范圍分布也較大。

圖2 4個場景數據集視差分布情況

disparity=baseline×focallength/depth

(2)

就影像內容來講,Sceneflow包含隨機場景和動畫場景的多種合成影像,KITTI Stereo 2015是真實街景影像,UAVStereo和WHU是對地觀測影像。

綜上,Sceneflow、KITTI Stereo 2015、UAVStereo和WHU這4個數據集的圖像場景信息、特征屬性和視差分布存在較大差異,為綜合評價不同的端對端立體匹配網絡提供了數據支撐。本文按照7∶1∶2數據集的比例將數據集劃分為訓練數據、精化數據和測試數據(表2),用于測試當前立體匹配網絡的性能,從而比較算法在不同場景的表現。

表2 實驗數據集

2.2 實驗設置

本文設計了同域實驗、跨域實驗和精化實驗3種實驗,在4個場景的數據集上進行實驗,綜合對比研究5種代表性網絡的性能。①同域實驗采用表4中的4組訓練數據對5種網絡進行預訓練,在對應的測試數據上進行視差估計。同域實驗結果可說明不同網絡在不同場景數據上的精度表現,從而推測視差估計網絡的場景適應性。②跨域實驗直接將Sceneflow數據集的網絡模型應用于其他3個測試數據上,從而在圖像特征和視差分布均不同的數據集上實驗和統計網絡性能。這種直接遷移的方式可以用于分析網絡模型的跨域泛化能力。③精化測試中,先使用Sceneflow數據集進行預訓練,然后用3種樣本量較少的精化數據分別對模型進行微調精化,對比微調前后各個網絡的視差估計誤差指標,從而評估精化策略對視差估計的影響,評價不同網絡的適應能力。

本實驗測試環境使用NVIDIA GTX 3090顯卡,顯存為24 GB,配置CUDA 11.2、Pytorch 1.8.0。由于顯存限制,實驗訓練階段將圖像裁剪為256像素×512像素大小輸入網絡(STTR訓練過程除了左右圖像與對應視差外,還需附加遮擋信息,因此只在Sceneflow和KITTI Stereo 2015上訓練)。由于數據集視差范圍的差異,在Sceneflow、KITTI Stereo 2015和WHU數據集上設定網絡最大視差搜索范圍為192像素(STTR無需設置),由于UAVStereo數據集視差搜索范圍更大,實驗中設置最大視差搜索范圍為384像素。訓練和測試階段批處理大小均為4。過程中始終將學習率設置為1E-3(STTR模型的學習率過高會導致訓練中斷,所以將其設置為1E-4)。實驗中不設置訓練循環次數,在模型損失函數曲線無明顯變化時結束訓練,使用最后一輪訓練模型驗證測試集上的表現。

立體匹配算法通常采用端點誤差(end point error,EPE)和3像素誤差(3-pixel error,3PE)作為評價模型精度的指標。EPE是指估計視差與真實視差之間差值的絕對值均值,單位為像素,該指標反映了整幅圖像全部像素的視差估計誤差信息;3PE是指當一個像素的視差誤差大于3時,將其視為錯誤像素,統計錯誤像素占有效像素的百分比作為實驗指標,該指標反映誤差超過閾值的像素數量。

3 實驗結果與分析

3.1 同域誤差

按照以上實驗設置與數據集劃分對網絡進行同域訓練和測試,實驗結果如表3所示。

表3 5種模型在4個數據集上的同域誤差統計

作為代表性算法,PSMNet的表現如下。①在Sceneflow、KITTI Stereo 2015和WHU數據集上精度結果并不理想,定量誤差統計結果顯示該網絡視差估計誤差和誤差像素占比都比較大,作為立體匹配的經典網絡,PSMNet提出了使用全局信息的策略,但其網絡結構仍然較為簡單,不能同時運用細節和全局信息,導致精度效果不夠理想。②該網絡在UAVStereo數據集上結果比其他網絡好。由于無人機影像具有視差搜索范圍大、影像中包含的無紋理和重復紋理等病態區域較多的特點,其立體匹配難度較大,PSMNet中的空間金字塔池化和堆疊沙漏3D卷積能夠有效捕捉全局信息進行匹配,從而提高了無人機影像立體匹配的精度。綜合圖2中視差分布情況,本文推測PSMNet在較大視差范圍的視差估計中有優勢。③盡管無人機場景中該網絡表現不錯,但精度(EPE為3.44像素,3PE為11.63%)與Sceneflow仍然有很大差距,網絡性能仍然有待提高。在無人機場景中,PSMNet比其他網絡的精度更高。但PSMNet在無人機數據集上的整體精度低于該網絡在其他數據集上的精度。

STTR網絡在Sceneflow數據集上取得較好精度(EPE為0.54像素,3PE為1.67%)。①這說明通過自然語言處理領域中的Transformer模塊進行處理后引入立體匹配中,能夠代替代價體的構建,實現精準的視差估計。②該網絡需要視差遮擋圖像作為訓練數據,對數據集有較高要求,無法在UAVStereo和WHU中使用,且無法用于實時數據的處理。關于視覺Transformer的研究表明[29],Transformer缺少一些卷積神經網絡的歸納偏置,例如平移不變性和局部關系,因此在規模不足的數據集上表現欠佳。通過在Sceneflow和KITTI Stereo 2015數據集上對比STTR和CFNet在數據集上的表現,可以初步驗證該結論在立體匹配網絡中的正確性。

RAFT-Stereo與DSMNet、CFNet和STTR相比,其誤差結果EPE較大,但3PE較小。本文推測這是由于其網絡結構中的視差更新模塊可以有效索引視差范圍,使得3PE較小,但由于其網絡結構中使用的編碼器結構簡單,在特征提取時不能有效利用特征和全局信息,因此不能精準估計視差。

3.2 跨域誤差

跨域實驗將Sceneflow的訓練結果直接遷移至其他3個數據集,得到誤差統計結果如表4所示。

表4 5種模型在3個數據集上的跨域誤差統計

在KITTI Stereo 2015數據集上,5個網絡的EPE指標都有降低,DSMNet、CFNet和STTR網絡的3PE指標也有所下降,這主要是因為Sceneflow中包含虛擬駕駛場景Driving子集,該子集提供了稠密的駕駛場景視差真值,場景的相似性使得誤差降低。對比KITTI Stereo 2015上同域實驗和跨域實驗的誤差結果,可以發現大多網絡的跨域誤差小于同域誤差,因此本文認為視差稠密度直接影響了網絡的表現,稠密的視差真值能夠有效提升網絡的視差推理能力。研究表明,影像包含的特征類型會影響網絡特征的提取效果,視差的分布范圍會影響網絡中代價體構建與正則化的效果。由于不同場景數據集在影像特征類型和視差分布范圍方面存在明顯差異,當前網絡泛化性能有限,不能直接進行跨域遷移。

UAVStereo和WHU數據集上的誤差指標上升劇烈,這顯示出網絡在無人機低空場景和航天場景中跨域性能有限。其中,DSMNet和CFNet分別取得UAVStereo和WHU上的最小誤差,說明其網絡中的跨域泛化模塊有一定的跨域泛化能力,然而性能有限。對比UAVStereo和WHU上的誤差變化幅度,UAVStereo的誤差變化幅度遠大于WHU,本文認為雖然無人機場景和航空場景都是對地觀測,然而由于無人機獲取無紋理區域幾率大、視差搜索范圍大等原因,其視差估計更加困難。

3.3 精化誤差

在預訓練結果上使用少量跨域樣本數據進行精化,是提升模型跨域泛化的常用手段。因此,本實驗在Sceneflow上預訓練至收斂,然后用其他3個數據集的精化數據對預訓練模型進行精化,對比不同網絡模型在精化前后的誤差指標,并評價不同網絡模型的跨域適應能力。5個模型在精化實驗中的誤差統計結果如表5所示。

表5 5種模型在3個數據集上的精化誤差統計

在KITTI Stereo 2015數據集上,網絡整體精度不錯,精化策略之后誤差降低(3PE整體低于4%)。與同域驗證中的誤差指標相比,該數據集上的誤差都有大幅降低。本文推斷這種精度的升高一方面是因為訓練數據的增多,使得網絡得到充分訓練;另一方面是因為Sceneflow中虛擬Driving場景為網絡提供了相似的影像特征和稠密的真值視差。

在UAVStereo數據集中,誤差指標都呈增加趨勢,因此少量數據的精化策略在無人機低空場景數據集上并不奏效。這是由于UAVStereo和Sceneflow的場景信息、影像特征和視差分布的相似性較低,所以精化策略不如同域訓練策略的精度表現。5種網絡中,PSMNet取得最小誤差,與同域驗證中的結果相似。因此,本文認為在PSMNet基礎上進行優化可以提高其在無人機場景上的精度表現。DSMNet和CFNet分別在特征提取、代價體構建的步驟中進行了跨域泛化性能的增強。但以上兩種策略在無人機場景數據中的效果并不理想,在視差估計階段增加約束和增強泛化能力的研究還沒有得到足夠的關注,理論上具有深入研究的價值。

WHU數據集的指標變化并不穩定。與Sceneflow和KITTI Stereo 2015數據集的結果相比,當前網絡在航空影像上的視差估計精度仍有待提高。WHU數據集在視差范圍上與Sceneflow和KITTI Stereo 2015數據集相差不大,但影像包含的特征類型明顯不同。因此,本文認為當前網絡對地物特征匹配的能力還有待加強。精化策略對WHU數據集的影像并不穩定,精化效果與網絡本身有關。

3.4 實驗小結

本文使用3種實驗方法在4個數據集上對5種代表性的基于深度學習的立體匹配網絡進行了綜合對比。實驗結果表明:在運算資源有限、場景類型多樣、影像特征和視差分布迥異的情況下,網絡結構和訓練策略對場景適用性有較大差異;PSMNet在仿真數據集、駕駛數據集和航空數據集上精度不高,但在無人機低空數據集上精度表現良好,在同域實驗、精化實驗中表現優于其他網絡;DSMNet和CFNet使用不同的跨域泛化策略提升網絡的泛化性能,其策略對于跨域視差估計具有一定提升,但效果不明顯,誤差仍然很大;RAFT-Stereo在同域實驗和精化實驗中表現不錯,然而在跨域實驗中精度下降驗證,本文推測增加其網絡中特征提取模塊的魯棒性能夠有效提升網絡性能;STTR也能夠獲取精度較高的視差結果,但是算法訓練數據需要有人工標注的遮擋信息,在實際中應用較為困難。

4 結束語

本文將深度學習方法應用到不同類型航空影像的立體匹配中,分析了代表性的立體匹配網絡在不同數據集上的精度表現,評估了不同網絡的精度和泛化能力。實驗結果表明:受視差分布、場景類型等因素的影響,當前代表性立體匹配網絡在航空遙感數據集UAVStereo和WHU上精度不高;使用域歸一化、多尺度代價體等增強跨域泛化能力的策略在航空影像上的適用性并不理想;利用自然語言處理Transformer模塊代替代價體的設計能夠在部分數據集上提高精度,但由于其對訓練數據有更高的要求,難以直接應用于航空遙感影像。

結合本文實驗結果分析,本文對基于深度學習的立體匹配算法展望如下。

首先,有監督的端對端立體匹配算法對于場景的適用性差異較大,精度表現受遙感影像場景類型、視差分布等因素的影響較大。隨著通用特征表示在多任務學習中取得越來越好的精度,將相關方法引入到立體匹配中有望取得更魯棒、更通用的特征表示,從而提高網絡的場景適用性。

其次,當前立體匹配網絡訓練過程對算力和內存要求較高、算法收斂速度較慢,還不適應機載端實時處理等智能遙感計算的需要。隨著深度學習中模型剪枝、知識蒸餾等輕量化措施的發展,將相關優化措施引入立體匹配網絡將對運行性能、遙感影像實時處理相關應用前景有重要提升。

最后,當前應對遙感影像跨域問題的方法主要采取少樣本(few-shot)數據進行參數微調。然而,這種策略得到的精度效果并不穩定。隨著元學習(meta-learning)方法在計算機視覺中的研究,將其中少樣本學習的方法引入立體匹配網絡,能夠充分利用不同域之間的有效監督信息,從而提高立體匹配網絡對于目標場景的立體匹配精度。