基于深度可分離殘差網絡的遙感影像路網檢測

單傳輝,葉紹華,姚萬琪,張 欣

(安徽工程大學 電氣工程學院,安徽 蕪湖 241004)

0 引 言

路網指的是在一定區域內,由各種道路組成的相互聯絡、交織成網狀分布的道路系統。其中,全部由各級公路組成的路網稱為公路網;在城市范圍內由各種道路組成的路網稱之為城市路網。路網提取或者檢測是指輸入高分辨率遙感影像,利用計算機通過一定的規則進行識別,從而提取或者檢測路網[1]。高分辨率遙感影像包含豐富的信息,從中進行路網提取或者檢測,其基本理論是分析影像中不同目標的光譜特征和空間幾何特征等。傳統路網檢測方法通過圖像的顏色、紋理、邊緣和幾何特征提取道路,應用場景受限且效率偏低。而基于深度學習的路網檢測可以利用海量的高分辨率影像,并在復雜背景下自主快速地提取亞米精度的路網和中心線等交通信息,已經成為高精度地圖生產的重要手段[2]。

根據路網提取算法的不同,可將路網提取分為基于像元的方法、面向對象的方法和深度學習的方法?；谙裨穆肪W提取方法能夠充分利用影像的光譜特征和幾何特征。趙文智等人[3]提出了一種基于道路邊緣檢測的方法進行路網提取,該方法可以解決光譜特征混淆問題,但是其適用場景有限。周家香等人[4]基于Mean-Shift算法對影像劃區域處理進行路網提取,但該方法僅適用于直線型路網的提取方式。Gaetano等人[5]提出利用Canny算子計算道路邊界進行路網提取,但路網的特征具有一定的不確定性。面向對象的路網提取方法通常是把遙感影像劃分為不同區域,然后再進行路網的提取。張游游等人[6]利用統計地物類的模型提取路網的方法,該方法運用Canny算子對遙感影像進行高斯濾波,降低噪聲影響,并采用高低雙閾值法細化邊緣有效檢測出地物的邊緣信息,該方法對高分辨率遙感影像線狀地物信息提取研究具有一定的參考價值。譚紅春等人[7]通過結合條件隨機場和目標級圖像分析法,構建出目標相鄰像素的關系,進而達到提取路網的目的,但是該方法提取的路網存在斷連現象。劉曉宇等人[8]基于漸進式形態學濾波算法,提出一種利用格網近似值代替三維空間點運算并自適應計算濾波參數的方法來提取城市道路路網邊界點,該方法取得了不錯的提取效果,但算法較為復雜?；谏疃葘W習的路網提取方法是借助于語義分割與邊緣檢測的方法進行路網提取,將路網提取任務轉變為二分類的圖像語義分割任務[9]。諶華等人[10]提出了一種改進的全卷積神經網絡(FCN)實現SAR圖像的路網檢測,該網絡可以減少圖像信息丟失和計算開銷。張新長等人[11]探究了不同寬度和框架的神經網絡對路網檢測結果產生的影響。Shan等人[12]提出了一種具有編碼-解碼結構的卷積神經網絡E-Road進行路網檢測。孫卓等人[13]將圖像進行劃區域分割,并利用U-Net與ResNet相結合提出了ResNetU-Net網絡進行路網檢測。王斌等人[14]在U-Net基礎上,根據路網的連通性原理,使用多項式擬合的方法解決路網的不連續問題。Ren等人[15]將U-Net結果引入到膠囊網絡,提出了一種雙注意力膠囊網絡(DA-CapsU-Net),該網絡提取并融合了多尺度膠囊特征,具有良好的普適性和兼容性,但存在錯檢現象。

上述基于像元和面向對象的路網檢測方法相對于基于深度學習的路網檢測方法在實際操作、檢測速度、檢測效果和應用場景等方面存在諸多不足,因此,基于深度學習的路網檢測方法得到了廣泛應用。但是,基于深度學習的路網檢測方法絕大多數是建立在卷積神經網絡的基礎上,即建立在卷積運算上,而由Google研究院的Francois Chollet提出來的深度可分離卷積運算[16]相較于卷積運算不僅擁有更好的提取圖像特征的能力,而且深度可分離卷積運算相較于卷積運算具有更少的參數量和計算量?；诖?該文將深度可分離卷積引入卷積神經網絡中替換對應的卷積運算并進行路網檢測,從而提高路網檢測的性能和檢測速度。

1 深度可分離卷積運算

深度可分離卷積運算是由Google研究院的Francois Chollet提出來的,用來替換Inception V3中的卷積運算,因此誕生了Xception網絡[16]。卷積運算的過程如圖1(a)所示,卷積核的長度覆蓋輸入特征圖的所有通道,輸入特征圖的所有通道與卷積核進行卷積運算之后得到新的特征圖,即多個卷積核卷積運算之后得到的結果進行排列形成了新的特征圖。深度可分離卷積運算過程如圖1(b)所示,深度可分離卷積運算包含兩個卷積運算:逐通道卷積運算和逐點卷積運算。前者卷積核的長度每次只覆蓋輸入特征圖的一個通道,輸入特征圖的通道數與卷積核的個數相等,每個卷積核對應一個輸入特征圖的通道,每個卷積核與對應的輸入特征圖通道卷積運算之后得到新的特征圖,即每個卷積核卷積運算之后得到的結果進行排列形成了新的特征圖,逐通道卷積運算過程如圖1(b)中虛線區域所示。后者是在逐通道卷積運算的基礎上進行的,逐點卷積運算與卷積運算類似,但是逐點卷積運算要求卷積核的大小必須是1×1,可以有多個卷積核,每個卷積核與輸入特征圖卷積之后的結果進行排列便可得到新的特征圖,逐通道卷積的運算過程如圖1(b)中虛線區域所示。

通過比較圖1(a)和(b)可以看出卷積運算與深度可分離卷積運算的不同之處,輸入特征圖都是一個4通道的特征圖,輸出特征圖都是一個6通道的特征圖,卷積運算直接通過使用6個不同的卷積核卷積運算得到,而深度可分離卷積運算首先使用4個逐通道卷積核得到一個同為4通道的特征圖,緊接著再使用6個1×1大小的逐點卷積核得到最終的輸出特征圖。簡而言之,卷積運算過程將輸入特征圖的通道之間的相關性與空間相關性一起處理,而深度可分離卷積運算過程將輸入特征圖的通道之間的相關性與空間相關性分開處理。另外,研究表明相同大小的輸入特征圖在分別進行卷積運算和深度可分離卷積運算得到相同大小輸出特征圖時,深度可分離卷積運算的參數量和計算量都低于卷積運算的參數量和計算量,且深度可分離卷積神經網絡的特征提取能力也優于傳統深度卷積神經網絡的特征提取能力[16]。因此,深度可分離卷積運算在計算量和特征提取能力上優于卷積運算。這也是該文選擇深度可分離卷積神經網絡進行路網檢測的原因。

圖1 卷積運算過程示意圖(a)和深度可分離卷積運算過程示意圖(b)

2 殘差模塊

殘差?？焓荝esNet的重要技能,也是防止深度神經網絡過擬合和梯度消失提升網絡性能的重要方法,因此,自殘差模塊提出之后便得到了廣泛的應用。常見的殘差模塊分為跨兩層連接的殘差模塊和跨三層連接的殘差模塊。為提升路網檢測的性能,防止網絡出現過擬合現象,根據網絡深度,該文采用的是跨兩層連接的殘差模塊。

3 深度可分離殘差網絡

將深度可分離卷積運算與殘差模塊結合可構建深度可分離殘差網絡,深度可分離殘差網絡的結構示意圖如圖2(c)所示,深度可分離殘差網絡所對應的殘差網絡和卷積神經網絡分別如圖2(b)和圖2(a)所示。深度可分離殘差網絡是在殘差網絡的基礎上將卷積層分解為逐通道卷積層和逐點卷積層而得到的,而殘差網絡是在普通卷積神經網絡的基礎上添加殘差學習而得到的,深度可分離殘差網絡、殘差網絡和卷積神經網絡三者的區別可見圖2中的虛線區域。下面通過對比實驗分別檢測這些網絡的路網檢測性能。

4 實驗結果和分析

4.1 實驗環境及參數設置

從圖2(c)可以看出,深度可分離殘差網絡共有11層,包括1個輸入層、3個逐通道卷積層、3個逐點卷積層、1個最大池化層、2個全連接層和1個輸出層。除此之外,網絡還在逐點卷積層之后使用批歸一化技巧、ReLU激活函數,以及跨越兩層逐通道卷積層和逐點卷積層的殘差連接。深度可分離殘差網絡所對應的殘差網絡如圖2(b)所示,二者除了在逐通道卷積層、逐點卷積層和卷積層不同之外,其余設置完全相同。類似地,圖2(a)所示的卷積神經網絡是在圖2(b)殘差網絡的基礎上去除跨越2層的殘差連接而得到的,網絡其余設置與圖2(b)所示的殘差網絡完全相同。所有實驗均在2×NVIDIA GeForce RTX 3080環境下借助Caffe平臺訓練所得。

圖2 三種神經網絡的結構示意圖

深度可分離殘差網絡、殘差網絡和卷積神經網絡的結構和參數設置如表1所示。通過表1可以發現,卷積神經網絡和殘差網絡的卷積層的參數量都遠大于深度可分離殘差網絡對應的逐通道卷積層和逐點卷積層的參數量, 卷積神經網絡和殘差網絡的3個卷積層的參數量是74 304,深度可分離殘差網絡的3逐通道卷積層和3逐點卷積層的參數量是5 467,因此,深度可分離殘差網絡可以極大地減少網絡的參數量,從而提高網絡的訓練速度。

表1 卷積神經網絡、殘差網絡和深度可分離殘差網絡的結構和參數設置

4.2 數據集

實驗中使用的數據集是RRSI交通路網遙感圖像數據集[17]和CHN6-CUG數據集[18]。RRSI數據集共有30幅大小不等的圖像和2種標注,RRSI數據集部分圖像及其標注如圖3(左三列)所示,本節選用其中17幅圖像作為數據集,其中11幅圖像作為訓練集,6幅圖像作為測試集。CHN6-CUG數據集是一套新的中國代表性城市大尺度衛星遙感圖像數據集,包括4 511幅512×512大小標記圖像,其中有3 608幅訓練圖像和903幅測試圖像,CHN6-CUG數據集部分圖像及其標注如圖3(右三列)所示,在實驗中選用其中18幅圖像作為數據集,其中12幅圖像作為訓練集,6幅圖像作為測試集。

圖3 RRSI(左三列)和CHN6-CUG(右三列)數據集部分圖像及其對應標注

4.3 評價指標

為了評價卷積神經網絡、殘差網絡和深度可分離殘差網絡對遙感影像路網檢測的優劣性,共采用兩種評價指標。第一種是通過比較網絡的訓練耗時時長、最終準確率和損失以及準確率和損失的收斂速率來評價網絡訓練和學習的性能;第二種是通過比較網絡的路網檢測實際結果來評價網絡的路網實際檢測性能,路網檢測實際結果包括路網檢測的寬度、路網檢測的缺失情況和路網檢測的錯誤情況。最后,綜合比較并給出網絡對遙感影像路網檢測的優劣情況。

4.4 結果及分析

4.4.1 RRSI數據集上的結果及分析

深度可分離殘差網絡、殘差網絡和卷積神經網絡在RRSI數據集上的對比實驗結果如表2所示,該結果是經過200 000遍訓練后得到的。從表2可以看出,在RRSI數據集上深度可分離殘差網絡、殘差網絡和卷積神經網絡的準確率分別為98.59%、98.31%和98.30%,深度可分離殘差網絡的準確率分別比殘差網絡和卷積神經網絡的準確率提高了0.28和0.29百分點;還可看出,深度可分離殘差網絡、殘差網絡和卷積神經網絡的損失分別為0.041 5、0.067 5和0.064 1,深度可分離殘差網絡的損失分別比殘差網絡和卷積神經網絡的損失降低了0.026 0和0.022 6;也還可以看出,深度可分離殘差網絡、殘差網絡和卷積神經網絡的每百步的平均訓練耗時分別為93 s、165 s和162 s,深度可分離殘差網絡的每百步的平均訓練耗時分別比殘差網絡和卷積神經網絡的平均訓練耗時降低了72 s和69 s。

表2 深度可分離殘差網絡、殘差網絡和卷積神經網絡在RRSI數據集上的對比實驗結果

圖4(a)和(b)分別給出了深度可分離殘差網絡、殘差網絡和卷積神經網絡在訓練集和測試集上損失隨步長的變化關系。從圖4(a)可以看出,深度可分離殘差網絡、殘差網絡和卷積神經網絡在訓練集上損失隨步長的下降情況區別不明顯,但從圖4(b)可以看出,深度可分離殘差網絡的損失在測試集上要比殘差網絡和卷積神經網絡的損失略低。圖4(c)給出了深度可分離殘差網絡、殘差網絡和卷積神經網絡在測試集上準確率隨步長的變化關系,可以看出,深度可分離殘差網絡的準確率在隨步長的變化過程中比殘差網絡和卷積神經網絡的準確率略高。因此,深度可分離殘差網絡在準確率和損失略微優于殘差網絡和卷積神經網絡,且在網絡的訓練耗時時長上遠遠低于殘差網絡和卷積神經網絡。

圖4 深度可分離殘差網絡、殘差網絡和卷積神經網絡在RRSI數據集上的訓練過程

圖5給出了連通度大小為100時深度可分離殘差網絡、殘差網絡和卷積神經網絡的部分路網檢測結果,可以看出,深度可分離殘差網絡的路網檢測寬度與實際路網寬度更接近,優于殘差網絡和卷積神經網絡的路網檢測寬度;深度可分離殘差網絡的路網檢測缺失比例明顯低于殘差網絡和卷積神經網絡的路網檢測缺失比例;深度可分離殘差網絡的路網檢測錯誤比例明顯低于卷積神經網絡的路網檢測錯誤比例,高于殘差網絡的路網檢測錯誤比例。綜上可知,深度可分離殘差網絡的路網檢測實際結果整體上優于殘差網絡和卷積神經網絡的路網檢測結果,而卷積神經網絡的路網檢測結果次之,殘差網絡的路網檢測結果最差,可以說路網檢測任務失敗。

圖5 在RRSI數據集上連通度為100時深度可分離殘差網絡(第一行)、殘差網絡(第二行)和卷積神經網絡(第三行)的路網檢測結果

從表2可以看出,在RRSI數據集上殘差網絡雖然在路網識別的準確率上略高于卷積神經網絡,但是最終在路網檢測結果上效果不佳,這是令人費解的地方,可能的原因是殘差網絡在網絡的深度較淺時,泛化能力弱于單純的卷積神經網絡,這就導致在訓練圖像上殘差網絡的性能得不到保障,在測試圖像上其性能表現較差。

4.4.2 CHN6-CUG數據集上的結果及分析

深度可分離殘差網絡、殘差網絡和卷積神經網絡在CHN6-CUG數據集上的對比實驗結果如表2所示,該結果是經過50 000遍訓練后得到的。從表2可以看出,深度可分離殘差網絡、殘差網絡和卷積神經網絡的準確率分別為99.40%、99.92%和99.96%,深度可分離殘差網絡的準確率分別比殘差網絡和卷積神經網絡的準確率低了0.52和0.56百分點;還可以看出,深度可分離殘差網絡、殘差網絡和卷積神經網絡的損失分別為0.016 6、0.002 5和0.002 3,深度可分離殘差網絡的損失分別比殘差網絡和卷積神經網絡的損失大了0.014 1和0.014 3;也還可以看出,深度可分離殘差網絡、殘差網絡和卷積神經網絡的每百步的平均訓練耗時分別為36 s、80 s和79 s,深度可分離殘差網絡的每百步的平均訓練耗時分別比殘差網絡和卷積神經網絡的平均訓練耗時降低了44 s和43 s。圖6(a)和(b)分別給出了深度可分離殘差網絡、殘差網絡和卷積神經網絡在訓練集和測試集上損失隨步長的變化關系。從圖6(a)可以看出,深度可分離殘差網絡、殘差網絡和卷積神經網絡在訓練集上的損失基本持平,當然,從表2可以看出,在CHN6-CUG數據集上殘差網絡和卷積神經網絡在訓練集上的最終損失比深度可分離殘差網絡在訓練集上的最終損失更小一點。從圖6(b)可以看出,深度可分離殘差網絡、殘差網絡和卷積神經網絡在訓練集上的損失基本持平。圖6(c)給出了深度可分離殘差網絡、殘差網絡和卷積神經網絡在測試集上準確率隨步長的變化關系,可以看出,深度可分離殘差網絡、殘差網絡和卷積神經網絡在訓練集上的準確率基本持平,當然,從表2可以看出,在CHN6-CUG數據集上殘差網絡和卷積神經網絡在訓練集上的最終準確率比深度可分離殘差網絡在訓練集上的最終準確率更小一點。因此,深度可分離殘差網絡在準確率和損失上雖然略微遜于殘差網絡和卷積神經網絡,但在網絡的訓練耗時時長上遠遠低于殘差網絡和卷積神經網絡。圖7給出了連通度大小為100時深度可分離殘差網絡、殘差網絡和卷積神經網絡的部分路網檢測結果,可以看出,深度可分離殘差網絡的路網檢測寬度與實際路網寬度更接近,優于殘差網絡和卷積神經網絡的路網檢測寬度;深度可分離殘差網絡的路網檢測缺失比例明顯低于殘差網絡和卷積神經網絡的路網檢測缺失比例;深度可分離殘差網絡的路網檢測錯誤比例明顯低于卷積神經網絡的路網檢測錯誤比例,高于殘差網絡的路網檢測錯誤比例。綜上可知,深度可分離殘差網絡的路網檢測實際結果整體上優于殘差網絡和卷積神經網絡的路網檢測結果,而卷積神經網絡的路網檢測結果次之,殘差網絡的路網檢測結果最差。

圖6 深度可分離殘差網絡、殘差網絡和卷積神經網絡在CHN6-CUG數據集上訓練過程

圖7 在CHN6-CUG數據集上連通度為100時深度可分離殘差網絡(第一行)、殘差網絡(第二行)和卷積神經網絡(第三行)的路網檢測結果

從表2可以看出,在CHN6-CUG數據集上卷積神經網絡和殘差網絡雖然在路網識別的準確率上略微優于深度可分離殘差網絡,但是最終在路網檢測結果上效果不佳,這是令人費解的地方,可能的原因是卷積神經網絡和殘差網絡存在過擬合的現象,從表2也可以看出,二者的準確率幾乎接近于1,因此,這就導致卷積神經網絡和殘差網絡的泛化能力遜色于深度可分離殘差網絡的泛化能力。

5 結束語

深度可分離卷積運算相較于卷積運算不僅擁有更優的特征提取能力,而且在參數量和計算量方面也低于卷積運算,因此,該文利用深度可分離卷積運算替代卷積運算,并引入殘差模塊,構造了深度可分離殘差網絡進行路網自動提取應用。實驗結果表明,雖然深度可分離殘差網絡、殘差網絡和卷積神經網絡在準確率和損失上區別不大,但是深度可分離殘差網絡的訓練耗時時長遠遠低于相對應的卷積神經網絡和殘差網絡的訓練耗時時長,而且深度可分離殘差網絡的路網檢測實際結果也優于相對應的卷積神經網絡和殘差網絡的路網檢測實際結果。因此,提出的深度可分離殘差網絡在路網檢測方面具有廣泛的應用前景。但是,深度可分離殘差網絡依然存在漏檢和誤檢的現象,進一步降低漏檢和誤檢比例是下一步的研究方向。