基于改進U-Net 的水下石油管道溢油圖像分割方法

郝 琨，張志成，于 翔，王 嬌

（天津城建大學 計算機與信息工程學院，天津 300384）

近年來，隨著人類在水下開采石油的規模越來越大，安全高效的運輸石油也變得尤為重要.水下輸油管道憑借其相對安全、經濟的特性成為了海上運輸石油的主要方式.輸油管道長期處在情況復雜的水下環境中，一些腐蝕、地質變化和人為破壞等因素會造成管道泄漏.過去的幾十年里發生的水下石油管道泄漏事件不僅造成了大量的經濟損失，而且對海洋和周邊陸地環境也造成了巨大的危害.因此，對水下石油輸送管道的狀態進行準確快速的檢測和及時地反饋顯得尤為必要.眾多學者針對輸油管道的泄漏檢測開展了廣泛的研究[1-4].支煥等[5]通過建立數學模型構建一條與實際管道同步運行的虛擬管道，將實測值與模擬值進行對比，來判斷管道是否發生泄漏，但是在復雜的水下環境中不易于獲取實測值.吳海霞等[6]利用負壓波和質量平衡原理，采用模糊算法和邏輯判斷力，并利用壓力、流量和輸差三重機制實現對輸油管道的泄漏檢測.Karim 等[7]根據補償質量平衡法對石油輸送管道進行泄漏檢測，該方法的瞬態模型使用流速、壓力、溫度和密度來計算管道填料率，根據管道運行變化去判斷是否發生泄漏.

隨著高清相機和計算機視覺技術的迅速發展，越來越多的學者開始把視覺技術應用于管道泄漏檢測的問題上.Wang 等[8]使用卷積神經網絡數字識別結合霍夫變化線檢測的方法來檢測油氣管道螺栓是否松動，該方法可以根據螺栓的狀態去估計石油管道是否存在潛在的泄漏危險.但是該方法只能檢測到螺栓的狀態，而不能對管道的其他部位進行有效的檢測.張濤等[9]利用長短期記憶網絡（long short term memory，簡稱LSTM）對孿生網絡監測到的變化區域進行建模來判斷管道的泄漏，但是該方法不適合于光照條件較差的水下石油管道溢油檢測.目前，已有學者將深度學習圖像分割方法應用于水下石油管道溢油檢測領域.羅東浩[10]提出了一種基于圖像分割的海底管道泄漏檢測方法，使用U-Net 網絡對輸油管道圖像進行分割，能夠較好地識別出泄漏量較大事件的發生.杜澤帥[11]以海底管道為研究對象，采用目標檢測YOLOV 3（you only look once version-3）的方法來實現對水下輸油管道的泄漏檢測，但是在管道發生微小緩慢泄漏時檢測效果不佳.

綜上，本文提出一種基于U-Net[12]的溢油圖像分割方法——RAU 來提高水下輸油管道發生微小泄漏時的檢測效果.通過把采集到的水下石油管道附近溢油圖像傳入RAU 中，可以較好地分割提取出圖像中溢油區域，后續通過閾值判斷分析溢油圖像中是否存在溢油區域來實現對水下石油管道溢油情況的高精度檢測并及時上報反饋溢油事件的發生. RAU 以U-Net 為基本框架，將殘差平滑空洞卷積模塊引入U-Net，增強模型學習上下文信息的能力，有利于更好地提取圖像中的細節信息；同時引入注意力機制抑制背景區域權重、加強石油區域的權重，能有效地緩解圖像石油區域和背景區域對比度低對模型的影響.

1 RAU 模型

1.1 整體模型框架

RAU 模型結構由編碼模塊和解碼模塊兩部分構成，其中編碼模塊利用下采樣操作來逐層提取圖像的特征，并利用跳躍連接操作將編碼模塊提取到的特征送入到解碼模塊，實現對石油區域信息和背景區域信息的特征提??；解碼模塊利用上采樣操作實現對圖像位置信息的精確定位.編碼模塊和解碼模塊之間通過跳躍連接方式連接特征層，結合淺層位置信息和深層語義信息，來獲取更豐富的圖像特征；RAU 模型得益于U-Net 的獨特設計，即使訓練集的規模較小，它仍可以取得較好的圖像分割結果.但是U-Net 在前景和后景對比度低的情況下容易出現分割偏差.為了緩解這一問題，引入殘差平滑空洞卷積（residual smoothing dilated convolution，簡稱RSDC）模塊，豐富了上下文語義信息；通過加入通道注意力模塊有效緩解了圖像石油區域和背景區域對比度低對模型的影響，加強了模型對石油特征提取的權重，提高了模型的分割精度.RAU 模型框架如圖1 所示.

圖1 RAU 模型框架結構

1.2 編碼模塊

在編碼模塊中，卷積模塊由4 層下采樣操作組成，每層后都添加最大池化和卷積操作，卷積核大小均為3×3.在編碼模塊中，對石油圖像X進行特征提取，得到Fai表達式為

式中：Conv 代表卷積操作；X為輸入的石油圖像；i為第i層卷積層.

1.3 殘差平滑空洞卷積模塊

為了從采集到的圖像中學習更為豐富的上下文信息，并提取更多的細節，本文引入殘差平滑空洞卷積模塊.殘差平滑空洞卷積模塊包含兩個平滑空洞卷積模塊和跳躍連接.殘差平滑空洞卷積的網絡結構如圖2 所示.

圖2 殘差平滑空洞卷積模塊結構

首先平滑空洞卷積（smoothing dilated convolution，簡稱SDC）SDC1 模塊是利用一個卷積核大小為3×3，步長為1，輸出通道為64 的分離共享卷積層增加前后單元之間的依賴關系，平滑網格偽影現象；然后利用一個卷積核大小為3×3，空洞率r為2，步長為1，輸出通道為64 的空洞卷積層擴大感受野；最后利用實例歸一化層和ReLU 激活函數層加速模型收斂.SDC2模塊是利用一個卷積核大小為9×9，步長為1，輸出通道為64 的分離共享卷積層增加前后單元之間的依賴關系，平滑網格偽影現象；然后利用一個卷積核大小為3×3，空洞率r為5，步長為1，輸出通道為64 的空洞卷積層擴大感受野；最后利用實例歸一化層和ReLU 激活函數層加速模型收斂，同時利用跳躍連接避免梯度消失現象.SDC1 中的平滑空洞卷積的空洞率r為2，SDC2 中的平滑空洞卷積的空洞率r為5，分離共享卷積核大小為（2r-1）×（2r-1）.殘差平滑空洞卷積模塊表示為

其中：SDCn（·），n=1，2 表示平滑空洞卷積函數.

引入殘差平滑空洞卷積模塊有效避免了梯度消失造成的模型性能下降的問題.殘差平滑空洞卷積模塊利用空洞率為2 和5 的卷積核擴大了感受野，同時利用跳躍連接來連接前后特征層，因此能提取到更多的圖像細節特征，在一定程度上降低了前后景對比度低對模型的干擾.

1.4 通道注意力模塊

雖然殘差平滑空洞卷積模塊能有效的提取出更多的石油細節信息，但是圖像背景區域和石油區域對比度低仍會對石油圖像分割造成影響，所以RAU 引入通道注意力模塊.通道注意力模塊處理到的特征信息為通過跳躍連接將下采樣得到的淺層信息和上采樣的深層信息進行融合后的特征信息，即包含豐富的高低層語義信息，在關注高層語義信息的同時也確保了淺層信息在最終分割任務中的貢獻度.通道注意力模塊加大了水下溢油圖像中石油的特征權重，在過濾背景噪聲的同時，降低了低對比度對模型的干擾.由于重點強調了圖像中的石油區域，在一定程度上可以提高模型的訓練速度.通道注意力模塊結構如圖3 所示.

圖3 通道注意力模塊結構

通道注意力模塊中每個通道的特征圖所關注的細節信息不同，其作用是利用各通道特征圖之間的關系來學習一個一維的權重矩陣，然后將這個權重矩陣乘以對應的通道.利用注意力模塊，可以使模型更加關注包含更多石油信息的通道，從而來提取溢油圖像中更多石油的特征信息.首先利用最大池化和全局平均池化來整合空間維度信息，讓每個通道生成兩個特征描述符；然后將生成的這兩個特征描述符作為一個共享的多層感知機f的輸入，多層感知機的功能是生成兩個更具代表性的特征向量，并將多層感知機生成的兩個特征向量進行相加操作；之后再通過一次sigmoid函數得到特征Wc；最后將特征Fb3與Wc對應的空間位置進行相乘獲得更加具有代表性的特征.通道注意力模塊特征提取如式（5）和（6）所示，即

式中：f表示多層感知機；?代表乘法操作；Avgpool（·）為平均池化操作；Maxpool（·）為最大池化操作.

1.5 解碼模塊

在解碼模塊中，卷積模塊由4 層上采樣操作組成，每層后都添加最大池化和卷積操作，卷積核大小均為3×3.在解碼模塊中，進行特征Fbj提取獲得的特征如下式所示

式中：j為第j層上采樣層，j取值為2，3；i取值為4，3；Fbj為解碼模塊提取的特征.

1.6 損失函數

在二分類圖像分割[13]訓練中，一般使用二元交叉熵損失函數（binary cross-entropy loss，簡稱BCE loss），BCE 損失函數如式11-13 所示，即

式中：GT（a，b）為像素（a，b）的手工標注標簽；SEG（a，b）為分割物體的預測概率；BCE 損失函數是逐像素對分割像素和背景像素進行加權，并且不考慮鄰域的標簽，有利于損失函數的收斂.

2 分析與討論

2.1 數據集與模型訓練

本文的數據集是在實驗室環境下使用超眼B011工業級數碼放大鏡實現石油圖像的采集工作，所使用的拍攝工具為超眼B011 工業級數碼放大鏡，放大倍數為50 倍，采集的圖像分辨率為800 pixel×600 pixel，位深為8.石油圖像采集完成之后，使用Labelme 軟件對采集到的石油圖像進行了標注，得到300 張標注好的石油圖像.為了增強模型泛化能力，降低過擬合現象的發生，進行了數據擴充操作.對標注好的石油圖像進行了水平翻轉、垂直翻轉、旋轉90°和色彩抖動數據擴充，將數據集擴充至1 500 張圖像，其中1 200 張作為訓練集，300 張作為驗證集.部分數據集原始圖像及標注圖像如圖4 所示.

圖4 部分數據集圖像

模型訓練時采用CPU 為Intel Xeon E5-2620、內存為32 GB、顯卡為NVIDIATM GeForce GTX 1080 Ti的硬件平臺.軟件平臺是Ubuntu 操作系統，并使用Pytorch 深度學習框架實現本文的網絡模型.在模型訓練時設置初始化學習率為0.001，采用RMSprop 作為優化器，設置參數值weight_decay 為1e-8，momentum為0.9，批量大?。╞atchsize）為1，迭代次數為300. 改進后的RAU 網絡模型與原始U-Net 網絡模型的損失值變化情況如圖5 所示.從圖5 可以看出，RAU 網絡相比于原始的U-Net 網絡，損失函數收斂更快，穩定后的損失值更小，說明改進后的模型訓練效果更好.

圖5 模型改進前后訓練損失值對比

2.2 評價指標

本文從主觀評判和客觀評判兩方面對RAU 分割效果進行分析和比較. 主觀評判主要是根據人眼的視覺效果去比較圖像分割效果的優劣. 客觀評判上，采用IoU[14]、Pixel Accuracy[15]作為評價標準，其計算公式如下

式中：X和Y分別為圖像的真實值和預測值；NTP、NTN、NFP、NFN分別是石油像素正確分類數量、背景像素正確分類數量、背景像素錯誤分類數量、石油像素錯誤分類數量；Pixel Accuracy 是指被正確分割的像素數量占圖像全部像素數量的比例；IoU 為語義分割的標準評價指標，表示真實值與預測值的交集與并集的比，其數值越大表示預測圖跟真實圖之間越接近，當IoU的值為1 時表示預測圖與真實圖完全一致.

首先將RAU 與圖像分割模型Mask-RCNN（mask region-based convolutional neural network）[16]、FCN-8s（fully convolutional networks-8s）[17]、SegNet[18]、U-Net 進行對比分析，然后對RAU 進行總體性能分析.

2.3 不同模型的結果對比分析

兩組石油圖像分割結果如圖6-7 所示. 其中，Mask-RCNN 的分割結果較差，圖6c 和7c 中紅色掩膜為分割出來的石油區域，可以看出分割框只是大概選取了圖像中石油的區域，并且在錨框內不能夠實現對圖像的前景區域和背景區域的準確分割.FCN-8s 分割的結果不夠準確，在圖像邊緣和圖像中不能實現準確分割，會產生漏分割的現象.U-Net 分割結果較好，能夠基本實現對圖像中前景區域和后景區域的分割，但是觀察圖6e 左下方和上方邊緣處及圖7e 上方和下方邊緣處，會出現漏分割及分割不準確的情況.SegNet 分割結果較為準確，但是在靠近圖像邊緣處會產生漏分割的現象. RAU 在圖像邊緣和圖像前后景對比度低的情況下均能較好的實現對圖像的分割，能夠較好地分割出圖像中的石油區域.

圖6 第一組石油圖像分割結果

圖7 第二組石油圖像分割結果

雖然通過人眼視覺觀察可以直接獲取結果對比信息，但是視覺觀察容易受到主觀因素的影響，所以對圖像分割的結果進行了定量分析評價，實驗結果如表1 所示.可以看出，RAU 在Pixel Accuracy 和IoU 評價指標上的表現較其他模型結果較優，說明了RAU可以較好地分割出前后景對比度較低情況下的石油信息.由于本實驗數據集中的石油在整個圖像中都有分布，Mask-RCNN 不能很好地分割錨框里的石油區域和背景區域.雖然FCN-8s 分割效果較好，但是分割出來的結果并不是很精細，對圖像中的細節信息不敏感，而且未能充分考慮到像素之間的相互關聯，缺乏空間一致性.U-Net 通過跳躍連接反卷積層和特征層，充分提取并結合了深淺特征層的語義信息，在一定程度上提升了模型獲取細節信息的能力，分割效果得到了一定的提升.SegNet 分割結果較好，但是由于網絡沒有充分考慮上下文信息，在圖像邊界處會存在漏分割現象.此外，雖然SegNet 的性能略好于U-Net，但是SegNet 的模型參數量要多于U-Net 的模型參數量，結合輕量化因素考慮，最終選擇U-Net 作為基礎網絡模型進行優化改進.RAU 在分割指標上均有不同程度的提升，說明RAU 能在前后景對比度低的區域和圖像邊緣處分割出石油信息，分割效果較好.

表1 不同模型的性能對比

2.4 消融對比實驗

本文針對不同模型進行了消融實驗，來驗證RAU引入通道注意力模塊和空洞卷積模塊的有效性.模型1 是標準的U-Net，模型2 在U-Net 的基礎上添加了殘差空洞卷積模塊，模型3 在U-Net 基礎上引入了通道注意力模塊，RAU 在U-Net 基礎上引入了殘差空洞卷積模塊和通道注意力模塊.所有實驗在測試集上進行測試，不同網絡模型性能結果如表2 所示.標準模型U-Net 的IoU 為0.722 3，Pixel Accuracy 為0.912 9.添加殘差空洞卷積模塊后，兩項評價指標均有不同程度的提升，相較于U-Net 原始模型IoU 提高了0.25%，Pixel Accuracy 提高了0.39%，參數量增加了2.41 M.這說明殘差空洞卷積模塊可以在一定程度上緩解低對比度區域分割精度低的問題，但是整體分割精度提升有限.引入通道注意力模塊后，IoU 和Pixel Accuracy相較于標準的U-Net 分別提高了0.81%和0.45%，參數量增加了0.63 M，說明引入通道注意力機制可以在一定程度上提高前后景對比度低的分割精度.同時引入殘差空洞卷積和通道注意力模塊后，參數量增加了3.04 M，IoU 和Pixel Accuracy 相較于標準U-Net 分別提高了2.93%和1.17%，IoU 和Pixel Accuracy 分別達到了0.751 6 和0.924 6.這說明聚集兩個模塊后，其效果可以疊加，在前后景對比度低的區域上有效提高了分割精度，可見RAU 能分割出更多的在低對比度區域的石油信息.

表2 消融實驗結果比較

3 結 語

本文提出了一種基于U-Net 的圖像分割方法——RAU.該模型以U-Net 為基本框架，在標準U-Net 中引入殘差平滑空洞卷積模塊，能夠提取圖像更多的細節信息.通過引入注意力機制抑制背景區域權重，加強石油區域的權重，緩解圖像背景區域和石油區域對比度低對模型造成的影響.實驗結果表明，RAU 對水下溢油圖像有較高的分割精度，但對于圖像邊緣處的區域的像素仍會出現分割錯誤的現象.下一步將著重研究如何更有效地結合圖像中的高級語義特征，降低邊緣像素被錯誤分類的情況，且最終實現把RAU 算法移植到嵌入式設備中.