聯合JPU與HRNet V2的遙感影像云檢測算法

王敏 周曉春

關鍵詞：云檢測；HRNet V2 ；JPU

遙感是獲取地面信息的重要手段，對地理國情普查、污染防治、抗震救災、農作物長勢分析等方面都起到了重要作用[1]。然而，根據國際衛星云氣候學項目通量數據（ISCCP-FD） 顯示，全球云的覆蓋面積超過地面面積的一半，尤其是熱帶雨林地區云的覆蓋更為嚴重，基本很難獲取無云的影像[2]。

云檢測是遙感影像處理首要且關鍵的一步，只有將云檢測出來后，替換為無云的影像，才可以開展下一步的工作，后續的分析解譯具有重要意義。最初且最原始的云檢測手段是人工勾取云矢量，直至現在還有很多公司采取這種方式進行云檢測，其缺點如下，首先人工勾取云矢量效率太低；第二，人工對于薄云邊界的判斷不清晰，很難勾繪出準確的薄云邊界；第三，對于大幅影像很容易漏掉小塊且單獨的云朵。從而對后續影像分析解譯帶來影響。云檢測的第二類方法為基于波段閾值及紋理信息的云檢測。Zhu等人提出的FMask 算法，其是基于波段閾值的云檢測方法，可以很好地檢測Landsat系列遙感影像[3-4]。2015 年，Zhu對原始的FMask算法進行改進，改進的FMask 算法對于卷云及薄云的檢測效果更好[5]。這些方法基本都是依賴光譜的反射特性進行區分出云及非云的物體，但是地面上有很多云的光譜反射特性相類似的物體不可避免，如海邊的沙地、荒野中的裸地以及雪等，它們會極大干擾檢測的結果，從而被誤判為云。2020年，Xiong等基于NDVI、白度及 HOT三個指標設計了動態光譜閾值算法，將原云檢測的精度提高到90%以上[6]。第三類方法為基于機器學習與深度學習的方法[7-10]。SVM的出現開始了機器學習在云檢測領域的應用，Li等基于灰度共現矩陣的亮像素比、平均梯度和角二階矩作為分類特征設計了SVM，從而進行云檢測，結果來看，可以用于工程應用[11]。Ji S等通過級聯卷積神經網絡集成了云檢測及云去除的框架，從而實現高精度云檢測及云去除[12]。并且很多學者對其精度進行了精進，如ZiqiangYao提出的MCNet，模型類似于U型，加入金字塔卷積聚合多尺度特征，注入注意力機制提取到更多的特征，可以較好地檢測云[13]。Yao J結合Unet與SegNet模型進行訓練，測試時使用TTA（test time augmentation） 提高云檢測的準確性，對高分7衛星的快視圖影像有較好的檢測結果[14]。云檢測屬于深度學習領域中的語義分割任務，Zhi?yong Xu基于HRNet分析了HRNet的缺點，并向其中加入輕量級雙注意力機制，并設計BA模塊，提高了邊界信息的檢測精度[15]。

本文的主要貢獻：

1） 目前的深度學習算法大多數是輸出分辨率的特征圖，然而HRNet V2可以盡可能保留原始影像的信息的特點。比如，原始為云的地方，不一定會被還原出來，所以這里使用HRNet V2作為骨干網絡，使用級聯的上采樣方式，層層遞進還原原始影像的像素類別。

2） 由于原始的HRNet V2的訓練效率較低，這里基于貢獻1的HRNet V2的后面加入JPU結構，即將基于貢獻1的HRNet V2輸出的4個大小一致的特征圖進行拼接，再將其分別進入空洞率不同的可分離卷積中，最后再進行特征圖相加。其中可分離卷積可以明顯減少訓練時間，并且進行并聯的空洞卷積。

1 改進HRNet V2 的云檢測算法

本文在原始的HRNet V2結構的基礎上，加入JPU 結構以提高網絡模型的精度。

1.1 HRNet V2結構

HRNet V2 結構如圖1所示。首先，經過原始的HRNet v2 結構[16]，HRNet v2 結構首先經過一個stem 結構，然后再進入到4個下采樣的階段。

其中，stem 結構為首先將原始的3 通道特征圖經過一個卷積核大小為3，步長為2的卷積，Stem 結構將3 通道特征圖升高為64 后，增加了感受野。

第1階段：先將經過stem block 后的特征圖，進入一個bottleneck 結構，bottleneck 結構如圖2 所示，先經過一個1×1的卷積，但是通道數不變，然后經過3×3的卷積結構，最后經過1×1 的卷積結構將特征圖的通道數變為256，另一部分，經過一個1×1卷積直接將原始的特征圖的通道數變為256，將兩個分支的特征圖進行相加操作，得到通道數為256 的特征圖。然后將通道數為256的特征圖經過一個1×1的卷積，將通道數減小為64，然后經過卷積核大小為3的卷積，提高非線性，之后再經過1×1的卷積結構還原原始256 大小的通道數，最后將得到的特征圖與原始的256大小的特征圖進行相加操作，然后輸出最終結果。

第2階段：上一階段得到了一個通道數為32，大小為64的特征圖和一個大小為32通道數為64的特征圖，分別經過Basic Block 結構，Basic Block 結構為經過兩個卷積核大小為3的卷積，通道數大小不變。如圖3所示。

第3階段：同第2階段相類似，只不過其特征圖的分支更多了，可以用到的多尺度特征更多了。

第4階段：同第3階段相類似，只不過最后輸出4 個特征圖而不是進行上采樣或下采樣，其中4個特征圖的大小分別為64×64、32×32、16×16、8×8，特征圖的通道數依次為32、64、128、256。

1.2 JPU 結構

JPU（Joint Pyramid Upsampling） 模塊最早是由Hui?kai Wu在FastFCN中提出，為了將給定的低分辨率目標圖像生成帶有高分辨率的引導圖像，通過從高分辨率引導圖像中傳遞細節與結構信息，從而生成一個高分辨率的特征圖像[17]。同時減小網絡的計算量，提升網絡模型性能。

JPU是將多尺度特征進行變換成統一尺度，首先進行卷積操作，將其4層特征圖中后面3層的特征圖都統一將其通道數變為與第1層的特征圖通道數一致，第1層的特征圖不變，這樣4層的特征圖的通道數都一樣，然后進行上采樣操作，同樣，第1層的特征圖尺寸不變，后面三層的特征圖都進行上采樣將其特征圖的尺寸變為和第一層的特征圖一致。然后將其四層的特征圖拼接起來，形成了1個4倍第一層特征圖通道數的融合后特征圖，將拼接起來的特征圖分別進入空洞率為1、2、4、8 的可分離空洞卷積中，將4個輸出結果進行拼接操作，形成了一個新的128 通道的特征圖，最后進行卷積操作，將128通道的特征圖減少通道數為64。JPU 可以聯合多尺度特征并且增加感受野的大小。具體結構見圖4所示。

JPU 模塊中最重要的部分就是并聯的4個空洞率分別為1、2、4、8 的可分離卷積，如圖5 所示。

其中，空洞率為1的卷積主要針對ym0和ym的其余部分，空洞率為2的卷積主要針對ym0和ys在圖5中，紅色虛線框中的空洞率為1的卷積核的作用為獲取ym0與ym中其余部分的關聯信息。從圖5 中的綠色實線框中表示的是空洞率為2 的卷積核通過映射關系h（·）將ym0生成ys的過程，從而提高了分辨率?？斩绰蕿?、8 的卷積核作用與空洞率為2 的卷積核作用類似。由于ASPP 只從最后一個特征圖提取特征，而JPU結合了多尺度的上下文信息，所以JPU 與ASPP 結構具有顯著的不同。ym0可以通過映射關系變換到ys，而ym0與ym中除ym0外的其余部分通過空洞率為1 的空洞卷積進行關聯。因此，在將4個并聯的可分離空洞卷積[18]提取出特征之后，還要連接一個常規的卷積用來將特征轉換到最后的預測。

2 實驗與分析

2.1 實驗數據

本次實驗所用的數據來自公開數據集，其中用于云檢測的優秀數據集為38cloud數據集，該數據集中，18景用于訓練，20景用于測試使用，影像來源于Land?Sat8的影像數據。

2.2 損失函數與評價指標

本文使用的損失函數為BCE損失使用以下3個評價指標：交并比（Iou） 、召回率（recall） 以及精確率（precision） 。其計算方式如下：

在公式（1） （2） （3） 中，TP（True Positive） 為真陽性，表示原本為云預測為云的數量，TN（True Negative） 為真陰性，表示原本為非云預測為非云的數量，FP（FalsePositive） 為假陽性，表示原本為非云錯誤預測為云的數量，FN（FalseNegative） 為假陰性，表示原本為云錯誤預測為非云的數量，其中3個指標越高表示精度越高。

2.3 云檢測結果分析

首先通過定量指標評價該方法與常用的深度學習算法進行對比，可以發現，該方法的精度要高于常用的方法（見表1） 。

如圖6所示，圖中（c） 和（d） 表示SegNet及UNet算法的預測結果，兩個算法的預測效果較差；圖中（e） 表示DLinkNet算法的預測結果，其中紅框中未正確預測出來；圖中（g） 表示HRNet V2算法的預測結果，其中黃色框中云的范圍被正確預測，綠色框中云的范圍未被預測出來，紅色框中的同樣角點處未被正確預測；最后圖中（g） 表示I-HRNet v2算法的預測結果，其中框中均被正確預測。

3 結論

本文針對現有的云檢測算法精度差的問題，在原始的HRNet V2的基礎上加入了JPU結構，保留了更多的云細節，提高了云檢測精度。

1） 使用HRNet V2結構提高了原始特征圖的信息利用率。

2） 在原始的HRNet V2結構后加入JPU結構，提高了模型的訓練速度，另外，保留了原始的高分辨率信息，增加了感受野。