基于多色彩空間的YOLOv5松枯死樹檢測方法

游子繹, 王文瑾, 邵歷江, 郭 丹, 吳松青, 黃世國2,*, 張飛萍

1福建農林大學林學院,福建 福州 350002; 2福州農林大學生態公益重大有害生物防控福建省高校重點實驗室,福建 福州 350002; 3福建農林大學計算機與信息學院,福建 福州 350002

松材線蟲病Bursaphelenchusxylophilus(Steiner et Buhrer) Nickle是一種危害松科植物的林業檢疫性有害生物,已在我國造成較大危害(葉建仁,2019)。該病主要通過媒介昆蟲松墨天牛MonochamusalternatusHope擴散蔓延,而該蟲具有選擇衰弱、瀕死松樹產卵的習性。準確監測和定位林分中的松枯死樹,并對其及時進行無害化處理,是防治松材線蟲病的核心措施之一(李成和劉波,2021)。長期以來我國主要采用地面人工普查、目測方法進行松枯死樹的監測定位。然而,由于山地地形復雜、林層多樣、交通不便以及地面人工普查存在成本高、效率低等,大量的松枯死樹不能被及時發現和無害化處理,已成為影響松材線蟲病防治的重要因素之一。

隨著無人機和數字圖像等技術的快速發展,利用無人機快速獲取林分彩色(red-green-blue color space, RGB)遙感影像監測定位野外松枯死樹,具有高效、精準、低成本、受地形因子限制小等優勢,具有廣闊的應用前景。但由于無人機獲取的影像數據量大,人工判讀存在工作量大、時效性差等問題,因此,利用計算機視覺技術自動識別影像中的松枯死樹已成為生產應用上亟待解決的問題(地力夏提·包爾漢,2021)。對此,國內外進行了大量相關研究,如:尹華陽等(2020)采用傳統機器學習方法,利用手工設計的特征通過算子提取松枯死樹的特征,然后應用分類器進行識別,取得了良好的效果;陳魏冬(2018)、陶歡等(2019)研究發現,在“色調—飽和度—明度”(hue-saturation-value, HSV)色彩空間和LAB (CIELab color space)色彩空間中,可以識別出在RGB色彩空間中無法識別的松枯死樹。

隨著深度學習技術的逐漸成熟(Dosovitskiyetal.,2020),利用該方法替代傳統的機器學習方法被廣泛用于松枯死樹的監測研究(Dengetal.,2019)。相較于傳統機器學習方法,深度學習不需要手工提取特征,而是使用自動設計特征提取的方法,自動抽取無人機拍攝的松枯死樹低層的細節信息和高層的語義信息,并通過信息融合的方式實現識別,其識別性能顯著高于傳統方法。因此,深度學習算法等已成為松枯死樹識別最重要的方法(李浩等,2021; 劉順利等,2022; Wuetal.,2021)。

盡管將深度學習算法應用于松枯死樹的監測研究中取得了很高的精度,但在實踐應用中還存在一些局限性。首先,對于松材線蟲病防治而言,全面徹底無害化處置松枯死樹是其中關鍵的環節,這就要求對松枯死樹的監測和識別有高準確率的同時還要有低漏檢率?，F有研究雖已有了較高的精度,但是對識別誤差的分析表明,漏檢是當前誤差的主要來源。其次,現有研究大多在特定飛行高度、小面積林分等場景下進行,但由于野外地形的復雜多變,在野外大面積實踐應用中往往需要提高無人機飛行高度以便提高效率,這也導致識別的性能降低。造成上述問題的一個重要原因在于現有深度學習算法僅在RGB空間進行分析,對不同顏色空間的信息利用缺乏研究。

鑒于此,本研究在生產應用實際場景下,利用無人機采集大面積松材線蟲病發生林分的RGB遙感影像。在此基礎上,應用多種基于深度學習的目標檢測算法識別松枯死樹,在篩選出性能最優算法的基礎上,充分利用不同色彩空間存在的互補作用(Gowda &Yuan,2018),進一步挖掘在多個色彩空間的目標檢測結果,達到降低漏檢率并提高識別性能的目的,以期建立一種滿足生產實踐需求,能夠及時、高效、省時省力地從大面積林分中準確識別松枯死樹的技術,為科學有效防治松材線蟲病提供技術支撐。

1 材料與方法

1.1 研究樣地與數據采集

本研究設2個無人機航拍樣地:樣地1位于福建省福州市閩侯縣鴻尾鄉(118.97°E,26.147°N),屬南方典型丘陵地勢,林地最高點海拔1037 m,林分構成以馬尾松PinusmassonianaLamb.為主,混有杉木Cunninghamialanceolata(Lamb.) Hook.以及多種彩色闊葉樹或落葉闊葉樹,該樣地松材線蟲病發生嚴重,松枯死樹多;研究樣地2位于福建省莆田市仙游縣西天尾鎮(119.04°E,25.539°N),其林分類型也是馬尾松為優勢種的馬、杉、闊混交林。

2020年11月,松樹受害枯死高峰期后,選擇晴朗天氣采集2個研究樣地的遙感影像。使用CW-007型固定翼無人機搭載CA-102型無人機相機(60 mm f/2.0G定焦鏡頭,分辨率7952×5304像素);根據地勢情況確定無人機飛行高度,樣地1為400～1200 m,樣地2為800 m左右,飛行速度均為20 m·s-1,均在最優光照條件期間(10:00—15:00)飛行;采用定距曝光的方式航拍采集影像數據。樣地1采集遙感影像15個架次,總計飛行面積約368.1 km2。樣地2采集遙感影像2個架次,總計飛行面積約32.3 km2。遙感影像采集完成后,將每個架次拍攝的影像導入Pix4Dmapper軟件進行圖像拼接,得到包含地理信息的完整航空圖像,2個樣地共計獲得完整航空圖像17張。

1.2 數據預處理

將樣地1每架次用Pix4D拼接好的RGB遙感影像數據等分為4096張圖像,共得到15×4096張圖像。參照李鳳迪(2020)的方法,應用LabelImg軟件使用矩形框人工標注每幅圖像中的松枯死樹,每個矩形框對應一棵松枯死樹樣本,并將red標簽作為松枯死樹類別標簽,從而得到VOC格式數據集。標注示例見圖1。人工標注結果發現,有松枯死樹的圖像3436張,標注得到松枯死樹共9023棵。在完成標注后,針對樣地1中連片或多棵松枯死樹聚集的樣本以及因圖像清晰度不高導致無法確定的樣本,采用人工地面踏查結合無人機低空巡查對松枯死樹標注情況進行實地驗證,確保標注準確性和完整性。然后再按照0.35∶0.35∶0.30的比例隨機劃分訓練集、驗證集、測試集,對模型進行訓練。

圖1 枯死松樹樣本示例

1.3 基于多色彩空間的YOLOv5目標檢測

采用當前流行的目標檢測算法YOLOv5作為松枯死樹識別模型。該模型根據殘差組件和卷積核數量從少到多可分為4個網絡結構,即YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。由于航拍時間、天氣、地形因素等影響,獲取的松枯死樹大小、顏色、亮度、紋理、尺度等變化很大,因此使用殘差組件和卷積核數量最多的YOLOv5x網絡結構。該結構通過增加模型深度和寬度提高了網絡特征提取和特征融合的能力,能夠更好地應對野外松枯死樹樣本特征復雜多變的情況。

在使用YOLOv5算法時,本研究首先對輸入圖像通過Mosaic數據增強(隨機選取帶標注的4張圖片,分別對4張圖片進行翻轉、縮放、色域變化等操作,分別進行圖片和框的組合),以隨機縮放、隨機裁剪、隨機排布的方式對圖片進行拼接,然后將圖像按目標檢測的通常做法自適應縮放至608×608像素。同時,在輸入卷積神經網絡前,使用k-means算法和遺傳學習算法自適應地生成與數據集匹配的先驗框尺寸,避免人工設計的誤差。

采用CSPDarkNet53實現特征提取,該網絡包括了Focus結構、CSP結構和SPP結構。在特征提取前使用Focus結構進行切片操作,將圖片隔像素取值并按區域劃分組合,得到4份圖像后再按通道融合。融合后的圖像經CBL (conv-bn-leakyrelu)層通過卷積、批量歸一化和Leaky_ReLU函數激活,提取特定的局部圖像特征。YOLOv5在主干網絡(backbone)和模型頸部(neck)2部分均設計了CSP_X結構,本研究使用CSP1_12和CSP2_4結構。SPP結構使用濾波器為5×5、9×9、13×13的最大值池化提取不同尺度特征,再將原圖和池化后的3幅圖像疊加。同時,模型頸部使用FPN+PAN的結構。經過特征提取和特征融合網絡后,得到3種不同尺寸的下采樣特征圖。計算定位損失采用了GIOU_Loss,對于多目標框篩選采用DIOU_nms模塊。并最終輸出預測結果,從而實現多尺度網絡預測。

本研究以遷移學習的方式用Bdd100k數據(Yuetal.,2020)學習的權重參數初始化網絡,然后對目標數據集從頭開始訓練,加快并優化模型的學習效率。同時,由于不同色彩空間在松枯死樹識別過程中存在互補性,本研究提出在深度學習的晚期階段結合不同色彩空間的信息以提高識別的性能。具體如下:首先將訓練集RGB通道圖像分別轉化為LAB通道圖像和HSV通道圖像,之后使用3個色彩通道的圖像分別進行訓練。訓練出3個色彩通道的預測模型后,再分別對3個色彩通道圖像進行預測,匯總不同顏色空間的目標預測邊界框,使用非極大值抑制(non-maximum suppression, NMS)算法保留置信度最高的候選框后,過濾交并比(IoU)大于0.5的其他候選框,解決松枯死樹重復計數的問題,最終實現不同色彩空間的信息利用。

1.4 評價指標

當林分中存在沒有被檢測發現和無害化處置的松枯死樹,將顯著降低松材線蟲病的防治效果。因此,漏檢率(即召回率)即沒有被檢測到的松枯死樹樣本數是很重要的一個指標。在現有松枯死樹識別研究采用的性能指標中,一般采用平均準確率去綜合考慮精確率和召回率,而沒有對精確率和召回率作進一步分析(黃麗明等,2021),這導致該類研究的平均精度較高,但漏檢情況不明確。因此,本研究采用精確率(precision)、召回率(recall)、平均準確率(average precision, AP)和F1分數作為模型性能的評價指標。其中,精確率是指正樣本預測數占樣本預測數的比例;召回率是指正樣本預測數占正樣本數的比例;平均準確率是指精確率和召回率曲線(P-R曲線)下的面積,即為不同召回率的情況下所有精確率的平均值;F1分數是指精確率和召回率的調和平均,是一種衡量二分類模型精準度的指標,公式如下:

(1)

(2)

(3)

式(1)、(2)中TP、FP、FN的含義見表1混淆矩陣。

表1 混淆矩陣

1.5 試驗環境

YOLOv5模型使用Pytorch框架實現,CPU為Intel Xeon Cascade Lake 8255C (2.5 GHz),內存為32 GB,GPU為Tesla V100。為了說明YOLOv5在松枯死樹識別中的性能情況,選擇幾種常見的基于深度學習的目標檢測算法進行對比,分別為Faster R-CNN、YOLOv3、YOLOv4、SSD和EfficientDet等目標檢測模型。其中,YOLOv3、YOLOv4、Faster R-CNN與SSD模型已應用到松枯死木識別中,EfficientDet模型(Tanetal.,2020)是新提出的性能較優的目標檢測模型。不同模型采用的框架見表2,其他參數設置:批量大小8,訓練輪次300,學習速率0.001。

表2 不同深度學習算法使用的主干網絡

1.6 模型驗證

為進一步測試模型性能,模擬實際生產應用的場景。本研究在研究樣地1測試集的基礎上,以研究樣地2為新的測試集,并同樣采取人工地面踏查結合無人機低空飛行的方式,對模型預測結果進行驗證,根據驗證結果對模型性能進行評價。

2 結果與分析

2.1 不同深度學習算法性能比較

采用不同深度學習算法處理樣地1的數據集,得到RGB圖像空間下的松枯死樹識別精確率、召回率、平均準確率及F1分數見表3。從表中可以看出,不同算法的精確率高低依次為YOLOv5>EfficientDet>YOLOv4>SSD>YOLOv3>Faster R-CNN,YOLOv5模型在所有算法中最高,達到97.58%,說明該算法能夠很好地識別出松枯死樹樣本,將松枯死樹誤分為負樣本的情況很少。Faster R-CNN的精確率最低,說明該算法將松樹枯死誤分為負樣本的情況很多。不同算法的召回率大小次序為Faster R-CNN>YOLOv5>YOLOv4>SSD>YOLOv3>EfficientDet,說明Faster R-CNN算法將松枯死樹漏檢的情況較少,而YOLOv5算法的漏檢率僅比Faster R-CNN低,普遍優于其他算法,EfficientDet則存在嚴重的漏檢情況,說明不同算法在精確率和召回率指標上有很大差異。不同算法的平均準確率從高到低依次為YOLOv5>EfficientDet>YOLOv4>Faster R-CNN>SSD>YOLOv3。綜合考慮各項評價指標,YOLOv5是性能最優的算法,其準確率達到了82.40%,在精確率和召回率上取得了較優的平衡。

表3 不同深度學習算法的性能評價

2.2 YOLOv5算法在不同色彩空間的性能

分別計算在RGB、LAB、HSV 3個色彩空間及其融合色彩空間中YOLOv5模型的識別性能,結果見表4:與RGB和LAB色彩空間相比,基于多色彩空間的精確率為77.51%,說明不同色彩空間融合后錯誤樣本判別數增加;基于多色彩空間的召回率為98.99%,而在單獨的色彩空間中,其召回率均低于80%,說明結合了不同色彩空間的信息后,松枯死樹被漏判的情況顯著減少;基于多色彩空間的平均準確率達到98.39%,遠高于RGB空間的82.40%;基于多色彩空間的F1分數也比獨立的色彩空間有明顯提升。

表4 YOLOv5算法在不同色彩空間的性能評價

進一步對模型在不同色彩空間中的性能進行可視化分析(圖2)。從圖中可以看出,圖2A中在RGB彩色空間中未檢測到3棵松樹,但在LAB空間中(圖2B)能夠全部檢測出圖像中的松枯死樹;在HSV空間中(圖2C)能夠檢測出RGB空間中遺漏的3棵樹,但RGB空間中能夠檢測出的部分目標在HSV空間則未能檢測出。在圖2D的RGB空間中有一棵松樹被漏檢,在LAB空間(圖2E)也同樣未檢出,但在HSV空間中(圖2F)被檢出。上述結果說明,不同色彩空間之間存在著較強的互補性。因此,將3個色彩空間的結果匯總后,通過NMS算法保留置信度最高的候選框后過濾交并比大于0.5的其他候選框,就可以利用不同色彩空間的檢測信息得到比單一色彩空間更優的性能。

圖2 不同色彩通道下枯死松樹檢測示例

2.3 模型驗證

采用樣地2的數據驗證YOLOv5算法在不同色彩空間的性能,結果見表5。從表中可以看出,基于多色彩空間的模型相對于單色彩空間的模型在精確率上略有下降,但是召回率顯著上升,說明此前單一色彩空間中被遺漏的樣本經過挖掘多色彩空間的信息后被預測出來。平均準確率和F1分數也顯著提高。綜合以上評價結果發現,單色彩空間下模型性能伴隨著數據集的更換準確率有所浮動,但是綜合利用多色彩空間信息的模型表現十分穩定,性能相較于單色彩空間的模型均有明顯提升。

表5 YOLOv5算法在不同色彩空間性能的驗證

本研究發現,對比樣地1與樣地2的數據,在LAB色彩空間和HSV色彩空間中的精確率、RGB色彩空間下的召回率差別較大。對此進行了可視化分析,通過篩選被模型判定為正確,實際為錯誤的樣本,發現誤差主要來源于幾方面。(1)闊葉樹的混入。在RGB圖像轉換為HSV圖像之后,考慮到HSV色彩通道圖像的特點,不同色系的對比更加明顯,但是相同色系的對比被顯著弱化。在這種情況下,松枯死樹與闊葉樹的特征在圖像上看來十分接近。如圖3B所示,3個樣本在HSV圖像中極為相似,導致了誤判的發生。(2)紅土地的混入。由圖3C與圖3D可以看出,經過色彩空間的轉換后,部分圖像中松枯死樹特征與紅土地特征相比更加相近。因此,外觀形狀接近于松枯死樹的紅土地會被機器誤判為正確樣本。(3)屋頂的混入。在LAB色彩空間下,屋頂的特征接近于松枯死樹的特征(圖3F),造成了在該色彩空間下有屋頂的樣本被識別為松枯死樹帶來誤差。上述三點對精確率帶來了影響,根據樣地的不同精確率會產生波動。由于樣地2的航拍面積較小,遇到上述誤差來源少,因此精確率顯著高于樣地1。(4)松枯死樹連片導致矩形框框選不準確。分析發現,樣地2相對于樣地1存在更多松枯死樹連片的情況。在這種情況下,本模型在樣本框的預測上可能不準確,即模型可以準確預測連片區域,但無法準確框選每個樣本。如圖3G所示,模型僅檢測出7個矩形框的結果,但經過現場驗證后實際結果共有13棵松枯死樹,這也導致了召回率的大幅降低。

圖3 誤差主要來源

3 討論

目前,利用基于深度學習的計算機視覺方法判別松材線蟲病發生林分中的松枯死樹研究取得了重要進展,一些模型已在我國被嘗試用于生產實踐中。但由于建模樣本量少、評價方法單一和模型先天缺陷等,實踐中上述模型對松枯死樹樣本識別準確性不高,特別是漏檢造成識別性能降低。此外,現有研究樣本數據集的采集均存在無人機飛行高度較低且單一的局限性,其飛行高度均在600 m以內,且研究樣地較為集中,因此研究結果往往十分理想,但忽視了大面積野外作業條件的復雜性。顯然,無人機低空飛行采集數據擁有更高的識別準確率,但實踐中進行大面積樣地飛行時,無人機航拍需根據樣地高程情況決定航拍高度,無法以單一飛行高度進行所有航拍圖像的采集,這是導致上述模型在應用實踐中存在局限性的主要原因。

針對以上問題,本研究根據實際生產應用的場景,提出了一種基于深度學習的松枯死樹檢測方法,通過建立大數據量的數據集,選擇多種深度學習算法,對目標檢測模型進行訓練,篩選出平均準確率最高的深度學習模型,并通過綜合多個色彩空間信息的方式,明顯減少了松枯死樹漏檢的情況,提高了松枯死樹的識別準確率。與前人的研究相比,一方面,本研究采集的數據集樣本量大,經驗證過的松枯死樹樣本量超過9000株,遠高于現有研究的數據量,確保深度學習技術可以更加準確、高效地從樣本中提取松枯死樹的目標特征。另一方面,本研究通過收集不同飛行高度下的航拍圖像,獲得了更加豐富的樣本數據,不會因為過高或過低的飛行高度影響識別準確率。

此外,本研究將Faster R-CNN、YOLOv3、YOLOv4、YOLOv5、SSD和EfficientDet等6個深度學習算法用于松枯死樹識別,并采用精確率、召回率、平均準確率及F1分數4個評價指標對不同模型進行全面評價和對比分析,發現YOLOv5目標檢測算法的性能明顯優于Faster R-CNN、YOLOv3等模型。在此基礎上進一步有針對性地綜合利用多色彩空間的信息,使用NMS算法對不同色彩空間下的樣本進行匯總,發現相對于單一色彩空間下的模型,充分利用多色彩空間信息的模型在召回率、平均準確率和F1分數上均有明顯提升,特別是召回率提升了15.74%以上,有效控制了松枯死樹漏檢的情況。

本研究可視化的定性分析結果也表明,不同色彩空間在進行目標檢測時存在著互補作用。在RGB顏色空間中存在特征模糊的樣本和小樣本漏檢的情況,在HSV和LAB空間中可以被檢出,這表明HSV和LAB空間具有更強的紅色特征提取能力,通過3種色彩空間的互補,可以大幅減少樣本被漏檢的數量,從而有效提高目標檢測的性能。本研究認為,采用基于多色彩空間的YOLOv5目標檢測模型是當前更優的檢測識別松枯死樹的方法,能夠滿足生產實踐的需求。