基于電子地圖的雜草圖像處理與識別方法分析①

宋雅麗

(安徽工業職業技術學院信息工程系,安徽 銅陵 244000 )

0 引 言

目前的雜草防治手段多種多樣,其中生物除草等的過多使用會對農作物造成更大的傷害,因此通過智能化的相關設備來進行雜草防治成為智慧農業發展的方向[1]。耿亞玲等人針對棉田雜草發生種類的相關問題,利用倒置“W”型的相關采樣方法對河北省棉田的雜草種類進行了詳細分析,以此提出了最佳的除草劑復配方組合[2]。ALPTEKiN H等人針對不同覆蓋材料對雜草防治以及黃光產量影響等問題,通過詳細分析黃瓜溫濕度數據的基礎上,利用隨機完全組設計的方式提出了雜草防治的有效方式[3]。研究通過利用電子地圖實現對田間雜草圖像的檢測與處理,并以跨階段部分暗網53(Cross Stage Partial Dark Network53,CSPDarkNet53)作為主干特征提取網絡提出了一階段式的“你只看一眼”(You Only Look Once-Fourth version,YOLOv4)模型。同時,為降低雜草的誤識率,研究引入移動網絡(Mobile Network,MobileNet)替換YOLOv4模型的特征提取網絡,以此構建二階段式的MobileNet-YOLOv4模型,目的是實現對田間雜草的有效識別,以此為田間噴灑相應的除草劑實現精準噴灑提供幫助。同時也為促進智慧農業的可持續性發展提供理論基礎。

1 基于電子地圖的雜草圖像處理與識別方法研究

1.1 基于電子地圖的雜草圖像采集與預處理

為了降低田間雜草對農作物的危害,研究利用電子地圖對田間雜草圖像的檢測與處理,并以CSPDarkNet53作為主干特征提取網絡提出了一階段式的YOLOv4。同時,為降低雜草的誤識率,研究引入MobileNet替換YOLOv4模型的特征提取網絡,以此構建二階段式的MobileNet-YOLOv4模型。對于利用電子地圖采集得到的田間原始雜草而言,其在直接用來使用訓練模型時或多或少會出現占用內存等問題。在向模型中輸入圖片時,畫面格式會被統一地調節到一定大小,在原始畫面中由于土地和作物背景占據了畫面的大部分區域,導致雜草圖像太小,難以提取有效特征,因此必須對原稿進行裁剪[4]。在裁剪完畢后,采用二次線性內插算法,將影像的大小調整至1024*1024,并根據不同的方法模型來選取了最適合的尺寸[5]。

另外,研究所收集到的數據由于體量較小,因此需要采用圖像增強技術來提高模型的普適性。研究選擇的圖像增強方法主要分為四種,即翻轉、平移、添加噪聲以及視網膜和表皮合成的圖像增強算法(Retinex)。Retinex圖像增強算法的基本原理為物體自身無色彩,而可見色彩是由光的反射引起,不受光強的影響,因此色覺始終不變。其中,光照圖像通過反射率圖像就可以得到光照反射后的原始圖像。其中原始圖像的計算表達如式(1)所示。

Z(i,j)=U(i,j)·P(i,j)

(1)

式(1)中,Z(i,j)表示原始圖像;U(i,j)表示反射率圖像;P(i,j)表示光照圖像。在式(1)基礎上,研究將三個圖像數值轉化為相應的對數,其相關計算表達如式(2)和式(3)所示。

log(Z)=log(U·P)

(2)

式(2)中,log(Z)表示原始圖像的對數。

log(Z)=log(U)+log(P)

(3)

式(3)中,log(U)表示反射率圖像的對數;log(P)表示光照圖像的對數。因此,將原始圖像中去除光照影響后得到的原始反射率圖像計算表達如式(4)所示。

log(U)=log(Z)-log(P)

(4)

其中,光照圖像的計算表達如式(5)所示。

P=F*Z

(5)

式(5)中,F表示高斯模糊;*表示卷積運算。而高斯模糊的計算表達如式(6)所示。

(6)

式(6)中,ε表示高斯空間的常數;u2表示位置。最后,對于雜草的圖像處理,研究選擇了數據幾何組的圖像注釋器(Visual geometry group Image Annotator,VIA)作為圖像的標注工具。

1.2 面向雜草識別的YOLOv4模型及輕量化設計研究

在對電子地圖收集的圖像進行處理之后,研究選擇了YOLOv4模型作為雜草識別的相關原始方法。YOLOv4模型的網絡結構圖如圖1所示。

圖1 YOLOv4模型的網絡結構示意圖

從圖1中可以看出,YOLOv4的網絡結構主要分為三個部分,即主干特征提取網絡、加強特征提取網絡以及YOLO頭部預測網絡。其中,主干特征提取網絡研究選擇了CSPDarkNet53,其主要作用是進行初步的特征抽取,以此得到三個初始的有效特征層。加強特征抽取網絡研究選擇了路徑聚合網絡(Path Aggregation Network,PANet)和空間金字塔池化(Space Pyramid Pooling,SPP)。第三部分是 YoloHead預測網絡,其使用第二個部分的最優特征來進行預測。

為了支持YOLOv4模型在移動互聯網下移動設備的運用,研究引入了MobileNet網絡對其進行了輕量化設計。MobileNet又因為版本不同分為MobileNetV1,MobileNetV2以及MobileNetV3。MobileNet是谷歌推出的一種輕型網絡,其專門為手機和嵌入式設備設計,最突出的特征是在網絡中采用了深度可分割卷積結構。MobileNetV2與MobileNetV1不同的是使用了倒殘差結構,該結構的示意圖如圖2所示。

圖2 倒殘差結構的示意圖

從圖2中可以看出,倒殘差結構首先利用1×1的卷積進行相應的維度升級,其次是利用3×3的深度可分割卷積對特征進行提取,最后則是在此運用1×1的卷積進行相應的維度降級,以此把逐點卷積的激活函數從線性整流函數(Relu)轉換為線性漸變函數(Linear)。MobileNetV3利用了伴隨線性瓶頸的倒殘數結構。其流程中最重要的是將自門控激活函數(swish)替換成堅定自門控激活函數(Hard-swish)。其中Hard-swish函數的計算表達如式(7)所示。

(7)

式(7)中,x表示函數自變量。MobileNet的重要功能就是對網絡的特征進行提取,因此將MobileNet融入YOLOv4時則是將YOLOv4的主干特征提取網絡替換成MobileNet。在YOLOv4的主干特征提取網絡替代后,MobileNet三個版本的參數數目分別為4.1×107,3.9×107以及4.0×107。此時在PANet部分引入了可分解的深度卷積模塊,三個版本的參數數目修改為1.2×107,1.0×107以及1.1×107,較原模型的6.4×107個參數數目明顯減少。還可以通過調節阿爾法(Alpha)參數通道的數目來減少參數,如果模型參數不斷下降,則會導致模型的精確度下降。研究為了確保模型的高精度,將Alpha的值設定為1。

2 面向雜草識別的YOLOv4模型性能分析

為了驗證YOLOv4雜草識別的有效性,研究對其性能進行了分析。實驗前,研究引入了快速區域卷積神經網絡(Faster Region based Convolutional Neural Network,Faster R-CNN),YOLOv3以及YOLOv4的輕量級版本(YOLOv4-tiny,MobileNetV1-YOLOv4,MobileNetV2-YOLOv4,MobileNetV3-YOLOv4)。其對比實驗結果如圖3所示。

圖3 不同模型的對比實驗結果

綜合圖3可以看出,YOLOv4模型的四個指標的數值均是最高的,其平均準確率達到了98%,平均召回率為90%.綜合來看,研究提出的YOLOv4模型的準確度最高,其在雜草識別中表現出最好的效果。在此基礎上,研究為了驗證雜草的實時識別檢測速度,將YOLOv4模型與其四個輕量級版本作了對比。對比實驗前,研究首先對其三個引入MobileNet網絡結構的設計版本性能進行了驗證。實驗中,研究將MobileNet三個版本作為YOLOv4模型的特征提取網絡,并選擇了8個標記后的雜草進行識別,同時評估指標選擇準確率、召回率、F1值以及平均精度。其中,MobileNetV1-YOLOv4的實驗結果如圖4所示。

圖4 MobileNetV1-YOLOv4模型的實驗結果

綜合圖4可以看出,MobileNetV1-YOLOv4模型實驗結果中對8個雜草識別的平均準確率達到了96.8%,平均F1值達到了0.88。依據此實驗方式,MobileNetV2-YOLOv4的實驗結果中平均準確率、平均召回率、平均F1值以及平均精度分別為96.30%,82.20%,0.89以及92.60%。最后,MobileNetV3-YOLOv4的實驗結果中的平均準確率高達97%,高于前兩個模型的平均準確率,表明MobileNetV3-YOLOv4模型整體性能更好,是最優的選擇。在此基礎上,YOLOv4的雜草識別實時檢測速度對比實驗如圖5所示。

綜合圖5可以看出,MobileNetV3-YOLOv4模型體積為44.4 MB,比YOLOv4-tiny模型大了一倍,實時檢測速度可以達到29.1幀/秒,其雖然低于YOLOv4-tiny的42.6f/s,但也滿足實時檢測的要求,其平均精度則僅比原模型降低2.1%,體積壓縮了206.7 MB。綜合來看,MobileNetV3-YOLOv4作為YOLOv4模型的輕量化設計達到了實驗需求,性能較好。同時,YOLOv4模型對于實際的雜草識別具備有效性,MobileNetV3-YOLOv4模型則在保持原模型性能的同時也降低了雜草誤識率。

3 結 語

為了降低田間雜草對農作物的危害,實現雜草的有效識別,研究引入了YOLOv4模型,并引入MobileNet網絡結構設計其三個輕量化版本,同時對YOLOv4模型及其輕量級模型的性能進行了實驗分析。實驗結果表明,YOLOv4模型的平均準確率達到了98%,平均召回率達到了90%,平均精度達到了97%,具備較高的雜草識別性能。三個輕量級YOLOv4模型中MobileNetV3-YOLOv4準確率更好,表現出更好的識別性能。在輕量級YOLOv4雜草識別速度檢測實驗中,MobileNetV3-YOLOv4模型體積為44.4 MB,比YOLOv4-tiny模型大了一倍,實時檢測速度可以達到29.1f/s,滿足檢測的實際需求。同時其平均精度則僅比原模型降低2.1%,而體積壓縮了206.7 MB。綜合來看,一階段式的YOLOv4模型雜草識別性能較好,識別準確率更高,在實際的雜草實時監測防治中具備更好的實用性。二階段式的MobileNetV3-YOLOv4模型在降低模型大小的同時實時檢測速度也達到了實際需求的效果,同時也可以查補YOLOv4的識別遺漏問題。但是,在實際的田地除草中,研究還受到雜草種類等復雜情況的限制,需要在后續進行更多的完善。