基于機器視覺和卷積神經網絡的東北寒地玉米害蟲識別方法

陳峰 谷俊濤 李玉磊 彭曉溪 韓天甲

摘要：隨著農業現代化進程在全國各地的推進，東北農業經濟正在快速地發展，眾多先進的科學技術如大數據、物聯網、移動互聯、人工智能等被應用到東北農業生產中，并且逐步深入細化。在農業種植領域，東北寒地玉米害蟲的識別與蟲害的預防一直是專家學者們研究的重要課題。東北地區位于溫帶季風氣候區，夏季溫熱短促多雨;冬季寒冷漫長干燥，因此東北寒地玉米作物蟲害有其獨特的特征，常見的害蟲有玉米黏蟲、玉米螟、草地貪夜蛾、雙斑玉螢葉甲等。本研究基于機器視覺和卷積神經網絡的東北寒地玉米害蟲識別方法進行研究，通過圖像采集的預置采集點、巡航周期等實現定點、定時獲取大量采集數據，將機器視覺識別、卷積神經網絡模型測試放到采集前端，降低無效圖像帶寬占用，優化了網絡資源;通過對卷積神經網絡進行海量的東北寒地玉米害蟲圖像訓練，實現從訓練集到測試集的轉化，建立起東北寒地玉米害蟲識別的網絡模型?；跈C器視覺和卷積神經網絡的東北寒地玉米害蟲識別方法研究具有很高的應用價值，在監測植物生長狀態的同時，能夠精準、及時、實時地智能識別玉米害蟲，做好東北寒地玉米蟲害預警及應對措施，降低作物種植生產風險、提升生產效率，對東北農業智能化、持續化、梯度化發展起到了非常重要的作用。

關鍵詞：機器視覺;卷積神經網絡;東北寒地玉米;害蟲;智能識別

中圖分類號：S126;TP391.41?文獻標志碼： A

文章編號：1002-1302（2020）18-0237-07

收稿日期：2019-09-17

作者簡介：陳?峰（1981—），男，江蘇豐縣人，碩士，高級工程師，主要從事農業信息化、農業物聯網、農業大數據等研究。E-mail：bdhchenfeng@163.com。

通信作者：谷俊濤，博士，正高級工程師，主要從事農業物聯網研究。E-mail：592980678@qq.com。

農業是我國國民經濟的基礎產業，蟲害的防治效果直接與農業生產效益、農產品質量安全、農業生態環境安全等相關。近些年來，全球氣候異常多變、耕作制度與生產方式改變以及作物復種指數提高，作物蟲害呈多發、頻發、大規模態勢。2019年7月下旬在甘肅省蘭州市召開了2019年全國玉米和棉花病蟲害發生趨勢會商及測報技術研討會，會上對我國2019年上半年玉米蟲害暴發情況作了匯報，匯報指出玉米蟲害發生程度總體重于2018年，玉米蟲害發生總面積達0.211億hm2次，如玉米螟害蟲僅在東北地區就發生約90萬hm2 次，玉米蟲害的發生嚴重影響了我國農業生產總值[1]。

東北傳統的玉米蟲害檢測方法主要是依賴種植戶的經驗，有些地區邀請農技人員、農業專家上門指導或遠程指導等，傳統的方式往往錯過了防治的最佳時機，效率低，費用高，時效性差?；跈C器視覺識別和卷積神經網絡（CNN）深度學習來識別東北寒地玉米害蟲將會大大減少東北玉米蟲害的發生，在玉米害蟲體征出現時，能夠對圖像快速分析判斷，精準地定位蟲害類型，及時發出預警，將玉米害蟲消滅在萌芽中。

從20世紀80年代末開始，很多專家學者投入到識別蟲害的方法研究中，Keagy等專家基于計算機視覺對儲糧害蟲進行識別研究，識別率較高[2];Boissard等對花葉掃描，對掃描圖像進行識別，結合圖像處理技術自動識別和計算花成熟時粉虱的數量[3];徐小龍利用紅外掃描技術獲取受污染的作物葉片紅外圖像[4];Wu等基于多重分形分析技術對帶有蟲斑的黃瓜葉片圖像進行建模，獲取到病蟲害分布、形態等特征[5];在Wu等的研究基礎上溫芝元等利用改進的分水嶺算法來提取椪柑蟲害危害狀邊界[6]。

近年來，專家學者們將神經網絡相關技術運用到蟲害的識別上，桂便等選用5種儲糧害蟲為樣本，基于卷積神經網絡的Alexnet模型對5種儲糧害蟲圖像進行訓練、識別，試驗結果表明，基于卷積神經網絡技術識別蟲害準確率較高[7];方明等分別利用反向傳播（BP）神經網絡、L-M神經網絡對儲糧害蟲的識別進行研究[8-9]。

在東北寒地玉米害蟲識別過程中，從采集開始，經過訓練卷積神經網絡模型，提升模型的識別準確度，通過機器視覺對圖像進行去噪、二值化等處理，應用已訓練的卷積神經網絡進行測試，具體流程見圖1。

1?圖像采集過程

采集主要是指針對目標特征的圖像采集，玉米生長過程按其形態特征可分為出苗期、3葉期、拔節期、小喇叭口期、大喇叭口期、抽雄期、開花期、子粒形成期、乳熟期、蠟熟期和完熟期。以玉米為目標執行采集時，要采集的內容為玉米各階段內生長的圖像。要求采集的圖像高清晰度、高采集頻率、圖像數量級大。

首先，預置采集點。設置采集設備的經度和維度、采集設備的焦距、采集設備水平及垂直方向的初始角度值和周期移動角度值、定點時間和快門響應次數等，預置1個周期的采集圖像數據。

其次，設置采集設備的巡航周期，比如設置設備每天采集開始時間為09：00，結束時間為17：30，巡航間隔（周期）為2 h，采集設置就會按照設置 09：00 開始按預置的采集點進行圖像采集，完成1個周期工作后暫停采集任務，2 h后按照任務繼續執行下個周期的采集，17：30結束采集工作。

最后，根據每次快門獲取圖像，如果在同一采集點同一待采目標預置2次及以上快門，取清晰度最高的圖像信息，圖像信息包括圖像數據、圖片采集時間及圖像采集的經緯度等;采集圖像的時間和經緯度是根據采集設備經緯度、焦距、采集時水平和垂直角度值、采集時定點時間、采集時快門次數等獲取的數值。部分樣本采集設備設置見表1。

表2為對應采集設備的巡航設置信息。6臺設備周采集有效高清圖像量約為8.3萬張。

2?識別訓練

農業蟲害專家對采集的圖像進行甄選，按照有害、無害進行標定。對于有害圖像按照玉米類型、災害種類等進行詳細標定。將這些東北寒地玉米害蟲圖像送入卷積神經網絡中進行訓練。

使用卷積神經網絡對玉米害蟲圖像的輸入特征進行處理，為了提高CNN模型的泛化、識別率及魯棒性，消除圖像噪聲對害蟲特征的影響，首先對圖像進行圖像處理，然后通過多層卷積、線性整流函數（ReLU）激活、池化層及全連接層（FC）搭建起卷積神經網絡模型。卷積神經網絡模型結構 LeNet-5見圖2。

2.1?圖像處理

2.1.1?灰度處理

采集圖像灰度處理是圖像灰度化的過程，對于灰度圖像，它的每個像素的顏色值稱之為灰度，也就是黑白圖像中每個點的顏色深度，其范圍一般為0～255，其中白色為255，黑色為0?；叶忍幚硇Ч鐖D3所示?；叶戎凳侵笀D像采集色彩的濃淡，在一幅數字圖像中，所謂的灰度直方圖可以體現出對應每個灰度值具有灰色度的像素數。

通過圖4可以看出，經過灰度化直方圖處理的圖像對比度明顯增強，原圖的灰度值都分布在25～200之間，經過處理后，整張圖片的灰度值控制在 0～255 范圍內。

目前，大多數的彩色圖像都是采用RGB顏色模式呈現效果，進行圖像處理的時候，針對紅（R）、綠（G）、藍（B）這3個分量進行分量處理。從光學原理上講，RGB僅僅是進行顏色的調配，并不能體現出圖像的形態特征。

2.1.2?圖像二值化

將采集圖像上的像素點的灰度值都設置為0和255，這樣就將原有圖像呈現成黑白效果的圖像。RGB數據量大為減少， 通過處理能凸顯出圖像中目標的輪廓。

2.1.3?加權平均法

加權平均是指將R、G、B這3個分量以不同的權值進行加權平均。由于人眼感光中對綠色敏感度最高，對藍色的敏感度相對最低，因此，對R、G、B這3個分量進行加權平均能夠獲取到合理的灰度值。公式為

Gray（i，j）=0.299×R（i，j）+0.578×G（i，j）+0.114×B（i，j）。

圖像處理效果見圖5。

2.2?卷積層

卷積層通過卷積核取出圖像中的特征，在卷積層對圖像進行逐行、跨行掃描，類似于傳統圖像處理中的濾波，取出圖像中的特征。卷積層主要是用一種采樣設備從輸入的目標數據中采集出關鍵的數據信息（圖6）。

當一個卷積層L的下一層（L+1）為采樣層，采樣層（L+1）的特征向量（map）大小是卷積層L的1/（scale×scale）（scale表示長寬相同的卷積核大?。?，以scale=2為例，這2層的map個數是一樣的，卷積層L的某個map中的4個單元與（L+1）層對應map的一個單元關聯，對采樣層的殘差與1個scale×scale的全1矩陣進行克羅內克積擴充，使得采樣層的殘差的維度與上一層的輸出map的維度一致。選擇采用3×3的卷積核是因為3×3是最小的能夠捕捉像素8鄰域信息的尺寸。

2.3?ReLU激活層

應用于每個卷積層之后， 它給一個在卷積層中剛經過線性計算操作[只是數組元素依次（element wise）相乘與求和]的系統引入非線性特征。ReLU層對輸入內容的所有值都應用了函數f（x）=max（0，x）。它把所有的負激活（negative activation）都變為0，增加模型乃至整個神經網絡的非線性特征。

2.4?池化層

是對卷積層結果的壓縮得到更加重要的特征，同時還能有效控制過擬合。池化層將輸入的圖像劃分為若干個矩形區域，對每個子區域輸出最大值。池化層會不斷地減小數據的空間大小，因此參數的數量和計算量也會下降，這在一定程度上也控制了過擬合。

2.5?隨機失活（Dropout）層

將能夠為特定的樣本提供合適的分類或輸出，即使一些激活參數被丟棄。在Dropout層保證神經網絡不會對訓練樣本過于匹配。Dropout網絡計算公式表現為

r（l）j～Bernoulli（i）;

y～（l）=r（l）×y（l）;

k（l+1）m=w（l+1）my～（l）+b（l+1）m;

r（l+1）=b（l+1）m×y（l+1）;

y（l+1）m=f[k（l+1）m]。

伯努利分布[Bernoulli（i）]函數生成概率向量r，即隨機產生0、1向量。

2.6?全連接層

全連接層是在經過多輪卷積層和池化層的處理之后，在卷積神經網絡的最后會是由1～2個全連接層來給出最后的分類結果。

以玉米螟成蟲（圖7）舉例說明，現在的任務是識別圖片中是不是玉米螟成蟲。

假設這個害蟲圖已經CNN模型訓練完，全連接層已經知道。

當得到圖8中各分類的特征，模型就可以判斷這個是不是玉米螟成蟲，因為全連接層的作用主要就是實現分類（圖9）。

2.7?關于卷積神經網絡模型訓練中函數

2.7.1?損失（loss）函數

在玉米害蟲識別訓練過程中，通過交叉熵函數不斷改變神經網絡中所有參數，使損失函數不斷減小，從而訓練出準確率更高的神經網絡模型。loss函數定義為

En=∑Nn=1En=12∑Nn=1∑ck=1（tnk-ynk）2。

2.7.2?滑動平均（影子）

在玉米害蟲識別訓練過程中采用滑動平均記錄一段時間內模型中權重（w）和偏移量（b）各自的平均值。利用滑動平均值可以增強模型的泛化能力。公式為

影子=衰減率×影子+（1-衰減率）×參數。

2.7.3?正則化

在玉米害蟲識別訓練過程中給每個參數w加上權重，引入模型復雜度指標，從而抑制模型噪聲，減小過擬合。采用的是L1正則化算法。

正則化公式：loss（w）=tf.contrib.layers.l1_regularizer（REGULARIZER）（w）。

3?識別測試

在采集圖像識別過程中，會對圖像進行分割找到有特征性的圖像，然后進行模型測試（圖10）。

機器視覺置于采集前端，在采集圖像傳送到機器視覺設備時，根據機器視覺技術對圖像進行單通道、高斯濾波、二值化、距離變換、形態學處理、邊緣檢測等系列的處理，生成卷積神經網絡測試所需的圖像。

3.1?單通道處理

對采集的圖像進行色彩空間變換，將BGR圖像變換成灰度圖，然后進行通道分離，選擇合適的通道作為輸入圖像;其中，灰度化處理的方法是[cv2cvtColor（ ）]：cv2.COLOR_BGR2GRAY，應用公式為

Gray（i，j）=[R（i，j）+G（i，j）+B（i，j）]/3。

由于仿真人眼對顏色的感知程度不同，其衍生公式為

Gray（i，j）=0.299×R（i，j）+0.587×G（i，j）+0.114×B（i，j）。

3.2?高斯濾波處理

高斯濾波使用cv2.GaussianBlur（ ）函數，通過低通濾波器，輸出圖像的每個像素點是原圖像上對應像素點與周圍像素點的加權和，利用濾波器實現對圖像的平滑處理。公式表現為

Gσ=（12πσ2）e-（x2+y2）2σ2。

3.3?二值化

二值化在高斯濾波處理后將圖像上的像素點的灰度值設置為0或255，也就是將整個圖像呈現出明顯的黑白效果。二值化設定一個閾值T，用T將圖像數據分成2部分：大于等于T的像素群和小于T的像素群。公式表現為

b（i，j）=0，f（i，j）

255，f（i，j）≥T（i，j）。

3.4?距離變換

距離變換模塊使用distanceTransform方法計算圖像中每一個非0點距離最近的0點距離，它將二值圖像變換為灰度圖像（圖11）。公式表現為

f（p）=min[f（p），D（p，q）+f（q）]，q∈maskL。

3.5?形態學處理

形態學處理能夠去除所有不能包含結構元的部分，平滑目標的輪廓，移除由圖像噪音形成的斑點。公式表現為

dst（x，y）=min（x1，y1）：element（x1，y1）≠0src（x+x1，y+y1）。

3.6?邊緣檢測

邊緣檢測是在形態學處理后，對東北寒地玉米蟲害的外邊緣進行測定的過程，使用cv2findContours（）函數，公式表現為

ddx（f×g）=f×ddxg。

第1個步驟是實現多邊形的簡單外接矩形的算法。簡單外接矩形是指邊平行于x軸或y軸的外接矩形。簡單外接矩形很有可能不是最小外接矩形，卻是非常容易求得的外接矩形。

第2個步驟是實現平面上某一點繞固定點旋轉某一角度的算法。數學基礎是，設平面上點（x1，y1）繞另一點（x0，y0）逆時針旋轉A角度后的點為（x2，y2），則有：

x2=（x1-x0）×cosA-（y1-y0）×sinA+x0;

y2=（x1-x0）×sinA+（y1-y0）×cosA+y0。

順時針時，A改寫成-A即可。

第3個步驟是旋轉原始多邊形（循環，0°～90°，間距設為1°），求旋轉每個度數后的多邊形的簡單外接矩形，記錄簡單外接矩形的面積、頂點坐標以及此時旋轉的度數。

第4個步驟是比較在旋轉過程中多邊形求得的所有簡單外接矩形，得到面積最小的簡單外接矩形，獲取該簡單外接矩形的頂點坐標和旋轉的角度。

第5個步驟是旋轉外接矩形。將上一步獲得面積最小的簡單外接矩形反方向（與第3步方向相反）旋轉相同的角度，即得最小外接矩形。邊緣檢測效果見圖12。

4?反饋更新與效果

4.1?反饋更新

在測試識別到東北寒地玉米害蟲后， 按照東北

寒地玉米害蟲的類型、種類區分標記。在卷積神經網絡模型測試中，根據測試的采集樣本i可以獲取其玉米害蟲的種類，函數為yik=1，若zi屬于k類0，若zi不屬于k類，y為預測值，k為某一個分類，i表示某個分類的個數，zi表示某些分類的總數。通過種類來獲得玉米害蟲分類，并傳送給數據中心。數據中心接收分類模塊傳送回的數據信息，包括采集圖像機器視覺處理前后的圖像數據，玉米害蟲的類型、種類、采集時間及采集經緯度等信息。通過人工檢測方式定期檢測數據，對于識別有誤的圖像進行標記，并反饋到卷積神經網絡模型中重新訓練，訓練后將模型更新到前端測試模型中，實現持續的更新和梯度地優化。

4.2?效果

從測試數據中抽出6種東北寒地玉米最常見害蟲，查看其測試效果。分別從單張圖像識別目標特征及圖像量級2個角度來體現訓練及測試的效果（表3）。

使用本研究方法，進行持續更新和梯度優化，不斷糾正和訓練卷積神經網絡模型，提升識別的準確率（圖13），線1為已經有一定測試集的卷積神經網絡識別準確率，線2為使用本研究方法執行一段時期后的卷積神經網絡識別準確率。通過對比圖能清晰看到線2比線1在數值上有明顯的提升，提升2%～5%。因此，本研究方法是能夠有效提升東北寒地玉米害蟲識別的準確率的。

5?結論

本研究基于機器視覺和卷積神經網絡對東北寒地玉米害蟲識別方法進行了分析，本研究中的方法能夠自動獲取用于訓練和測試的海量圖像數據;將視覺識別和卷積神經網絡模型測試放到采集前端，能夠降低無效圖像帶寬占用，優化網絡資源，提升識別效率;反饋與更新機制使模型持續、梯度地優化，并實時同步前端模型，有效提升東北寒地玉米害蟲識別準確率。對于東北寒地玉米害蟲的識別，基于機器視覺和卷積神經網絡的識別方法是非常有效的，若再結合衛星遙感、地理信息系統、頻譜分析等技術就能達到綜合防治的目的。

參考文獻：

[1]農視網. 2019年下半年玉米病蟲害發生趨勢預報[EB/OL]. （2019-07-30）[2019-08-10]. http：//www.ntv.cn/p/956814.html.

[2]Keagy P M，Schatzki T F. Machine recognition of weevil damage in wheat radiographs[J]. Cereal Chem，1993，70（6）：696-700.

[3]Boissard P，Martin V，Moisan S. A cognitive vision approach to early pest detection in greenhouse crops[J]. Computers and Electronics in Agriculture，2008，62（2）：81-93.

[4]徐小龍. 基于紅外熱成像技術的植物病害早期檢測的研究[D]. 杭州：浙江大學，2012.

[5]Wu D K，Xie C Y，Ma C W. The SVM classification leafminer-infected leaves based on fractal dimension[C]// IEEE Conference on Cybernetics and Intelligent Systems，2008：147-151.

[6]溫芝元，曹樂平. 基于為害狀色相多重分形的椪柑病蟲害圖像識別[J]. 農業機械學報，2014，45（3）：262-267.

[7]桂?便，祝玉華，甄?彤. 卷積神經網絡在儲糧害蟲圖像識別中的應用研究[J]. 糧油食品科技，2018，26（6）：73-76.

[8]方?明，周?龍. 基于BP神經網絡的儲糧害蟲分類識別研究[J]. 武漢工業學院學報，2009，28（4）：70-73.

[9]袁金麗，郭志濤，高金雍，等. 基于L-M神經網絡的儲糧害蟲分類識別[J]. 農業網絡信息，2007（6）：29-31，102.