基于遷移學習的多模型水稻病害識別方法研究

王忠培 張萌 董偉 朱靜波 孔娟娟 錢蓉

摘要 水稻病害是影響水稻產量的重要因素之一，使用傳統機器學習方法識別農作物病蟲害效果并不理想，因此該研究使用深度學習技術結合遷移學習方法識別常見水稻病害。使用當前深度學習領域經典網絡模型VGG、ResNet、DenseNet、InceptionResNet、Xception模型作為預訓練模型，通過比較不同模型在新任務上的表現，選取性能最好且最穩定的Xception模型作為最終模型。試驗結果顯示，DenseNet、InceptionResNet、Xception的識別準確率可以達到97%，尤其是Xception模型不僅可以達到98.50%的最高識別準確率而且是最穩定的。該研究通過試驗探討了適用于常見水稻病害智能識別的最佳模型，同時表明了使用遷移學習方法解決新任務的有效性。

關鍵詞 水稻病害;遷移學習;深度學習;智能識別

中圖分類號 S-058?? 文獻標識碼 A? 文章編號 0517-6611（2021）20-0236-07

doi：10.3969/j.issn.0517-6611.2021.20.062

開放科學（資源服務）標識碼（OSID）：

Multi-model Rice Disease Recognition Based on Transfer Learning

WANG Zhong-pei，ZHANG Meng，DONG Wei et al

（Institute of Agricultural Economics and Information， Anhui Academy of Agricultural Sciences， Hefei， Anhui 230031）

Abstract Rice disease is one of the most important factors affecting rice yield. The effect of traditional machine learning method to identify crop diseases and insect pests is not idea， so that we used deep learning technology combined with transfer learning method to identify common rice diseases.The classical models were adopted， such as VGG， ResNet， DenseNet， InceptionResNet and Xception to compare the performances on new task and select the Xception model as the final model based on the accuracy and stable performance. The results showed that the recognition accuracy of DenseNet， InceptionResNet and Xception model could reach more than 97%. In particular， Xception model could not only achieve the highest recognition accuracy of 98.50%， but also was the most stable of these models. This study explored the best model for rice diseases intelligent recognition task and showed the effectiveness of using transfer learning method to solve new task.

Key words Rice disease;Transfer learning;Deep learning;Intelligent recognition

基金項目 安徽省農業科學院農業大數據研究與應用團隊（2021YL051）。

作者簡介 王忠培（1981—），男，安徽金寨人，助理研究員，博士，從事智能農業研究。*通信作者，副研究員，碩士，從事農業信息化研究。

收稿日期 2021-04-07

水稻農作物起源于亞洲，然后傳播至世界各地。我國水稻種植面積居世界第2位[1]。水稻是我國的主要糧食作物之一，作為第二大糧食作物，其種植面積廣泛，約占全國耕地面積的25%。國家統計局數據顯示，2020年水稻播種面積3 007.6萬hm 總產量21 186萬t，單位面積產量7 044 kg/hm2。2020年，我國谷物類（水稻、小麥、玉米、大麥、高粱等）總產量61 674萬t，水稻產量占我國三大主要農作物產量的34%左右，而且全國以大米為主食的人口約占全國總人口的60%，因此保證水稻產量關系到我國經濟發展以及國計民生。但是，影響水稻產量的因素有很多，如自然環境（溫度、濕度、水體）和病蟲害的影響等。

根據全國農業技術推廣服務中心的預測預報[2]，我國2021年糧食重大病蟲害全國發生面積1.4億hm 同比將會增加14%，重大病蟲害發生將會呈現重發態勢。其中，水稻病蟲害2021年預計發生面積8 154萬hm 這將給我國糧食產量和經濟發展造成巨大的損失。因此，水稻病蟲害的快速識別并提供防治措施將有利于減少病蟲害對水稻產量的影響。

傳統農作物病蟲害的識別主要依靠人工鑒別的方式。一般主要依靠當地植保部門的農業專家手工識別。但人工識別方法主要存在以下幾個問題：第一，人工識別的方法效率較低，工作量較大。第二，人工識別的方法不具有推廣性。植保專家具備的專業化知識是通過長年累月慢慢積累出來的，而我國糧食作物的經營主體是農民，廣大基層農民一般文化素質不高，即使通過植保專家傳授相關知識，廣大農民也很難快速建立病蟲害專業識別能力。而且我國農民居住分散，也不利于專業知識的傳授。第三，對于很多距離較遠、交通不便的地方，即使植保專家也不方面到達，因此無法對發生的病蟲害實現及時鑒別。第四，植保專家人員有限，所以對農作物的鑒別范圍有限。第五，農作物病蟲害不僅種類繁多，而且在不同階段有不同的癥狀表現，即使是植保專家也不能保證對所有病蟲害實現正確識別。因此，以上因素將會導致對病蟲害的識別能力不強和識別范圍有限的問題。

如何使用計算機技術實現對農作物病蟲害的智能和快速識別是值得研究的課題之一?，F階段，計算機技術，特別是人工智能技術受到了很多研究者的重視，在各個領域得到了一定應用。在農作物病蟲害識別方面，已經有一些學者借鑒計算機視覺技術，結合機器學習、深度學習技術開展了相關研究。鑒于此，筆者使用深度學習技術結合遷移學習方法識別常見水稻病害，采用當前深度學習領域經典網絡模型VGG、ResNet、DenseNet、InceptionResNet、Xception模型作為預訓練模型，通過比較不同模型在新任務上的表現，選取性能最好且最穩定的Xception模型作為最終模型。

1 相關研究

國外開展農作物病蟲害圖像識別研究較早，最早可以追溯到20世紀80年代，但以前主要使用機器學習領域相關的知識。Sasaki等[3]采用的是機器學習中的貝葉斯方法對黃瓜葉片的健康程度進行劃分。Rumpf等[4]使用機器學習中的支持向量機（SVM）方法對甜菜的葉片進行檢測和分類，準確率可以達到97%。Zhang等[5]使用K-means機器學習算法分別對4種黃瓜葉片病害和3種蘋果葉片進行識別。

深度學習（Deep Lerarnign，DL）技術[6]于2006年由Geoffrey Hinton首次提出。而真正讓深度學習技術開始得到學者關注的是2012年，學者AlexKrizhevsky使用深度學習技術參加計算機視覺領域挑戰賽。比賽結果顯示，相對于傳統機器學習的方法，Top-5錯誤率有了大幅下降，從傳統方法的25.0%下降到16.4%，近10百分點的性能提升顯示出深度學習技術的有效性。隨后，深度學習技術受到了大量學者的關注和研究，并且在計算機視覺、自然語言處理等領域都得到了長足的發展。

該技術在農業方面也得到了應用。Mohanty等[7]利用AlexNet模型和GoogleNet模型在ImageNet數據集訓練好的預訓練模型，通過對該模型做部分調整，然后應用到PlantVillage數據集任務中，可以有效識別該數據集中14種作物所涵蓋的26種病害，取得了滿意的結果。

國內開展農作物病蟲害識別任務較晚，在21世紀初才開始這方面的研究。徐貴力等[8]使用直方圖的方法提取番茄葉片的彩色特征，準確率可以達到70%;趙玉霞等[9]使用貝葉斯方法識別玉米葉片上的不同病害類型;李敬[10]使用卷積神經網絡模型對煙草病害進行識別。

隨著深度學習技術的興起，現階段病蟲害識別主要使用深度學習進行識別。深度學習技術在農業方面的應用主要有2種方法：方法1是根據現有的數據，重新訓練網絡模型。但這種方法需要大量的樣本訓練模型。方法2是將其他領域訓練好的模型應用到新的任務中，該方法又被稱為遷移學習方法，并且可以取得良好的結果。該研究采用遷移學習方法將其應用到水稻病害識別任務中。

2 遷移學習

2.1 遷移學習模型

該研究使用現有的在ImageNet上已經訓練好的模型作為基礎模型，然后使用遷移學習方法應用到新的研究任務中。該研究主要使用以下訓練好的模型：VGG模型、ResNet模型、DenseNet模型、InceptionNet模型以及Xception模型。

2.1.1 VGG模型。

2012年，Krizhevsky等[11]提出AlexNet深度網絡模型，該模型在大規模視覺挑戰賽（ImageNet Large Scale Visual Recognition Challenge：ILSVRC2012）分類任務中，將Top-5錯誤率下降到16.4%。而在該模型提出以前，使用傳統方法得到的最好Top-5錯誤率均在25.0%左右，這證明了深度學習模型的有效性。AlexNet深度學習模型所展現出來的優越性能啟發了學者研究更深層次的網絡結構。2014年在ILSVRC14挑戰賽ImageNet數據集分類任務中，牛津大學VGG（Visual Geometry Group）實驗室提出了VGG-11、 VGG-13、VGG-16、VGG-19等[12]一系列模型結構。其中，VGG-16在ImageNet圖像分類任務中獲得了7.4%的Top-5錯誤率，比AlexNet降低了7.9%。VGG模型的深度最多可以達到19層，而AlexNet模型只有8層，證明了隨著模型層數的增加可以提高分類任務的準確率。VGG模型相對于AlexNet模型在以下2個方面進行了改進：第一，使用了更小的卷積核大小，AlexNet使用7*7的卷積核，而VGG全部使用3*3的卷積核大小，這樣可以減少參數量，從而加快計算速度;第二，VGG采用更小的池化層，池化層大小是2*2的窗口，而AlexNet使用的是3*3的池化窗口。

由于VGG網絡簡單的結構和穩定的性能，該模型在各個應用領域得到了廣泛的應用并受到了大量學者的關注和研究。VGG網絡結構如圖1所示。

2.1.2 ResNet模型。

殘差網絡（Residual Network，ResNet）模型由He等[13]3位華人提出。該模型于2015年提出，并在ILSVRC2015挑戰賽中獲得了冠軍。雖然隨著網絡模型層數的增加可以提高模型的性能，但是當模型層數達到一定深度后并不能帶來模型分類準確率的相應提高，反而會使得網絡模型的收斂速度變慢，在測試集上的分類準確率也變得更差。因為隨著層數的增加，會帶來梯度消失的問題，所以當網絡模型很深時，網絡模型的訓練反而會變得困難。為了解決這個問題，He等[13]學者提出使用殘差連接的方式。該模型可以達到152層，在ImageNet分類任務中Top-5分類錯誤率只有3.57%。殘差連接的網絡結構如圖 2所示。

2.1.3 DenseNet模型。

受ResNet模型所表現出來的良好性能的啟發，有學者提出DenseNet模型[14]，可進一步加強各層之間的連接。

DenseNet使用更多的跨層快捷連接，從輸入層開始，每層都和后面的各層相互連接，這樣可以充分利用各層的特征信息，同時可以保證層與層信息之間的最大傳輸，進一步減少梯度消失問題。

2.1.4 InceptionResNet模型。

Inception模型是由Google提出的，并在隨后提出了各種版本，如Inception-v1[15]、Inception-v2[16]、Inception-v3[17]、Inception-v4[18]。

Inception模型的基礎結構如圖 4所示。

Inception的結構是將上層的輸入通過1×1、3×3、5×5的卷積后，將其的結果堆疊起來，這一方面增加網絡的寬度，另一方面可以增加網絡對多尺度的處理，有利于處理圖片的多尺度問題。

根據Inception模型的思想，進一步對模型進行優化，提出了如圖 5的Inception-v1結構，該模型也被稱為GoogLeNet模型，并且獲得了2014年ImageNet比賽的冠軍。

從圖5可以看出，為了減少Inception模型3×3和5×5卷積的計算量，Inception-v1模型在5×5卷積、3×3卷積之前使用1×1卷積操作減少計算量。

按照這種思想，隨后又推出了Inception-v2、Inception-v3以及Inception-v4模型結構。

InceptionResnet模型不僅借鑒了Inception模型使用小的卷積核的思想，而且借鑒ResNet殘差連接思想。該模型綜合利用了Inception模型和ResNet模型的優點。

2.1.5 Xception模型。

Xception模型[19]是受到Inception模型的啟發而提出的一種極致Inception模塊。在Inception模塊中，特征通過1*1卷積、3*3卷積對特征進行提取。而Xception模型是對每個輸入通道做處理，首先對每個輸入通道進行普通的1*1卷積，然后再進行3*3卷積并將這些結果聚合起來。同時，該模型也借鑒ResNet的思想，將殘差連接機制引入網絡中。Xception模型結構如圖 6所示。

2.2 遷移學習方法

遷移學習指的是在某個任務上訓練出來的模型結果經過簡單的修改后運用到新的任務中。預訓練好的模型一般是在大型數據集上進行訓練，如圖像領域的ImageNet數據集。該數據集一共有超過1 400萬張的標注圖片，大概有2.1萬類，由于該數據集樣本量足夠多且包含的類別也豐富，在該數據集上學出來的特征可以作為計算機視覺方面的通用模型，因此這些訓練出來的特征可以用于各種不同的和計算機視覺相關的問題中，新的視覺任務與原始任務甚至完全不同。根據這一特性，該研究采用在ImageNet訓練好的VGG模型、ResNet模型、DenseNet模型、InceptionNet模型、Xception模型作為該次遷移學習的主要基準模型，遷移學習的流程如圖 7所示。

3 試驗過程

3.1 試驗環境

使用深度學習框架TensorFlow軟件進行試驗驗證。電腦配置為CPU：Intel i7-9700@3.00 Ghz;GPU配置為：NVIDIA GeForce RTX 2060，顯存大小6 GB。

3.2 試驗數據

試驗數據選取常見水稻病害作為重點分析對象，主要選取6種常見的水稻病害，分別為水稻胡麻斑病、水稻白葉枯病、水稻紋枯病、水稻細菌性條斑病、稻曲病、稻瘟?。▓D8）。

該數據集由筆者通過田間實地拍攝獲得，拍攝的圖片反映了不同場景、不同光照、不同自然環境下的真實病害發生情況。收集的水稻病害數據樣本量如表1所示。

3.3 試驗參數設置

試驗選取數據集的80%作為訓練集，20%作為驗證集。

使用在ImageNet上的預訓練模型作為遷移學習的基礎。ImageNet數據集在R、G、B共3個通道上的均值為（0.485，0.456，0.406），標準差為（0.229，0.22 0.225），因此該試驗對水稻病害數據集進行標準化操作時也使用ImageNet上的均值和標準差值做歸一化處理，以保證和ImageNet預訓練模型的一致。

同時，為了和預訓練模型輸入大小一致，需要對水稻病害的輸入樣本大小進行處理，根據預訓練模型的輸入大小，將輸入圖片大小調整為224像素×224像素。使用Adam優化器，學習率大小設置為0.00 同時在全連接層使用dropout技術，將選擇比率設置為0.5。

3.4 數據增強

為了提高模型的泛化性能，需要對數據集進行數據增強。數據增強指的是通過水平翻轉、上下翻轉、旋轉、平移、伸縮等方法擴充樣本。該試驗方案主要采用左右翻轉、上下翻轉以及隨機裁剪的方法增加樣本。

3.5 遷移學習網絡模型

該研究選取的經典深度學習網絡模型一般都會經過多層卷積和Pooling操作以提取圖片特征。通過多層卷積操作獲得的低層特征往往提取的是圖片的局部邊緣和紋理等信息，低層提取的特征具有通用性，而越往高層提取的特征更多包含的是圖像的語義特征。所以在使用遷移學習的過程中，需要先凍結這些低層特征，但是針對新的任務時需要調整全連接層的參數，最終獲得新的網絡模型如圖 9所示。圖9展示了對低層特征提取層不進行訓練，僅僅對后面的全連接層進行訓練以適應新任務的需求。

4 試驗結果分析

4.1 VGG-16訓練過程

圖 10顯示了使用VGG-16模型進行遷移學習的訓練過程。從圖10可以看出，隨著訓練的進行，訓練損失值一直處于下降的過程中，訓練的準確率也在逐步上升，但是驗證損失值不穩定，從而導致驗證準確率也不穩定。通過試驗可以發現，使用VGG-16模型進行遷移學習訓練過程中存在性能不穩定的問題。

4.2 VGG-19訓練過程

圖 11顯示了使用VGG-19模型的訓練過程。隨著訓練的過程，訓練損失值逐步降低，相應的訓練準確率也在上升，但是驗證損失值和驗證準確率也有不穩定的現象，存在與VGG-16模型類似的問題。

4.3 ResNet50訓練過程

圖 12展示了在ResNet50模型進行遷移學習的結果。從圖12可以看出，剛開始訓練的時候，訓練的損失值和驗證的損失值波動性較大，但隨著訓練的逐步進行，模型在訓練集和驗證集上的準確率逐步穩定下來，最終準確率可以達到95%。

4.4 ResNet101訓練過程

圖13展示了在ResNet101上的訓練過程。從圖13可以看出，該模型無論在最初訓練的時候還是在逐步訓練的過程中，模型的訓練損失值始終沒有下降且不穩定，最終導致模型的準確率不高，僅有60.00%左右，而且模型性能一直不穩定。

4.5 DenseNet121訓練過程

從圖14可以看出，DenseNet121模型經過少數幾輪訓練后，訓練的損失值下降很多，最終模型的準確率可以達到98%。

4.6 InceptionResNetV2訓練過程

從圖15可以看出，該模型在訓練過程中的穩定性稍微不如DenseNet121模型，但是模型的訓練準確率和驗證準確率與DenseNet121模型差不多。

4.7 Xception模型訓練過程

從圖 16可以看出，Xception模型經過較少幾輪的訓練后，訓練的損失值可以降低到較低的水平，雖然一開始訓練損失值也發生過1次突然增加的情況，但是在后面的訓練過程中，訓練損失值一直沒有發生大的波動，模型的訓練一直很穩定，而且訓練的準確率和驗證的準確率一直都很高，保持在98.00%附近?？梢?，Xception模型無論從準確率還是模型穩定性方面都是這幾個模型里最好的。

通過遷移學習方法各模型在水稻病害識別任務中的最高成功率如表2所示。表2總結了7種預訓練模型在水稻病害最好的識別準確率。其中，Xception模型獲得了最好的識別準確率（98.50%）;其次，DenseNet121模型獲得了98.44%的識別準確率;而InceptionNetV2模型的準確率是97.69%，獲得了第3的識別準確率。雖然Xception和DenseNet121的識別準確率差別不大，但是Xception模型的穩定性要好于DenseNet121模型。

5 結論

作為我國主要三大農作物之一，水稻病害的防治對我國農業產量的提高起到重要的作用。如何使用計算機技術實現智能識別將會有助于病害的準確防治以及生產效率的提高。該研究針對水稻常見的6種病害使用遷移學習的方法實現智能識別。通過對比不同模型下的試驗結果，考察模型識別準確率以及模型穩定性，結果表明Xception模型在這2個方面的表現均最優。

參考文獻

[1] 周立陽，高增祥，李典謨.害蟲預測預報的生態學基礎和應用技術研究進展[J].生態學報，200 21（6）：1013-1019.

[2] 劉杰，姜玉英，黃沖，等.2021年全國糧食作物重大病蟲害發生趨勢預報[J].中國植保導刊，202 41（1）：37-39，42.

[3] SASAKI Y，OKAMOTO T，IMOU K，et al.Automatic diagnosis of plant disease-Spectral reflectance of healthy and diseased leaves[J].IFAC Proceedings Volumes，1998，31（5）：145-150.

[4] RUMPF T，MAHLEIN A K，STEINER U，et al.Early detection and classification of plant diseases with Support Vector Machines based on hyperspectral reflectance[J].Computers and electronics in agriculture，2010，74（1）：91-99.

[5] ZHANG S W，WANG H X，HUANG W Z，et al.Plant diseased leaf segmentation and recognition by fusion of superpixel，K-means and PHOG[J].Optik，2018，157：866-872.

[6] HINTON G E，OSINDERO S，TEH Y W.A fast learning algorithm for deep belief nets[J].Neural computation，2006，18（7）：1527-1554.

[7] MOHANTY S P，HUGHES D P，SALATH M.Using deep learning for image-based plant disease detection[J].Frontiers in plant science，2016，7：1-10.

[8] 徐貴力，毛罕平，李萍萍.缺素葉片彩色圖像顏色特征提取的研究[J].農業工程學報，200 18（4）：150-154.

[9] 趙玉霞，王克如，白中英，等.貝葉斯方法在玉米葉部病害圖像識別中的應用[J].計算機工程與應用，2007，43（5）：193-195.

[10] 李敬.基于卷積神經網絡的煙草病害自動識別研究[D].泰安：山東農業大學，2016.

[11] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[J].Advances in neural information processing systems，201 25（2）：1106-1114.

[12] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[R].2015.

[13] HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，NY，USA：IEEE，2016：770-778.

[14] HUANG G，LIU Z，VAN DER MAATEN L，et al.Densely Connected Convolutional Networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu，HI，USA：IEEE，2017.

[15] SZEGEDY C，LIU W，JIA Y Q，et al.Going Deeper with Convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Boston MA，USA：IEEE，2015.

[16] IOFFE S，SZEGEDY C.Batch normalization：Accelerating deep network training by reducing internal covariate shift[J].The 32nd international conference on machine learning，2015，37：448-456.

[17] SZEGEDY C，VANHOUCKE V，IOFFE S，et al.Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，NY，USA：IEEE，2016：2818-2826.

[18] SZEGEDY C，IOFFE S，VANHOUCKE V，et al.Inception-v inception-ResNet and the impact of residual connections on learning[R].2016.

[19] Chollet Franois.Xception：Deep Learning with Depthwise Separable Convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，HI，USA：IEEE，2017：1800-1807.