基于云平臺集AI 圖像識別的水果病蟲害巡邏車

管嘉誠，鐘錦杰，黃志芳，吳波稼，黃偉雄，胡嘉輝

（嘉應學院 物理與電子工程學院，廣東 梅州 514015）

0 引 言

水果是我們日常生活中經常吃的食物，它的安全問題值得我們關注。在水果的種植過程中會受到各種外部因素的影響，比如農作物病蟲害問題就是影響水果種植的一個很重要問題，每年因農作物病蟲害造成的國民經濟和農業生產損失十分嚴重。而目前對農作物病蟲害的檢測基本上都是通過人工識別和預防的方式，這種方式不僅效率低、耗時耗力，而且對檢測員的專業能力要求極高。為了解決上述問題，并使檢測效率更快以及防范農作物病蟲害更及時，實現隨時隨地檢測，本文專門設計一款基于云平臺集AI 圖像識別水果病蟲害的巡邏車。

2022 年是實施“十四五”規劃的關鍵之年，在當前我國經濟從高速增長向高質量發展的重要階段，以人工智能為代表的新一代信息技術，將成為我國“十四五”時期推動經濟高質量發展、建設創新型國家，實現新型工業化、信息化、城鎮化和農業現代化的重要技術保障和核心驅動力之一。人工智能能夠助力鄉村振興打造數字經濟新優勢?；谠破脚_集AI 圖像識別水果病蟲害巡邏車能識別檢測危害水果的嚴重病害，如蘋果赤霉病、蘋果黑腐病、櫻桃（含酸味）白粉病、桃花菌斑、馬鈴薯早疫病和番茄菌斑病等，系統集機械結構、控制算法、圖像識別技術、檢測技術以及互聯網技術于一體，使用了較為前沿的科技以及部分創新設計使其具有高效、網絡化、智能控制化、自動化的特點，為解決農作物病蟲害識別檢測提供一種不錯的方法選擇。

1 整體設計方案

1.1 基本思路

本系統設計的水果病蟲害自動識別檢測和土壤濕度測量灌溉的巡邏車，是一套集深度學習、土壤濕度測量、水果病蟲害識別、語音無線傳輸、語音播報、Web 網頁控制、APP和從機監控等功能于一體的系統，用于檢測水果發育是否正常，避免水果因錯過最佳補救時間而引發嚴重經濟損失的情況。

1.2 系統總體設計方案

（1）系統硬件采用了具有集成圖像識別[1]的智能芯片Kendryte K210，以STM32F407ZGT6單片機為核心控制芯片。

（2）主機與從機之間通過2.4 GHz 模塊實現無線通信，主機將數據信息顯示在與主機連接的HMI 顯示屏上并將數據信息發送給從機，從機也將數據顯示在從機連接的HMI顯示屏上。

（3）土壤濕度傳感器模塊實現測量土壤濕度是否正常的功能，若濕度不符合預先設定的值，將啟動電池閥及其供水系統對水果進行灌溉補水。

（4）XFS5152 微型語音通信模塊實現主機和從機遠距離對講通話功能。

（5）WiFi 模塊與手機之間實現無線雙向通信，手機端APP 通過發送指令對巡邏車進行運動控制，巡邏車負載了GPS 定位功能，實時了解巡邏車的動態。

（6）對于系統采集到的土壤濕度和環境溫濕度等信息，系統除了使用手機APP 界面進行顯示，還會在Web 網頁端界面進行同步顯示。對水果狀態的自動檢測和語音的自動提示都實現了智能播報。

（7）對果樹的樹葉進行掃描后，主機根據掃描的結果判斷水果是否感染病蟲害，并將結果發送到手機APP 和Web網頁端。

系統的總體設計框圖如圖1 所示。

圖1 系統總體設計框圖

2 硬件設計

2.1 基于TensorFlow 深度學習框架的圖像識別技術

目標檢測是計算機視覺中一個非常重要的研究方向。目標檢測與細分主要負責檢測出圖片中的物體。系統中使用的目標檢測算法，結合了深度學習技術，代替傳統的基于卷積濾波的方法，對識別的圖片中樹木的目標進行檢測并細分。系統基于TensorFlow深度學習框架，TensorFlow是一個用于機器智能的開源軟件庫。本文采用了深度學習的較為經典的目標檢測框架—YOLO2，精確識別水果是否患有病蟲害[2]，通過串口與STM32F407ZGT6 主芯片進行通信，原理如圖2所示。

圖2 K210 模塊電路接線圖

2.2 環境溫濕度測量

系統采用DHT11 溫濕度傳感器對周圍的環境進行測量[3]，其濕度的測量范圍為20%～95%，誤差為±5%；溫度的測量范圍為0 ～50 ℃，誤差為±2 ℃，符合系統的要求。通過對周圍環境進行溫濕度檢測，可以為工作人員提供一個良好的出行、工作、防護條件；當濕度與溫度不適合人們進行農作時，巡邏車會通過喇叭進行警報，通知現場的工作人員做好防護準備。DHT11 的數據腳與單片機相連，如圖3 所示。

圖3 DHT11 模塊電路接線圖

2.3 無線語音傳輸

系統使用XFS5152 無線語音傳輸模塊[4]，能有效傳輸工作人員的語音信息，便于工作人員對現場工作人員的引導，能遠距離發出提醒的功能，便于人機交互。XFS5152 模塊通過串口4 實現主機控制XFS5152 模塊進行播報，VCC接3.3 V，GND 接GND。模塊與主機芯片連接圖如圖4所示。

2.4 Web 端與APP 端控制

對于巡邏車工作的環境情況，可以將識別的圖像信息通過WiFi 模塊聯網上云，并且可以通過手機APP 和Web 網頁[5-6]進行監測與查看，手機APP 和Web 端能遠程控制巡邏車的照明燈（照明燈用于在夜晚時提高攝像頭的識別率）。無線的運用提高了工作人員對巡邏車的操控力度，使工作人員能及時應對突發情況，便于人機交互。ESP8266 WiFi[7]有5 個引腳，RX 引腳與主芯片的USART3_TX 相連接，TX 引腳與主芯片的USART3_RX 相連接，GND 引腳與主芯片的GND 引腳相連接。WiFi 模塊接口如圖5 所示。

圖5 WiFi 模塊電路接線圖

2.5 PID 算法控制灰度傳感器、超聲波尋跡避障與GPS 定位

運用PID 控制算法對小車的運動進行控制，并結合灰度傳感器模塊、超聲波測距為小車設計切實可行的運行軌跡?；叶葌鞲衅髂K的發射管會發射出一定頻率的紅外線，當檢測方向遇到障礙物（反射面）時，紅外線反射回來被接收管接收，經過比較器電路處理之后將采集的數據傳送至單片機，當巡邏車檢測到前方或左右有障礙物時，能及時躲避，避免碰撞。同時，巡邏車利用超聲波測量攝像頭到果樹的距離，計算出合適的識別距離；并在巡邏車上配備了GPS 定位模塊[8]，方便控制人員實時知道巡邏車的位置。如圖6 所示為灰度傳感器、HC-SR04 超聲波傳感測距模塊和GPS 定位模塊電路接線圖。

圖6 避障尋跡測距定位電路接線圖

2.6 土壤濕度測量與補水灌溉

系統使用土壤濕度傳感器[9]對土壤的濕度進行檢測，若所測濕度的結果與預先設定的濕度范圍值不匹配的話，將進行灌溉補水的操作。土壤濕度傳感器的電路接線圖如圖7所示。

圖7 土壤濕度傳感器電路接線圖

3 軟件程序設計

3.1 圖像識別+播報程序的實現

系統上電后，進入初始化。初始化后，指示燈閃爍，巡邏車開始根據預先設計的路線進行行駛，支撐機構上的舵機不斷控制攝像頭旋轉，使其不斷識別物體。當在路線行駛過程中識別到果樹時，巡邏車會停下來繼續識別果樹的樹葉，對其進行疾病判斷并將所識別到的結果通過XFS5152 語音模塊播放出來，假如蘋果樹葉正常，則播放“蘋果正?！?；如果蘋果樹葉得了赤霉病，則播放“蘋果赤霉病”并通過蜂鳴器報警以提醒現場工作人員。主程序流程如圖8 所示。

圖8 圖像識別程序流程

3.2 環境測溫測濕程序的實現

系統的環境測溫測濕功能的實現依靠DHT11 模塊，DHT11 用的是單總線協議，一次傳送40 位的數據。每次單片機讀取DHT11 的數據時，都要一次性讀取40 次，也就是讀取40 位，并且數據前16 位是與濕度相關的，中間16 位是與溫度相關的，最后8 位是用來校驗的。當校驗成功后，證明這一次的溫濕度結果是正確的，單片機就可以使用這個溫濕度值；如果校驗不通過，那么就代表這次讀取出來的溫濕度值是錯誤的。環境測溫測濕程序如圖9 所示。

圖9 環境測溫測濕程序

3.3 WiFi 程序的實現

WiFi 模塊中網絡模塊的主要作用是連接遠程服務器、完成串口信號和無線信號的轉換，保證微處理器的數據收發。通過ESP8266 的芯片可以使用AT 指令或者登錄自帶熱點的網頁進行配置，在連接建立之后將接收到的數據傳遞給MCU，從而建立通信連接，實現遠程通信服務。具體工作流程如圖10 所示。

圖10 網絡模塊工作流程

3.4 APP 或Web 端控制程序的實現

通過可視化編程工具node-red 進行網頁的制作，并結合WiFi 模塊接入MQTT 服務器進行數據的傳輸，從而實現Web 端對巡邏車的遠程控制。通過微信小程序的框架與node-js 框架進行微信小程序的制作，并結合WiFi 模塊接入MQTT 服務器進行數據的傳輸，從而實現APP 端對巡邏車的遠程控制。普通狀態下，系統實時發送溫度等數據后，APP 或Web 實時接收各類數據并在界面上顯示。當出現特殊情況時，可通過手機屏幕按鍵實現對巡邏車的操作控制[10]。其流程如圖11 所示。

圖11 APP 與Web 控制程序流程

3.5 避障尋跡測距定位程序的實現

避障尋跡測距定位程序的實現依靠三大模塊與算法程序?；叶葌鞲衅骼貌煌伾臋z測面對光的反射程度不同、光敏電阻對不同檢測面返回的光阻值也不同的原理進行顏色深淺檢測?？刂茊卧o超聲波傳感器10 μs 以上的觸發信號，它的發射端就發射一束超聲波，在發射的同時計時開始；發射出去的超聲波在介質中傳播，聲波具有反射特性，當遇到障礙物時就會反射回來；當超聲波的接收端接收到反射回來的超聲波時，計時停止。GPS 模塊通過MMCX 天線不斷接收GPS 定位衛星發送的導航電文，通過GPS 模塊（單片機）進行處理，并且輸出串口TTL 電平信號與主AP 進行通信，傳輸NMEA-0183 格式的信息流；主CPU 處理NMEA-0183格式的定位信息、當前衛星信息、地面數字信息等衛星信息，按照一定的公式進行計算，經過應用邏輯處理后，返回給用戶顯示。其流程如圖12 所示。

圖12 避障尋跡測距定位程序流程

3.6 土壤濕度測量灌溉補水程序的實現

土壤濕度測量灌溉補水程序的實現依靠土壤濕度計與供水系統。巡邏車通過定點發射土壤濕度計，將其插入土里，濕度計測量土壤濕度，若濕度不在預先設定的合理范圍內，則啟動供水系統對其進行補水操作。具體流程如圖13 所示。

圖13 土壤濕度測量灌溉補水控制程序流程

4 實驗測試結果

圖14 是巡邏車系統實物圖，本系統采用圖像識別芯片K210 及各類傳感器采集相應信息并送入主控芯片，主控芯片STM32 系列單片機對數據進行處理后作出對應反應，從而實現檢測水果病蟲害的功能。圖像識別芯片K210 負責檢測水果是否患有病蟲害的情況；土壤濕度傳感器負責測量土壤的濕度情況，若所測濕度值不在預先所設定值的范圍內，將啟動電磁閥及其供水系統進行灌溉補水；XFS5152 微型語音通信模塊實現主機與從機的遠距離對話通信功能；超聲波測距和紅外尋跡模塊結合系統預先規劃的路線進行巡邏車障礙尋跡行駛；GPS 模塊實現對巡邏車的定位；WiFi 模塊實現數據傳輸，與云端Web、手機APP 之間進行通信，手機端或客戶端通過發送指令對巡邏車的運動方向、燈和報警器等進行控制。圖15 是APP 端圖，圖16 是Web 端圖。表1 為水果病蟲害的檢測結果；表2 為手機APP 與主機的測試結果。

表1 正常水果與疾病水果的測試結果

表2 手機APP 與主機的測試結果

圖14 實物圖

圖15 APP 端

圖16 Web 端

5 結 語

中國是一個農業大國，而農業收益一直深受病蟲害影響。據統計數據，自2008—2017 年，我國農業有害生物年均發生面積達71 億畝次。目前，市面上預防水果病蟲害多數采用人工噴撒農藥和專家實地考察的方式，效率較低?；诖?，本文設計了一種基于圖像識別水果病蟲害的巡邏車，能有效識別水果是否感染常見病蟲害的情況，具有土壤濕度檢測和灌溉補水、語音提醒等功能，便于及時提醒種植者水果的狀態；此外，還可通過Web 網頁端和手機APP 的監控進行人機交互。本項目研究使得水果種植以及農作物病蟲害識別檢測更加智能化。