船載投料系統飼料顆粒流落點預測

俞國燕，王 濤，郭國全，劉皞春,3

(1.廣東海洋大學機械工程學院，廣東 湛江 524088；2.廣東省海洋裝備及制造工程技術研究中心，廣東 湛江 524088；3.廣東省南海海洋牧場智能裝備重點實驗室，廣東 湛江 524088)

自動化投喂系統在深海少人化、無人化養殖中不可或缺。本研究關注飼料顆粒流落點問題，旨在提供優化投喂系統參數，為全自主投料系統奠定基礎[1-2]。

飼料顆粒流落點預測研究尚未見報道，現有研究側重于彈道和消防水射流。魏五洲等[3]利用外彈道學理論構建質點彈道數學模型，通過多傳感器融合提高了落點預測精度；Song 等[4]通過考慮多因素建立了二次修正模型，提高了彈丸落點預測準確性；吳朝峰等[5]結合遺傳算法和BP 神經網絡，提升了預測精度；Zhang等[6]采用雙向長短期記憶網絡提高了預測的實時性。相對于炮彈，飼料顆粒微小，顆粒間存在相互作用力導致飼料顆粒流形態不固定，使其初速度難以準確測量，運動模型更為復雜。因此，將彈道落點預測方法直接用于飼料顆粒流的落點預測具有一定困難。

此外，消防水炮水射流落點預測研究大多通過受力分析、質點運動學和外彈道學理論等原理建立水射流運動模型[7-11]。部分研究采用圖像處理方法分割水射流軌跡并預測落點。例如，Zhu 等[12]通過圖像處理算法成功分割了水射流軌跡并預測其落點；Zhu 等[13]利用混合高斯背景算法克服了復雜場景中提取水射流軌跡的挑戰，從而提高了預測穩定性；周俊杰等[14]則采用深度學習方法進行水射流軌跡分割及落點識別。飼料顆粒流雖與水射流的落點預測相似，但水射流的動力學特性相對穩定，易于建模[15-16]。傳統圖像處理方法用于水射流軌跡分割的穩定性較差，不及深度學習方法在復雜場景中的出色表現，然而在實際生產中，水面情況復雜落點難以識別。

為此，本研究提出一種結合混合網絡模型與BP 神經網絡的飼料顆粒流落點預測方法（MLBP），根據飼料顆粒流特點及傳統圖像分割方法的局限性，利用混合網絡模型對飼料顆粒流軌跡進行分割，并提取關鍵軌跡參數信息，作為BP 神經網絡的輸入，實現對飼料顆粒流落點的精準預測，并搭建實驗樣機驗證該模型在預測精度和實時性方面的優勢。

1 數據準備

1.1 數據獲取

為構建數據集，在廣東海洋大學工程訓練基地搭建實驗平臺（圖1）。該平臺由氣力輸送動力源（羅茨鼓風機）、下料機、變頻器、高速相機、鋼絲軟管和噴嘴構成。為降低成本和避免飼料顆粒浪費，本研究采用常見塑料顆粒作為飼料的模擬物（以下簡稱為飼料），其粒徑為4 mm。實驗平臺的設備型號、參數和功能詳見表1。

表1 實驗裝置及相關參數Table 1 Experimental setup and specific parameters

圖1 實驗平臺及主要設備Fig.1 Schematic Diagram of Main Components and Experimental Equipment

在飼料顆粒流軌跡圖像分割中，須盡可能獲取高質量軌跡圖像。為此，本研究采用文獻[12]提到的近場視覺（near-field computer vision，NFCV）傳感器裝置（圖2）。該裝置由視覺傳感器裝置和計算機組成。視覺傳感器裝置包括高速相機和支架，其中高速相機被固定于支架。由于飼料顆粒流的噴射距離較遠，飼料顆粒流下落位置遠離投料口，難以在投料口拍攝到完整的軌跡圖像，且利用遠離投料裝置的視覺傳感器來捕獲軌跡圖像也不現實，導致完全捕獲軌跡圖像難度極高。經測試，本研究將高速工業相機安裝在距離投料口1.5 m 處，并傾斜25°拍攝飼料顆粒流軌跡來解決此問題。

圖2 近場視覺結構示意Fig.2 Schematic diagram of near-field vision structure

此外，本研究利用計算機采集軟件獲取高速相機捕捉的軌跡圖像，記錄飼料顆粒流落點中心位置距離飼料噴嘴正下方的直線距離，將數據保存至計算機硬盤。實驗共采集3 750 張軌跡圖像，將其統一處理為384像素×384像素。將3 750張軌跡圖像按照8∶1∶1 的比例[17]劃分為卷積網絡模型訓練數據集（3 000 張）、驗證數據集（325 張）和測試數據集（325張）。

1.2 數據集構建

數據集構建流程如圖3。首先，對原始圖像進行透視變換[18-19]，校正采用圖3 方法獲取的軌跡圖像與相機成像平面之間的夾角，將軌跡圖像轉換到前視圖平面。其次，利用labelme[20]軟件對獲取的3 750 張軌跡圖像打標簽，得到初步的標簽圖像。最后，為解決實驗中發現軌跡邊緣的像素更易出現錯誤預測，使用距離變換（DT）算法對標簽進行處理[21-22]。通過DT算法將軌跡圖像的標簽進行解耦，得到主體標簽圖（BLI）和細節標簽圖（DLI）。

圖3 數據集構架流程Fig.3 Flowchart of dataset construction process

將得到的二值標簽圖像I劃分為前景Ifg和背景Ibg，對每個像素p，假設I(p)是其對應像素值，那么p∈Ifg，則I(p)等于1；p∈Ibg，則I(p)等于0。為使用DT 算法，采用歐氏距離計算像素之間的距離。如果像素p屬于前景，DT 將首先在背景中查找最近的像素q，使用歐氏距離來計算像素p和q之間的距離；如果像素p屬于背景，則它們的最小距離被設置為零，以便生成新圖像I′的像素。距離變換后，原圖像I被變換成I′，其中像素值I′(p)不再等于0 或1。故采用離差標準化算法將I′像素值映射到[0,1]區間。與原圖像I相比，I′的像素不僅取決于前景或背景，也與其在軌跡圖像中的相對位置有關。此時軌跡圖像的中心像素值最大，遠離軌跡中心的像素值較小，故可將I′作為主體圖，則I′去除主體圖后將得到細節圖。此外，為消除背景帶來的干擾，將新生成的標簽與原圖像I相乘，如此便得到主體標簽圖BLI和細節標簽圖DLI（公式1）。最終經過DT 算法處理軌跡圖像的結果如圖4所示。

圖4 距離變換算法處理結果Fig.4 DT(Distance transform)algorithm processing result

另外，本研究還采用圖像標準化、隨機反轉和隨機裁剪以擴充訓練數據集，增強模型的泛化性能，并提升對不確定性的處理能力，從而提高模型的魯棒性[23]。

2 MLBP算法

2.1 飼料顆粒流軌跡分割模型

本研究基于標簽解耦框架（LDF）[24]模型（圖5），提出一種改進的LDF 模型（混合標簽解耦框架，Mix-LDF），用于飼料顆粒流的軌跡分割。

圖5 LDF網絡結構Fig.5 LDF(Label decoupling framework)Network Architecture

2.1.1 輕量化LDF 模型 LDF 模型由主干網絡、主體解碼網絡、細節解碼網絡和融合編碼網絡組成，通過各分支間的信息交流，以更好的促進特征表達，提高分割精度。然而，其自身參數量較大，難以滿足實時系統（尤其是嵌入式系統）的快速響應需求。為解決此問題，本研究選取MobileNetV3[25]結構中的倒殘差結構，用于改進LDF 模型的主干網絡。由于倒殘差結構具有更少的參數和計算量，故其推理速度更快。且在滿足需求的前提下，可在計算資源受限的嵌入式設備中運行。

此外，為提高網絡對于重要特征的關注度，本研究在LDF 模型主干網絡的后四個卷積層之后均引入了通道注意力擠壓-激勵（SE）模塊[27]。這樣的設計有助于網絡在學習過程中更加聚焦于關鍵特征，從而提升整體性能。為減少網絡的計算參數使其更輕量化，本研究將LDF 模型中所有使用3 × 3卷積核的操作均替換為深度可分離卷積，進一步提高模型的運行速度，有效降低資源消耗，使網絡更適用于計算資源有限的環境。

2.1.2 視覺多頭自注意力模塊 通過2.1.1節的改進有效改善系統運行的實時性，但也導致系統的分割性能略微下降。為提高模型的分割性能，本研究提出利用自注意力機制在特征間交互作用的能力，以十字交叉注意力模塊[28]（CCAM）為基礎構建一種視覺多頭自注意力模塊（MHSA）。與自然語言中的自注意力機制相比，MHSA 可有效降低參數量，從而能更好適用于嵌入式系統。同時，MHSA 模塊能對圖像中不同特征子空間進行建模，并在解碼階段融合這些不同的特征表示，從而更好捕捉圖像中不同尺度和語義層次的信息，提升分割網絡的表達能力和分割精度[29-31]。

以CCAM 為基礎構建的MHSA 模塊（圖6），用其捕捉圖像中的長程依賴關系，擴展解碼器的感知范圍，以解決分割任務中上下文信息不足的問題。MHSA 設計允許信息的非局部傳播，從而一定程度上減少網絡的參數量和計算量，提高訓練和推理速度。因此，選用視覺多頭自注意力機制替換LDF 模型中的主體解碼網絡和細節解碼網絡部分?？紤]到主體解碼網絡和細節解碼網絡的結構相同，本研究僅展示改進后的主體解碼器網絡結構（圖6(a)）。圖6(b)顯示每個多頭自注意力結構的具體形式，其中輸入經過三個CCAM 模塊以增強不同子空間的特征表示及模型的表達能力，隨后將這些輸出沿通道維度進行拼接操作，最終通過一個卷積操作輸出。改進后的Mix-LDF網絡結構見圖7。

圖6 多頭自注意力架構Fig.6 Proposed multi-head self-attention architecture

圖7 Mix-LDF框架Fig.7 Mix-LDF framework

2.2 飼料顆粒流落點預測方法

采用經2.1 節改進后的Mix-LDF 網絡分割飼料顆粒流軌跡圖像后。在預測飼料顆粒流落點時，仍需計算軌跡信息以預測最終的落點位置。鑒于BP神經網絡[32-33]的多層結構和激活函數能夠更好地適應數據的復雜模式和關系，且在處理復雜數據模式和關系時表現更出色，因此，本研究構建一個四層BP 神經網絡結構來進行落點預測。其結構包括：4個輸入層節點變量、兩個隱藏層（分別為16 個節點和8 個節點），以及輸出層的2 個節點（用于表示落點的二維坐標點）。

2.2.1 軌跡信息提取 飼料顆粒流軌跡信息是預測落點基礎。為解決隨機噪聲對軌跡信息提取的干擾，本研究采用平均位置法[12]來處理數據，達到在真實信號部分保持穩定的前提下，使隨機噪聲帶來的偏差趨于平衡。平均位置法的具體計算方法如下：

其中，n代表在圖像列方向上屬于軌跡的像素點數目，yi代表列方向上屬于軌跡像素點的列坐標值。比較基于平均位置法的射流軌跡曲線與同一坐標系下的二值圖像射流軌跡，顯示基于平均位值法的軌跡曲線基本上位于二值圖中的射流軌跡中間（圖8），且兩者基本彼此重疊，從側面說明該方法的有效性和準確性。

圖8 飼料顆粒流軌跡曲線Fig.8 Feed flow trajectory curve

基于平均位值法獲得了符合軌跡圖像的曲線走勢。為了預測飼料顆粒流落點位置，需計算軌跡整體斜率Sot、軌跡初始拋射斜率Sit和軌跡末端斜率Set參數作為落點預測BP 網絡輸入，Sot、Sit和Set計算公式分別如下：

其中，n代表選取的點數，x0和x1分別代表軌跡中點的起始點和終點，ym和xm分別代表軌跡終點的y軸坐標和x軸坐標，yn和xn分別表示計算過程中所選點y軸坐標和x軸坐標。

此外，投料口高度也是落點預測的重要參數，其通過測量獲取，并與Sot、Sit和Set共同作為預測網絡的輸入參數。經實驗，本研究選擇n=5。此外，當Sit=0.56 時，計算得到的射流軌跡初始角度為29.24°。其與測量得到的初始角度30°，誤差僅為2.5%，表明其可行。

3 實驗環境及評價指標

3.1 實驗環境

本研究訓練模型在服務器中運行，其配置為128 GB 運行內存以及兩塊i7 CPU，基于Windows Server 2019 操作系統，軟件為VsCode，編程語言為Python 3.10，深度學習框架為Pytorch 1.13.0。

3.2 評價指標

為評估Mix-LDF 模型在軌跡分割方面的性能。本研究使用F度量值（F-measure，Fm）、平均絕對誤差（Mean absolute error，MAE）以及結構度量值（Structure measure，Sm）來評估該模型在分割飼料顆粒流軌跡方面的準確性及結構相似性。同時，為評估模型的檢測速度、計算復雜度以及大小，本研究還使用單位時間圖像檢測數量（Frames per second，FPS）、浮點數計算量（Floating point operations，FLOPs）以及模型參數量。

另外，為驗證飼料顆粒流落點預測的準確性，本研究使用平均誤差范圍（Average error margin，AEM）、平均絕對百分比誤差（Average absolute percentage error，MAPE）及殘差圖來評估預測準確性。這些評價指標從多個不同方面評估了模型的性能，從而全面展示了MLBP 方法預測飼料顆粒流落點的效果。

4 結果與分析

4.1 飼料顆粒流軌跡分割

為評估改進Mix-LDF 模型在飼料顆粒流軌跡分割的性能，本研究通過消融實驗及對比實驗進行分析。

4.1.1 消融實驗分析 為評估和驗證改進Mix-LDF模型中各個組件對性能的貢獻。以LDF 模型為基礎，在實驗中逐步移除或添加不同的組件，并通過不同的組件組合進行4 組實驗，分析各個組件對性能的影響。實驗結果見表2。

表2 不同算法的性能比較Table 2 Performance comparison of different algorithms

由表2 可知，組1 在LDF 模型引入MV3 網絡，使得FLOPs 及參數量分別降低77%、67%，FPS 達到41 幀/s。雖其分割性能略微降低，但模型的復雜度和計算負載都得到有效改善，其參數量和計算量減少對提高算法的效率和工程實踐應用具有重要意義。為改善輕量化LDF 模型后分割性能下降的問題，在組1 的基礎上分別引入SE 注意力機制及MHSA 模塊作為組2 和組3。組2 引入SE 注意力機制模塊后，加強了輸入細節解碼器和主干解碼器特征圖的表達性和區分度，其Fm和Sm分別提高0.7%和1.3%，MAE 降低2.9%。與組1 相比，組3 引入MHSA 模塊，Fm和Sm分別提高1.7%和2.4%，MAE降低11.8%，這證明了將MHSA 作為解碼器的混合網絡模型能夠有效融合不同特征的表示，提升分割網絡的表達能力，從而改善分割精度。組4 將所有改進整合在一起，其Fm相較于基礎模型LDF 下降0.4%，但具有較高的幀率及較小的參數量，故在滿足系統需求的前提下，仍能實現實時運行。綜上所述，消融實驗結果證明Mix-LDF 網絡中各組件的有效性，也驗證本實驗方案的可行性。

4.1.2 不同模型分割模型的性能對比 為評估及驗證Mix-LDF 模型的有效性，將分割性能較好的顯著性檢測模型EDN[34]、SelfReformer[35]、U2-Net[36]和F3Net[37]進行對比實驗。為確保公平，實驗均使用相關作者發布的原代碼。通過消除數據差異的影響，以準確評估算法性能。實驗結果見表3。

表3 定量分析不同模型Table 3 Quantitative analysis of different models

由表3 可知，Mix-LDF 模型在所有實驗組中，Fm和Sm評價指標最高，顯示出其在軌跡分割任務中，具有較高的準確性及更好的提取細節信息的能力。通過MAE 指標對比，可觀察到Mix-LDF 模型具有最低的MAE 值（0.028），表明其在預測顯著性時具有更小的平均誤差。同時，Mix-LDF 模型還具有最少的浮點數計算量（5.6）、參數量（9.8）和最大的幀率（31），這意味著Mix-LDF 模型在運行過程中所需的計算資源更少，具有更快的推理速度。故本研究所提改進Mix-LDF 更適合飼料顆粒流軌跡分割。

5 種模型在不同閾值下的準確率和召回率之間的關系，即PR 曲線（圖9），這有助于進一步對比算法的魯棒性和穩定性?？梢?，Mix-LDF 模型的PR曲線幾乎完全包圍其他4 個模型的曲線，表明在分割飼料顆粒流軌跡方面，其具有更高的準確性和召回率。通過對PR 曲線的觀察和分析，證明Mix-LDF 模型在不同閾值下表現出一定的優勢，這對于需要準確檢測和分割軌跡的工程實踐應用具有重要意義。

圖9 5種方法的精度-召回率曲線Fig.9 Precision-Recall curve plots for five models

不同模型分割飼料顆粒流軌跡的可視化結果見圖10，可見，Mix-LDF 模型不僅正確分割飼料顆粒流軌跡，還呈現出更清晰的邊界和連貫軌跡。與之相比，EDN、SelfReformer、U2-Net和F3Net模型存在不同程度的邊緣模糊和軌跡不連貫等問題，這會導致軌跡參數的準確性受到影響，從而影響飼料顆粒流落點的預測精度。故Mix-LDF 模型在軌跡分割方面表現最佳。

圖10 不同模型分割飼料顆粒流軌跡結果Fig.10 Segmented feed flow trajectory results of different models

4.2 不同方法的飼料顆粒流落點對比

為評估MLBP 方法在飼料顆粒流落點預測中的有效性，將其與NFCV方法在預測誤差范圍、樣本數量和平均誤差等方面進行對比，實驗結果見表4。

表4 預測飼料顆粒流軌跡著陸點的兩種方法比較Table 4 Comparison of two methods for predicting the impact points of jet trajectories

由表4 可知，NFCV 方法誤差范圍小于0.1 m時，共有35 個樣本，平均誤差為0.05 m，平均絕對百分比誤差為0.6%，平均處理時間為910.0 ms，但誤差范圍大于0.5 m的樣本占比近50%，表明NFCV方法預測落點的不穩定性較高，且無法實時預測。相比之下，MLBP 方法在誤差范圍小于0.1 m 時，有48個樣本，平均誤差為0.04 m，平均絕對百分比誤差為0.50%，平均處理時間為44.4 ms，此外，誤差范圍大于0.5 m 的樣本數僅為不到33%，表明MLBP 方法相較于NFCV 方法更穩定且具有更高的實時性，更能符合對實時性有要求的系統。故MLBP 方法在所有誤差范圍內均表現出更低的平均誤差和平均絕對百分比誤差，顯示出其具有較高的穩定性。MLBP 方法平均處理時間僅為44.4 ms，表明其可用于實時的軌跡分析和落點預測。

NFCV 與MLBP 兩種方法的殘差分布對比（圖11）顯示，采用MLBP 方法的殘差主要集中在± 0.3 之間，而NFCV 的殘差則主要集中在± 0.5 范圍內，這表明采用MLBP 方法在殘差方面更加穩定，且殘差的整體離散程度較小，相對接近真實值。相比之下，NFCV 方法殘差整體離散程度較大，相對較遠離真實值。綜上所述，MLBP 方法在誤差控制方面表現出更好的效果，其殘差更為集中且離散程度較小，與真實值更為接近。這些結果進一步驗證MLBP方法在本研究中的有效性。

圖11 殘差分布Fig.11 Residual Plot

5 結論

飼料顆粒流落點的反饋是實現飼料投喂系統的精準自主控制的作為控制決策的關鍵，本研究提出一種MLBP 方法。該方法通過相機捕獲飼料顆粒流軌跡，并利用本研究改進的Mix-LDF 網絡模型對飼料顆粒流軌跡進行分割。通過深入分析并計算了影響落點的相關參數，作為落點預測模型BP神經網絡的輸入，從而實現對飼料顆粒流落點位置的精準預測，解決了飼料顆粒流落點難以獲取的問題，為飼料顆粒流落點的精準控制提供參考。得到如下結論：

1）本研究基于LDF 模型，采用MobileNetV3 網絡的基礎組件，實現LDF 模型主干網絡的輕量化，使其容易在資源受限的嵌入式設備上進行部署；為緩解改進主干網絡帶來的分割精度略微下降的問題，針對主干網絡的后四個卷積層輸出，引入SE 注意力機制模塊，以增強特征圖的表達能力，從而提高分割精度；為更好地理解全局上下文信息，提高分割精度，采用CCAM 構建一個輕量級的視覺多頭自注意力解碼器模塊，并將其與卷積網絡構成的主干網絡相結合，形成混合網絡模型（Mix-LDF），其融合卷積網絡的局部特征提取能力和多頭自注意力的全局上下文理解能力，從而提高模型的表現能力，使其能夠更好地分割飼料射流軌跡。

2）在成功利用Mix-LDF 模型準確分割飼料顆粒流軌跡后，采用平均位置法計算軌跡曲線，并利用BP 神經網絡的優勢擬合軌跡曲線并預測落點。將軌跡曲線中的整體斜率Sot、初始拋射斜率Sit、末端斜率Set及投料口高度作為BP 神經網絡的輸入，用于預測飼料顆粒流的落點，即MLBP 方法。與NFCV 方法相比，MLBP 方法的準確率提高3%，達到96%。同時，殘差圖也表明MLBP方法更為穩定。

本研究集中關注MLBP 方法的開發和性能評估，主要解決飼料顆粒流落點預測的關鍵問題，故當前僅在陸地環境進行模擬。未來的研究將重點關注相關干擾因素（如風速、風向）以及在海洋中的海浪等問題，這將有助于提高MLBP 方法的魯棒性，使其更好地適應多樣化的海洋環境。