基于多光譜圖像角度融合測定庫爾勒香梨理化指標

劉鴻陽, 孔德國*, 羅華平, 高 峰, 王聰穎

1. 塔里木大學機械電氣化工程學院, 新疆 阿拉爾 843300

2. 自治區教育廳普通高等學?，F代農業工程重點實驗室, 新疆 阿拉爾 843300

引 言

庫爾勒香梨是新疆特色果品, 因其具有香味獨特、 入口即化、 脆甜多汁等特點而受廣大消費者青睞, 市面上庫爾勒香梨以次充好、 果品品質差異大和分級不科學的現象亟待解決[1]。 對庫爾勒香梨進行快速無損檢測與分級具有重要意義。

傳統的檢測手段為破壞性抽樣檢測, 且檢測時間較長, 存在著諸多弊端[2]。 因此迫切需要開發一種大批量快速無損檢測技術。 多光譜成像技術可以獲得被測物光譜和對應波段的圖像信息, 在葉片含水率、 葉綠素、 果實缺陷檢測和成熟度的判別應用廣泛[3-6]。

國內外學者通過多光譜融合技術綜合不同類型的光譜數據, 全面深度地挖掘光譜信息來提高定性模型和定量模型的檢測精度[7]。 張佐經[8]等通過融合密度與光譜特征提高了蘋果霉心病檢測精度, 檢測精度達到了95.56%; 張慧[9]等的研究結果表明將烤煙的光譜信息與紋理特征融合后, 烤煙的分類效果有明顯提高; 張凡[10]等基于圖譜特征層信息融合建立的羊肉揮發性鹽基氮(total volatile base nitrogen, TVB-N)預測模型, 驗證集相關系數達0.930; 金瑞[11]等通過融合光譜維和圖像維信息建立的擴散映射結合極限學習機模型, 對4種馬鈴薯(發芽、 綠皮、 黑心和合格馬鈴薯)混合識別率達到96.58%; Li[12]等基于極限學習機融合紫外可見光譜與近紅外光譜對溴氰菊酯配方進行了鑒定; Ge[13]等融合核磁共振與近紅外光譜數據對玉米單倍體進行了鑒定; Ríos[14]等采用四種光譜分析方法(近紅外光譜、 中紅外光譜、 熒光光譜和核磁共振), 發現數據融合模型比單一模型更有效地區分葡萄酒醋的原產地。

近年來多角度定量遙感通過加入角度維信息, 使得觀測數量增多信息量增加, 從而提高檢測精度, 廣泛應用于植被生理參數、 氣溶膠反演和反照率應用中[15]。 本工作在進行庫爾勒香梨糖度、 硬度和含水率檢測中, 引入角度因素對光譜特征的影響, 設計了不同相對方位角下的庫爾勒香梨光譜觀測實驗, 并對庫爾勒香梨光譜的反射率、 相對方位角和波段進行了相關性分析。 并進行特征角度下建立的庫爾勒香梨檢測模型和角度融合下建立的庫爾勒香梨檢測模型的對比, 提出了采用多光譜圖像角度融合提高庫爾勒香梨檢測模型精度的方法。

1 實驗部分

1.1 材料

實驗材料為完熟期的庫爾勒香梨, 采購于阿拉爾市。 挑選60個表面無損傷, 大小相近的庫爾勒香梨為實驗樣品, 并將樣品編號放入便攜式車載冰箱冷藏處理。 實驗前, 將全部樣品放置室內, 待樣品溫度與室溫保持一致后開始實驗。

1.2 儀器與設備

實驗設備包括光速視覺(北京)科技有限公司生產的miniCAM6F多光譜成像儀, 濾光片中心波段(450、 470、 510、 560、 660、 680、 690、 705、 900 nm)、 溴鎢燈光源、 吸光布、 手持式測距儀、 PTFE樹脂漫反射白板、 A-2003電子天平、 GZX-9140MBE電熱鼓風干燥儀、 GMK-710R型手持式糖度計、 浙江托普云農科技股份有限公司生產的GY-4型數顯果實硬度計等。

1.3 多光譜圖像信息的采集

香梨樣品分成10組, 每組6個香梨, 每組分兩排依次按序號平躺橫放于黑色吸光布上。 實驗前先采集白板光譜用于校正。 多光譜成像采集系統如圖1所示, 進行相對方位角φ=80°時的圖像信息的采集, 為避免后期復雜的圖像配準工作, 按照地面標記的刻度, 多光譜相機天頂角θr=44°, 溴鎢燈天頂角θi=60°, 使得香梨處于圖像中央。 多光譜相機始終固定在距離實驗樣本X軸方向150 cm處, 只移動溴鎢燈, 溴鎢燈以180 cm為半徑從Y軸繞樣本圓心從0°到90°每間隔10°進行移動, 每組每10°采集9個波段圖像。

圖1 多光譜成像采集系統圖

1.4 多光譜圖像的角度融合及光譜信息的提取

多光譜圖像的角度融合是將不同角度下的光譜數據結合在一起, 從而獲得了比單一角度更加豐富的信息, 不同角度下所包含的具體信息有所差異, 進行角度融合處理之后, 獲取更多更全的光譜信息, 能夠更加完整地表征樣品的信息。 使用ENVI5.1軟件對采集到的多光譜圖像進行平場校正, 進行角度融合其結果如圖2所示。 圖中λ代表波段, 每個角度下采集得到的9幅單波段的灰度圖像均帶有角度信息, 按照波段順序和角度順序進行圖像的堆疊, 即在λ軸上添加角度維信息。 得到一幅帶有空間信息、 光譜信息和角度信息的多光譜圖像。 因此得到60個樣品的多光譜圖像立方體, 每個像素點有9×9不同波段角度組合的光譜信息。 在圖像上選擇6個感興趣區域(region of interest, ROI)對6個香梨進行光譜信息的提取, 得到其ROI內的平均反射光譜。 對其進行包絡線的去除(continuum removal)以突出反射光譜的特征并減少計算量。

圖2 多光譜圖像的角度融合

1.5 庫爾勒香梨硬度、 含水率和糖度的測定方法

測光譜的樣品先用數顯果實硬度計采集正反兩面的硬度, 各在其赤道線采取3個點, 共6個點取其硬度平均值作為該樣品最終硬度值。 水份測定采取國標 GB/T5009.3—2016 《食品中含水率的測定》, 用小刀切取樣品正反兩面的果肉共6塊, 每塊約5 g放入電熱鼓風干燥箱進行烘干, 烘干至重量變化少于0.001 g。

(1)

式(1)中,m1為烘干前的質量,m2為烘干后的質量。 含水率最后取6次計算的平均值。 糖度測定使用手持式數顯糖度計, 同樣每個樣品測量6次, 取其糖度平均值為該樣品最終糖度值。

1.6 數據處理

光譜數據預處理方法、 異常樣本的剔除、 偏最小二乘回歸(PLSR)和支持向量機(SVM)模型計算應用均在MATLAB2020B進行實現。 其中核函數類型、 懲罰系數C與核函數參數g的選取對SVM影響較大。 選用線性核函數, 核函數參數g設為默認值, 為防止模型過擬合, 懲罰系數C適當調整。 通過校正集相關系數(Rc)、 預測集相關系數(Rp)、 校正集均方根誤差(RMSEC)和預測集均方根誤差(RMSEP)對模型的效果進行評價[15]。 相關系數為真實值與預測值的相關程度, 均方根誤差為真實值和預測值之間的偏差, 即校正集相關系數Rc和預測集相關系數Rp越接近1, 預測集均方根誤差RMSEC和預測集均方根誤差RMSEP越接近0, 表示模型的效果越好[2]。

2 結果與討論

2.1 庫爾勒香梨平均反射光譜曲線及相關性分析

實驗所得庫爾勒香梨在9個波段下, 不同相對方位角去除包絡線的庫爾勒香梨平均光譜反射率曲線如圖3所示, 其基本規律為： 不同相對方位角的多光譜曲線波形趨勢基本相似, 470、 510和660 nm波段反射光譜受角度影響較為明顯。 不同角度下多光譜成像儀接受的反射能量不一致, 同一角度下, 不同波段光譜反射率不同, 不同角度對光譜曲線波形和吸收谷位置無明顯影響。

對光譜反射率R, 波段和相對方位角之間進行相關性分析, 選取庫爾勒香梨樣本數據進行皮爾遜相關性分析, 結果如圖4所示, 光譜反射率和相對方位角的P值小于0.01, 呈現極顯著相關性, 說明相對方位角對光譜反射率的影響很大, 相對方位角與光譜反射率之間的相關系數0.1略大于波段與光譜反射率之間的相關系數0.053, 說明在波段較少的多光譜無損檢測中, 相對方位角因素對光譜反射率的影響大于波段對光譜反射率的影響。 對多光譜無損檢測模型中加入角度信息是有必要的。

2.2 樣本集的劃分及異常樣本的剔除

在進行樣本集劃分前, 先對庫爾勒香梨異常理化值樣本進行剔除, 采用濃度殘差法, 設定閾值為2, 剔除異常樣本的糖度值、 硬度值和含水率。 以剔除糖度值為例, 如圖5(a—c)所示, 剔除編號為14、 15、 33、 56和57的糖度理化值。 同理, 剔除9個異常硬度理化值樣本和8個含水率理化值樣本。

圖5 剔除異常庫爾勒香梨樣本

SPXY(sample set portioning based on joint x-y distance)法充分考慮樣本的光譜及理化信息, 可以改善模型的預測能力, 本研究采用SPXY法對樣本進行劃分。 如表1所示為樣本的糖度值、 硬度值和含水率的劃分情況。 校正集糖度的范圍為10.250～13.783 (°Brix), 校正集硬度的范圍為6.400～11.650 N, 校正集含水率的范圍為84.857%～88.218%。 通過SPXY法劃分的校正集范圍包含了預測集范圍, 說明所選的校正集樣本具有代表性。

表1 庫爾勒香梨樣本劃分表

2.3 預處理方法的選擇

為了評估多光譜數據對庫爾勒香梨理化值的實際預測能力, 對原始光譜數據進行預處理, 采用不同預處理方法, 建立不同的偏最小二乘回歸(partial least square regression,PLSR)以選出較好的預處理方式, 如表2所示分別對原始光譜數據(Raw), 標準正態變量變換(standard normal variable transformation, SNV)、 均值中心化變換(mean centering, MC)、 卷積平滑處理(savitzky-golay, S_G), 歸一化處理(normalized, Nor)等預處理方法進行比較分析發現, 只有采用S_G預處理后建立的校正模型相比較原始光譜數據的建立的校正模型, 相關系數都有所提高。 其均方根誤差有所提高, 模型的魯棒性變差。 因此直接采用原始光譜建立模型。

表2 不同預處理方法下的PLSR模型

2.4 相對方位角對PLSR模型的影響

相對方位角對光譜影響較大。 因此根據相對方位角10°、 20°、 30°、 40°、 50°、 60°、 70°、 80°和90°下采集的多光譜數據建立偏最小二乘回歸模型, 確定最佳相對方位角下的光譜采集方式。

2.4.1 相對方位角對PLSR水分模型的影響

在不同相對方位角含水率建模中, 如表3所示, 方位角為70°時, 多光譜成像儀采集的光譜數據建立的PLSR含水率模型最好, 其次為方位角60°時建模效果較好, 校正集相關系數Rc為0.815、 0.811, 校正集均方根誤差RMSEC為0.486、 0.494, 預測集相關系數Rp為0.868、 0.824, 預測集的均方根誤差RMSEP為0.289、 0.390, 建模效果顯著提高。

表3 不同相對方位角的含水率PLSR模型

2.4.2 相對方位角對PLSR糖度和硬度模型的影響

在不同相對方位角硬度和糖度建模中, 如表4所示, 相對方位角為60°時所建的偏最小二乘回歸硬度模型和糖度模型效果最好, 其校正集相關系數Rc為0.714、 0.776, 校正集均方根誤差RMSEC為0.799、 0.561, 預測集相關系數Rp為0.612、 0.732, 預測集的均方根誤差RMSEP為0.828、 0.542。 在多角度采集光譜實驗中, 不同相對方位角下的光譜攜帶果品理化信息的權重不一致。 綜合來看, 本實驗中相對方位角60°時為特征角度, 選用相對方位角60°下進行光譜數據的采集, 所得偏最小二乘回歸模型的魯棒性較好。 回歸模型存在最佳相對方位角, 使得模型效果最顯著, 這個可能與庫爾勒香梨的介電常數和折射率有關。

表4 不同相對方位角的糖度和硬度PLSR模型

2.5 多角度融合模型

2.5.1 多角度融合模型的建立

由于多光譜成像儀只有9個波段, 故不進行特征波段的選取, 采用全波段建模。 全波段作為模型的輸入量, 實驗所測得庫爾勒香梨的含水率、 糖度和硬度作為模型的輸出量。 建立PLSR模型和支持向量機(SVM)模型。 相對方位角60°為特征角度, 故進行特征角度(characteristic angle, CA)和角度融合(angle fusion, AF)下模型的對比, 模型結果如表5所示。

表5 基于特征角度和角度融合建立的理化值預測模型

與特征角度的光譜比較, 采用角度融合所建立的PLSR模型和SVM模型的校正集相關系數和預測集相關系數有著明顯提高, 其校正集均方根誤差和預測集均方根誤差明顯減小。 進行角度融合的模型預測能力明顯高于特征角度下最優模型的預測能力, 且模型的魯棒性也更好。 角度融合將不同角度下的光譜數據結合在一起, 獲得了比單一角度更加豐富的信息, 進行角度融合處理之后, 獲取更多更全的光譜信息, 因此建立的預測模型精度更高。 庫爾勒香梨硬度和糖度的最佳建模方法為AF-SVM, 庫爾勒香梨含水率的最佳建模方法為AF-PLSR。

2.5.2 庫爾勒香梨含水率最優模型

采用角度融合和偏最小二乘回歸建立的庫爾勒香梨含水率的AF-PLSR模型, 回歸模型的散點圖和樣本誤差如圖6(a, b)所示 , 進行角度融合的AF-PLSR含水率模型, 其校正集數據點和預測集數據點貼合在其標準擬合線兩端, 模型擬合效果較好。 其校正集相關系數Rc為0.936, 校正集均方根誤差RMSEC為0.298, 預測集相關系數Rp為0.901, 預測集均方根誤差RMSEP為0.285, 代表模型的檢測效果較為精確。

圖6 基于AF-PLSR的庫爾勒香梨含水率最優模型

2.5.3 庫爾勒香梨糖度和硬度最優模型

如圖7(a, b)和圖8(a, b)所示, 采用角度融合和支持向量機建立的庫爾勒香梨硬度和糖度的AF-SVM最優模型, 校正集相關系數Rc分別為0.894、 0.905, 校正集均方根誤差RMSEC為0.527、 0.376; 預測集相關系數Rp為0.830、 0.901, 預測集均方根誤差RMSEP為0.532、 0.379, 模型的檢測效果較好。 庫爾勒香梨糖度的AF-SVM模型與庫爾勒香梨硬度的AF-SVM模型相比： 庫爾勒香梨糖度AF-SVM模型的校正集相關系數Rc和預測集相關系數Rp均要高于庫爾勒香梨硬度AF-SVM模型, 其校正集相關系數Rc和預測集相關系數Rp均要低于庫爾勒香梨硬度AF-SVM模型。 在庫爾勒香梨糖度和硬度的檢測中, 庫爾勒香梨糖度的檢測效果要好于硬度的檢測效果。

圖7 基于AF-SVM的庫爾勒香梨硬度最優模型

圖8 基于AF-SVM的庫爾勒香梨糖度最優模型

3 結 論

采用多光譜成像技術結合角度融合對庫爾勒香梨關鍵品質參數含量進行分析, 其主要結論如下：

(1)皮爾遜相關性分析結果表明采用多光譜檢測庫爾勒香梨時, 方位角和波段都對光譜反射率呈極顯著相關性, 且方位角因素對光譜反射率的影響還要大于波段對光譜反射率的影響, 說明方位角的選擇對多光譜無損檢測有較大影響;

(2)多光譜分析技術結合角度融合方法所建立的庫爾勒香梨含水率、 糖度和硬度模型都比特征角度下建立的庫爾勒香梨含水率、 糖度和硬度模型檢測精度要高; 預測庫爾勒香梨含水率最優模型為AF-PLSR、 預測庫爾勒香梨硬度和糖度的最優模型為AF-SVM。 研究表明, 通過角度融合提高庫爾勒香梨含水率、 糖度和硬度模型檢測精度是可行的, 為大批量農產品多光譜無損檢測和高光譜無損檢測提供了新的思路。