基于像素面元體素法的地缸醅料挖取量評估

田淮銳,田建艷,王素鋼,李濟甫

(太原理工大學 電氣與動力工程學院,山西 太原 030024)

0 引 言

地缸出醅是固態發酵食品生產中的重要環節,大部分企業依賴人力生產、勞動強度大、出缸效率低。為提高機器人出醅效率,亟需設計一種基于挖取量評估的醅料取料機器人快速取料方法,為此需要研究一種地缸醅料挖取量評估方法。

醅料表面數據采集是醅料挖取量評估的基礎。尹文慶等搭建結構光視覺計算滑槽谷粒流截面積,根據谷粒流速測算了谷粒流量[1];邵晴等以糧倉專用三維激光研發在線監測系統,實時計算倉糧體積[2];UYAR等通過3D掃描儀獲取食品不規則形狀,對球體和雞蛋進行體積估計[3];POLO等采用機載激光雷達記錄樹冠結構,實現樹冠體積估計[4];AJAYI等使用無人機采集土方工程數據,將數字高程模型導入MATLAB估算土方工程量[5]。醅料發酵中,菌種有著至關重要的作用[6-7],數據采集需要避免對菌種造成破壞。同時發酵車間光線昏暗,結構光深度相機具有主動光源,體積小巧,便于安裝。因此,選用結構光深度相機采集醅料表面數據。

目前,國內外針對物體視覺測量領域已進行了多方面研究[8]。LI等將對象點云等距離切片,計算各切片面積,根據相鄰切片間距,累加計算空間對象體積[9];劉金錦等基于多輪廓邊界對點云切片算法進行改進,準確計算截面面積,實現不規則體體積測量[10];KIM等對氣泡進行三維重建,計算各像素截面面積,實現氣泡體積計算[11];FERNANDEZ-SARRIA等通過激光掃描獲取橄欖樹外形數據,采用截面法、體素法、全局凸包法、逐層凸包法4種方法測量了樹冠體積[12];以上方法均需準確獲取物體輪廓,但是醅料通常是兼具粘性與流動性的固態散料,在挖取過程中其分布會發生不規則、不確定的變化,同時發酵時醅料置于缸中,挖取區域三維外形難以準確獲取,挖取量測算困難。

三棱柱微元法是一種常用的體積測算方法。楊春雨等訓練金字塔立體匹配網絡獲取雙目相機煤料視差圖,重建煤料點云,基于三棱柱微元遍歷求和法測算煤料體積[13];張春森等使用無人機采集堆體圖像生成堆體密集點云,構建德洛內三角網測算堆體體積[14];楊德山等通過數據融合實現散貨堆體點云重建,采用德洛內三角剖分法測算堆體體積[15]。以上方法使用均為料堆堆積于平面上,如果可以測算挖取前、后醅料總量,作差求得挖取量,但是固態發酵生產中通常使用不規則的地缸等發酵容器,難以測算醅料總量。

根據挖取后缸口內點云變化情況,設計一種像素面元體素法評估醅料挖取量,以醅料地缸發酵生產中出醅過程為例,分析相應面元處,挖取前、后醅料表面深度變化情況,進行挖取量評估,為研究醅料取料機器人快速取料方法提供依據。

1 圖像采集

地缸是固態發酵生產中常用的圓形廣口發酵容器,開口小,發酵時埋于地下,缸口與地面相平[16-17],并且發酵車間地缸圖像采集環境較為昏暗。選用Intel RealSense D455深度相機,安裝于六軸機械臂末端法蘭處,在相機旁安裝固定外加光源。設定彩色圖和深度圖采集像素為1 280×720 px,以相機能采集到缸口內全貌圖像為目標,機械臂控制相機移動至缸口中心正上方固定高度處,鏡頭與光源正對缸口平面,設置此位姿為地缸圖像采集位姿,采集挖取前地缸彩色圖和深度圖(圖1(a));待醅料滑動停止,機械臂控制相機移動至圖像采集位姿,采集挖取后地缸彩色圖和深度圖(圖1(b))。

圖1 挖取前后地缸及醅料俯視Fig.1 Top view of ground-pot and fermented grains before and after scooping

劃分地缸區域面元,結合深度圖重建挖取前、后缸口區域內點云,統一二者坐標系,彌補機械臂運行誤差,對比挖取前、后缸口內點云變化情況,實現醅料挖取量評估。

2 區域面元劃分

對地缸彩色圖進行預處理,檢測圖像中邊緣,幾何約束提取地缸口內邊緣輪廓,劃分地缸區域面元,為后續醅料挖取量評估奠定基礎。

2.1 地缸圖像邊緣檢測

邊緣檢測是對灰度圖信息急劇變化區域的檢測定位,采用加權平均法[18]將地缸彩色圖轉換為灰度圖。在地缸圖像采集過程中,由于光線以及地面水漬、散落醅料等干擾,會使地缸圖像中存在噪聲,在邊緣檢測中可能會被誤識別為邊緣信息。為了提高地缸圖像邊緣檢測的準確性,采用雙邊濾波對地缸灰度圖進行保邊降噪。

地缸灰度圖中包含邊緣信息的區域,灰度值會發生躍變,地缸口邊緣就是其中之一。Canny算法能夠減少噪聲干擾,檢測的地缸口邊緣更加真實,采用Canny算法[19]檢測濾波后地缸灰度圖中邊緣(圖2)。

圖2 地缸圖像Canny邊緣檢測Fig.2 Canny edge detection of ground-pot image

采用Sobel算子與地缸灰度圖進行卷積,獲得地缸灰度圖x和y方向灰度函數的近似梯度,求解地缸灰度圖各像素點的近似梯度幅值和方向。比較地缸灰度圖各像素點和其梯度方向上兩側像素點的梯度幅值,如果該點的梯度幅值最大,則保留其為邊緣像素點,否則不是邊緣,抑制該點,從而達到細化邊緣的目的。為減少噪聲,采集大量地缸圖像,經過試驗對比,設定高閾值為90、低閾值為30,與各邊緣像素點處的梯度幅值進行比較,對地缸灰度圖中的邊緣信息做進一步處理,確定真實邊緣像素點。

從圖2可以看出,地缸口外邊緣干擾較多,不易識別,并且檢測結果中存在噪聲干擾,而內邊緣輪廓清晰且干擾較少,易于識別提取。

2.2 地缸口內邊緣輪廓提取

地缸圖像邊緣檢測后進行輪廓點跟蹤的結果不僅包括地缸口內邊緣,還存在地面散落醅料、噪聲等干擾,需要將地缸口內邊緣輪廓從所有輪廓中提取出來。對輪廓進行橢圓擬合,結果為一個表征該輪廓外形特征的橢圓。地缸圖像采集位姿下,圖像中地缸口內邊緣應為圓形,但是由于光線等影響,地缸口內邊緣輪廓橢圓擬合的結果為近似擬合圓。在地缸圖像采集位姿下,采集大量地缸圖像并進行邊緣檢測,對比分析不同圖像中地缸口內邊緣輪廓特征與其他輪廓的區別,選定對其提取所需的約束條件。評估醅料挖取量時,完成挖取前、后地缸圖像邊緣檢測后,遍歷輪廓并進行橢圓擬合,構建幾何約束,設置各輪廓擬合橢圓長軸長度的低約束閾值和高約束閾值、長軸長度與短軸長度比值的約束閾值,以去除Canny邊緣檢測結果中噪聲、散落醅料等無用輪廓的干擾,從而提取地缸口內邊緣近似擬合圓。依次求取圖2中提取的各個輪廓的擬合橢圓,并進行幾何約束,將滿足約束閾值的擬合橢圓認為是地缸口內邊緣近似擬合圓(圖3)。

圖3 地缸口內邊緣輪廓近似擬合圓Fig.3 Approximate fitting circle of the inner edge contour of ground-pot rim

從圖3可以看出,通過Canny邊緣檢測和幾何約束可以很好地檢測并剔除其他輪廓,抑制噪聲,提取出的地缸口內邊緣與圖像中地缸口內邊緣真實位置基本重合,驗證了方法的有效性。

2.3 劃分地缸區域面元

地缸圖像采集位姿下,以地缸口中心為坐標原點,地缸實際區域平面坐標與地缸圖像坐標之間的變換關系可以由二者之間縮放尺度,地缸圖像旋轉角度,以及圖像分別在x軸、y軸上的平移量進行解釋。地缸圖像采集位姿下,相機坐標系原點位于地缸口中心正上方,因此,圖像分別在x軸、y軸上的平移量近似為0,地缸圖像旋轉角度近似為0,誤差為機械臂及相機自身誤差,二者可認為只存在縮放關系。地缸圖像坐標(x,y)的坐標系原點為像素坐標系中(u0,v0)點,即地缸圖像中心。地缸圖像坐標x、y分別與像素坐標u、v之間存在關系為x與u-u0的比值為f與fx之比、y與v-v0的比值為f與fy之比,f為相機的焦距,fx和fy分別為地缸圖像像素坐標系下u軸、v軸的歸一化焦距。地缸圖像坐標與像素坐標的尺寸之間為比例關系。

地缸圖像實際區域尺寸與圖像像素尺寸之間可以視為縮放比例關系。將地缸圖像實際區域以像素點劃分的各個小區域定義為面元,根據縮放比例關系,求解各面元的長度與寬度,計算各面元面積,作為醅料體素的底面積。

3 挖取前后缸口內點云坐標系統一

挖取前、后地缸圖像采集位姿雖然設置完全一樣,但是機械臂移動存在誤差,導致挖取后相機采集地缸圖像時的位姿與挖取前相比會出現一定誤差,使得挖取前、后相機坐標系不完全統一,影響后續醅料挖取量評估效果,降低評估精度。因此,在進行挖取量評估前,還需要進行挖取前、后缸口內點云重建,將二者點云坐標系統一,以彌補機械臂運動精度問題。

3.1 缸口內點云重建

在地缸深度圖像采集過程中,由于光線強度影響、相機自身限制、醅料及地缸材質特點等原因可能導致采集的地缸深度圖中出現空洞,表現為其所在像素點像素值為0,這樣會對后續醅料挖取量評估造成不利影響。地缸深度圖空洞的鄰域像素深度信息在一定程度上可以反映空洞處深度信息,根據缸口內空洞的鄰域信息,以其中深度值最大值對缸口內空洞進行填充,以彌補地缸深度圖缸口內部分深度信息缺失問題。

分別提取挖取前、后地缸圖像中地缸口內邊緣近似擬合圓制作掩膜,對地缸彩色圖和深度圖進行圖像分割,提取缸口內圖像。遍歷提取缸口內深度圖中深度數據,結合各相應像素坐標,根據相機內參,計算各點在相機坐標系下對應點云坐標,并將深度圖與彩色圖配準,進行點云重建(圖4)。如圖4所示即為一次醅料挖取量評估試驗的挖取前、后缸口內點云重建結果,可以排除掉缸口外干擾因素對評估結果的影響。

圖4 挖取前后缸口內點云重建Fig.4 Reconstruction of point cloud inside the inner edge before and after scooping

3.2 挖取前后點云配準

地缸出醅過程中,缸口內數據會發生變化。為保證特征點提取的充分性和準確性,分割地缸彩色圖和深度圖,采用挖取前、后缸口及缸口外圖像進行配準,獲取挖取前、后缸口及缸口外圖像上一一對應的特征點,求解2組圖像之間的運動關系,即旋轉矩陣和平移矢量。采用不同缸口及缸口外圖像中滿足可再現性和唯一性的特征點進行匹配,可以有效抑制噪聲。尺度不變特征變換算法[20-21]可以提取出不受位姿變換、拍攝角度和亮度變化而發生改變的特征點,對于光照影響和干擾場景具有一定的抗干擾性。在發酵車間采集地缸圖像時,往往會受到光線強度和空氣中粉塵的影響,采用尺度不變特征變換算法分別提取挖取前、后缸口及缸口外圖像的特征點。

將缸口及缸口外原始圖像作為基層,降采樣并進行不同尺度的高斯模糊,以初始尺度1.6構建缸口及缸口外圖像尺度空間。再采用差分高斯,對缸口及缸口外圖像尺度空間極值檢測并篩選,獲取缸口及缸口外圖像特征點。缸口內側可能存在誤提取特征點,缸口及缸口外圖像中缸口內深度值均為零,根據提取特征點的二維坐標信息,結合分割后缸口及缸口外深度圖,檢測各特征點對應深度值,如果其深度值為0,則認為該點為誤識別特征點,并將其剔除。

采用快速近似最近鄰匹配算法[22-23]對挖取前、后缸口及缸口外圖像進行特征匹配,多次試驗后,確定以4倍最小匹配距離篩選匹配對。由于地面環境相近,非匹配的特征點可能描述子相似,導致誤匹配對的出現(圖5(a)),圖中綠色標注為一組正常匹配對、紅線標注為誤匹配對。由于所針對的匹配場景是由機械臂移動誤差引起的,正常相匹配的2個特征點在各自圖中的位置信息相近,因此,通過構建約束來對匹配對進行判斷。對各匹配對中挖取前、后圖像中相應特征點二維坐標分別在x軸與y軸上的間距進行約束,剔除誤匹配對(圖5(b))。

圖5 剔除誤匹配對試驗Fig.5 Experiment of eliminating mismatches

基于篩選后缸口及缸口外圖像特征點匹配對,采用隨機抽樣一致性算法[24]求解挖取前、后地缸圖像間的運動關系,獲取點云坐標系變換的旋轉矩陣與平移矢量。根據旋轉矩陣與平移矢量,將挖取前缸口內點云數據轉換至挖取后點云坐標系下,實現挖取前、后缸口內點云數據坐標系的統一。

4 醅料挖取量評估

常用的切片法、凸包法等測量方法需要準確地對物體進行三維重建,獲取物體外圍輪廓,而醅料填充于地缸中,其挖取區域極不規則,且三維外形難以準確獲取,因此,這些方法難以實現地缸醅料的挖取量評估。德洛內三角網法常用于平面堆積物料測量,對于地缸中醅料挖取區域,難以找到平面實現挖取區域中挖取前、后部分的分割。設計像素面元體素法評估地缸醅料挖取量,采用高等數學積分求和計算原理,以缸口內醅料點云中各點分布,將醅料點云劃分為很多細小的小長方體醅料體素,對比挖取前、后缸口內醅料點云變化情況,求解各醅料體素的高,完成醅料體素構建。

采集的挖取前、后地缸圖像為缸中醅料俯視圖,各像素點通道中包含的深度信息表示該像素點代表的實際位置到相機鏡頭平面的距離。通過上述點云坐標系統一結果,可以獲取同一坐標系下,挖取前、后缸口內各面元的深度信息。提取挖取前缸口內各面元深度值,通過相機內參求解挖取前點云坐標系下各面元對應z坐標值;再根據點云坐標系變換,轉換為挖取后點云坐標系下對應z坐標值;然后求解挖取后點云坐標系中,挖取前缸口內各面元對應深度值。根據3.2節點云轉換結果,求解挖取后缸口內各相應面元處z坐標,計算缸口內同一面元處挖取后相應深度值。在挖取后點云坐標系下,計算同一面元處挖取前、后深度值差值,即相應面元處醅料取料深度,作為醅料體素的高度。若某面元處醅料取料深度為0,代表挖取量為0。

5 結果與分析

5.1 地缸口內邊緣提取幾何約束閾值

采用像素面元體素法對醅料挖取量進行評估時,劃分的小長方體醅料數量越多,即醅料體素越多,評估結果越準確。圖像中醅料區域所占比重決定了醅料體素的數量,影響著面元的大小,而圖像中醅料區域所占比重是由圖像采集時相機高度決定的。以能采集到缸口內全貌圖像為目標,設置地缸圖像采集位姿為豎直于缸口中心正上方685 mm處,鏡頭正對缸口平面。

地缸口內邊緣輪廓的準確提取直接影響缸口內圖像提取的準確性,而地缸口內邊緣輪廓準確提取由幾何約束閾值設置的準確性所決定。地缸口內邊緣近似擬合圓直徑的高、低約束閾值,與相機鏡頭平面和地缸口平面的距離有關。因此,實地采集多幅地缸彩色圖像,統計各圖像中地缸口內邊緣近似擬合圓直徑。

從圖2可知,地缸口外邊緣與地面污漬相連,且地缸出醅過程中取料裝置向運料小車移動時可能存在撒料,因此識別檢測干擾較多。而地缸口內邊緣檢測干擾少,從圖6可知其近似擬合圓直徑統計結果波動較為平緩,因此選擇地缸口內邊緣進行識別提取,設定地缸口內邊緣近似擬合圓直徑的高約束閾值為650 px、低約束閾值為635 px。

圖6 地缸口內邊緣近似擬合圓直徑Fig.6 Fitting circle diameter of the inner edge of ground-pot rim

地缸口內邊緣近似擬合圓的長軸長度與短軸長度比值的約束閾值,與地缸實際形狀有關。

地缸口內邊緣為圓形,在地缸圖像中地缸口內邊緣輪廓橢圓擬合結果為其近似擬合圓,其長短軸比應該接近1,可能有諸如空氣中粉塵、光線等因素對地缸圖像成像情況產生影響,比值會發生變化,設定地缸口內邊緣近似擬合圓長短軸比約束閾值為1.03(圖7)。

圖7 地缸口內邊緣近似擬合圓長短軸比Fig.7 The ratio of the long and short axes of fitting circle at the inner edge of ground-pot rim

5.2 挖取前后缸口內點云配準試驗

由于機械臂運動精度問題,可能導致挖取前、后地缸圖像采集位姿發生偏移,故而采用點云配準的方法來消除圖像采集位姿偏移產生的影響。因此,點云配準的精度會影響后續醅料挖取量評估效果。為了定量評價挖取前后缸口內點云配準結果,使用均方根誤差[25]作為評價指標。以配準后挖取前、后點云對應點之間的歐氏距離為對象,其歐氏距離的真值為0,求解均方根誤差。

采集多組挖取前、后地缸彩色圖和深度圖,對挖取前、后缸口內點云進行多次配準試驗,計算各次配準試驗結果的均方根誤差(圖8)。

圖8 點云配準評價試驗Fig.8 Evaluation experiment of point cloud registration

從圖8可以看出,均方根誤差基本維持在0.16 cm附近,最大值為0.21 cm,挖取前后點云配準結果較為精準。

5.3 醅料挖取量評估試驗

為了驗證地缸醅料挖取量評估方法的有效性,試驗環境為CPU Intel Core i5-5200U,基于Visual Studio 2019、OpenCV 4.4.0和PCL 1.11.1對地缸發酵生產中的多缸醅料進行大量地缸出醅試驗,以兩缸醅料為例。

醅料具有一定的粘性和持水能力,地缸中填充原料并發酵一段時間后,其中上層醅料水分比下層醅料較小,并且醅料為松軟易滑落的散料,相同質量的醅料擠壓后體積會顯著變小。從地缸中挖取出醅料并傾倒至容器中,傾倒中,醅料會變蓬松,相較于地缸中的狀態,體積會變大,不可通過測量容器內挖取出的醅料體積作為實際標準量。

1號缸為已經發酵一段時間的地缸醅料,計算各次挖取質量測量值與挖取區域體積測算值的比值(表1)。由表1可知,隨著挖取次數的增加,挖取質量測量值與采用像素面元體素法測算的醅料挖取區域體積測算值的比值逐漸增大。地缸出醅過程中,隨著挖取次數的增加,挖取到的醅料處在地缸中的深度逐漸增加,而地缸醅料在填充與發酵過程中上層醅料會對下層醅料產生擠壓,且下層醅料濕度高于上層醅料,因此下層醅料密度高于上層醅料,并且挖取過程中取料工具也會對周圍醅料密度產生影響。表1中比值變化趨勢符合地缸發酵醅料特點,醅料挖取區域體積測算值雖然存在誤差,但比值相近區間內,醅料挖取區域體積測算值可以反映挖取質量測量值(圖9)。

2號缸為發酵時間較短的地缸醅料,計算各次挖取質量測量值與挖取區域體積測算值的比值(表2)。由表2和圖10同樣佐證了表1和圖9得出的結論,因為表2對象為發酵時間較短的地缸醅料,地缸中上層醅料對下層醅料擠壓時間與缸中水分向下遷移時間均比表1對象較短,下層醅料濕度與上層醅料相差不大,因此,地缸中醅料密度變化差異較小。同樣,在比值相近區間內,像素面元體素法測算的醅料挖取區域體積測算值可以反映挖取質量測量值(圖10)。因此,像素面元體素法測算結果可以有效評估醅料挖取量。

表2 2號地缸醅料挖取量評估試驗Table 2 Experiment for evaluating the scooping amount of fermented grains in ground-pot No.2

6 結 論

1)設計像素面元體素法評估地缸醅料挖取量,劃分地缸區域面元,統一缸口內點云坐標系,相應面元處挖取前、后地缸中醅料表面深度變化,構建醅料體素,實現了非接觸式醅料挖取量評估。

2)醅料挖取質量測量值與像素面元體素法測算的挖取區域體積測算值的比值變化趨勢符合地缸醅料特點;比值相近區間內,醅料挖取區域體積測算值可以反映挖取質量測量值。像素面元體素法測算結果可以有效評估醅料挖取量。

3)在后續的研究中,將像素面元體素法應用于基于挖取量評估的醅料取料機器人快速取料方法中,對各取料點挖取區域的挖取量進行評估,選擇最優取料點,實現醅料取料機器人智能化自動地缸出醅。