密集場景下的離心管定位傾斜校正方法研究

黃文軒， 羅 恒， 倪啟東

（蘇州科技大學電子與信息工程學院，江蘇 蘇州 215009）

隨著社會的發展和科技的進步，推動戰略前沿領域創新、鼓勵跨領域跨行業的協同創新是自“十三五”規劃以來我國經濟發展的持久動力。 加強前沿技術多路徑的探索，不同領域之間的交叉融合更是國家未來產業的發展趨勢。 “十四五”規劃中將務實推進疫情防控和公共衛生等領域的科技合作，推動生物技術和信息技術融合創新作為構筑產業體系的新支柱。 人工智能作為信息科學的分支，在近幾年獲得了長足的發展，其應用場景也覆蓋智能交通、智慧物流、智慧醫療等領域，加快了數字產業化，促進了共享經濟、平臺經濟健康發展。 由于受到疫情沖擊，世界經濟陷入低迷期，我國投入大量人力物力進行防控取得了重大戰略成果，在這個特殊的時期也體現出了社會基礎設施的重要性。 醫療器械設備作為衛生領域服務型基礎設施，應向高端化智能化方向優化，目前我國醫療器械設備更新換代比較慢且智能化水平不高，將人工智能與醫療行業融合對提升醫療服務水平有著重大作用。

EP 管作為生化實驗室的必需品，廣泛應用于實驗室的離心、聚合酶鏈式反應（Polymerase Chain Reaction，PCR）實驗以及樣本存儲和樣本回收操作。 由于每個試管中存放的液體不同，需要使用標簽對每個試管進行區分。 在進行標簽信息收集時，需要人工干預保證信息輸入的準確性，實驗人員作為信息輸入端沒有得到輸入的反饋，很有可能會造成交叉感染等重大醫療事故。 當前對于試管標簽信息的讀入方法有射頻識別（Radio Frequency Identification，RFID[1]）以及利用不同顏色反射可見光波長不同的條形碼識別技術。 其中RFID 射頻技術由天線發出特定射頻信號獲得電子標簽的編碼信息， 該方法可對標簽任意角度進行讀取，讀取精確度高，但成本非常高昂。 條形碼識別技術應用范圍十分廣泛，檢測時多采用手持式讀碼器，可對條碼角度進行人工調整，雖然識別精確率高但不適用于多個目標的密集放置情況。 在疫情防控當前，現有的醫護人員更是無法滿足大量的檢測需求，迫切需要高效、低成本可靠的智能化醫療設施。 將計算機視覺技術應用于該領域成本較低并且可以保證較高的正確率。 使用計算機視覺識別標簽主要分為目標定位、目標傾斜校正以及內容識別。 在內容識別方面，光學字符識別（Optical Character Recognition，OCR）技術已經十分成熟，文中主要討論對密集小目標的定位傾斜校正。

1 國內外研究現狀

近些年來深度學習的發展推動了計算機視覺在目標檢測領域的進步，目前該領域算法主要分為兩種方式：第一種為單階段模型檢測如YOLO[2-4]、SSD[5]等，該方式實現端到端的目標檢測，運算參數少，檢測速度快；另一種方式為兩階段模型檢測如RCNN[6]、SPPNET[7]等，該方法先輸出圖像中可能存在目標的候選框，之后再對每一個候選框進行逐一目標甄別，在準確性上具有優勢但計算成本以及內存要求較大。 在密集場景中，由于兩階段的目標檢測算法通常在神經網絡的末端對結果進行預測[8]，過深的神經網絡層會導致空間和細節特征信息的丟失，對密集小目標的檢測十分不利。 單階段的目標檢測模型如YOLOv3，在網絡的設計中既使用了殘差塊[9]保證深層網絡不會因為太深而退化，同時YOLOv3 特征金字塔思想[10]的網絡結構很好地避免了密集目標下采樣時特征同化[11]導致漏檢的狀況，能夠很好地完成對密集試管的定位。

傾斜校正作為標簽識別的關鍵步驟，通常解決方法主要有基于Radon 變換的方法，如郭文誠團隊提出了一種改進Radon 變換法的傾斜圖像校正方法[12]，該方法引入模板匹配法對復雜環境中的圖像進行校正，經過實驗其具有很強的自適應性。 基于線性回歸的方法，曾凡鋒等人提出了一種在復雜背景下文字圖像校正方法[13]，該方法使用最小二乘法自適應的提取出文本特征子區，再擬合文字行直線獲得傾角，但對于垂直線的擬合結果誤差較大。 基于Hough 變換的方法，相較于Radon 方法，該方法應用于二值圖中，僅處理前景像素和背景像素，能保證較快的處理速度，適用于前后景顏色差異較大的情況，馮雷等人基于Hough 變換思想提出一種基于梯度方向的文檔圖像矯正方法[14]，該方法利用圖像的梯度方向分段累積直方圖獲得傾斜角度，對圖像噪聲也有很強的抗干擾能力；王蕾團隊將Hough 變換應用在織物紋理方向角度檢測中[15]，對織物圖像進行傅里葉變換后的功率圖譜進行Hough 變換確定織物紋理方向，顯示出高精度、高自動化的優點。 此外，傾斜校正的應用場景十分廣泛。王越等人提出了基于區域劃分和霍夫變換的車牌傾斜校正方法[16]，先將定位到的車牌根據閾值劃分為等分域，再對圖像進行Hough 變換，最后對水平傾斜進行雙線性插值校正，該方法減少了Hough 變換的區域，提升了矯正的速度。 關博熠團隊提出了針對畸變Data Matrix 碼圖像的傾斜校正算法[17]，針對Data Matrix 的特性使用LoG 算子對畸變Data Matrix 進行特征提取，再使用向量叉乘的方法計算Data Matrix 傾斜角度，達到經過一次旋轉實現校正，節省了圖像恢復過程中的時間和工作量。 鄧翔宇團隊提出了針對紙質簡譜圖像的傾斜校正方法[18]，該方法提出了PCNN（脈沖耦合神經網絡）和深度神經網絡結合的自動分割算法，選取最優區域提取基線進行傾斜校正，在復雜光照條件下體現出很好的魯棒性和高效率。

目前大多數傾斜校正方法應用于單個目標或一張圖像中具有相同傾斜角的情況，而在密集多目標場景中，多目標多傾斜角度的傾斜校正面臨著目標物體所占像素少、定位和標簽特征提取困難等問題。 文中提出一種密集試管場景下的標簽定位傾斜校正方法，先使用填充算法對試管架進行粗定位，并在定位出的試管架圖像中使用YOLOv3 對試管小目標進行逐個定位，最后對單個目標采用濾波[19-21]去噪、動態腐蝕[22]提取標簽中的基線特征，并基于概率霍夫變換（Progressive Probabilistic Hough Transform，PPHT）[23]結合數字形態學腐蝕獲取基線端點，達到經過一次旋轉還原的效果。

2 試管架粗定位

由于試管架中的試管經常處于密集放置的情況，因此在得到所有檢測目標的視野下，單獨的目標試管會發生檢測特征不明顯和特征上下文混淆的情況，文中針對這種問題首先對試管架進行粗定位，排除采集圖像中除目標試管架之外的大部分混淆環境因素更有利于準確的識別試管。 文中首先針對原圖像進行一系列預處理得到將試管架與環境分離的二值圖，再通過對試管架最小外接矩形的定位分離出試管架。 該過程中由于光照和攝像機拍攝或試管架放置傾斜等因素的影響，需要先對試管架的位置亮度和對比度進行調整，定義αb作為亮度的縮放因子。 亮度變換后的圖像dst（x，y）b由下式計算

定義αc和γc作為對比度縮放因子，使用下式得出處理后的圖像buf（x，y）

根據生物安全實驗室建筑技術規范2020 年版，標準實驗室具有無強烈反光的密閉潔凈燈，在該環境下并通過大量實驗（αb=0.94，αc=87，γb=-11 008）可得到理想的便于處理的圖像。 對該圖像進行灰度和閾值二值化得到binary（x，y）。并使用5×5 大小的結構元素進行數字形態學腐蝕，最后分別設置種子點（0，0），（0，h-1），（w-1，0），（w-1，h-1），依次對圖像進行滿水填充。 過程圖如圖1 所示。

圖1 試管架粗定位過程圖

在得出的填充圖中將輪廓面積最大的點集合的最大外接矩形視為試管架所處位置，截取原圖像對應區域最終定位試管架。

3 試管編號校正和識別算法

由于試管架中的試管經常處于密集放置的情況，直接對試管架中的所有試管校正十分困難，故文中采取針對每一個定位出的試管單獨進行校正的方法。 首先對試管架圖像進行目標檢測定位試管，對每一個定位出的試管進行充分預處理包括灰度化、去噪、動態腐蝕以及邊緣檢測操作，使用改進的Hough 變換算法對單個試管圖像的圓和基線進行檢測，通過基線特征獲取傾斜校正所要旋轉的角度，最后根據向量叉乘公式計算出傾斜角度并進行校正，總流程圖如圖2 所示。

圖2 算法總流程圖

3.1 試管定位

圖3 為YOLOv3 對密集小目標的特征提取效果圖，圖3（a）為僅通過神經網絡層的特征圖，圖3（b）為將圖3（a）融合淺層網絡特征信息后提取的特征圖。

圖3 YOLOv3 融合深層網絡與淺層網絡的特征

從圖3 可以看出具有特征金字塔模塊的YOLOv3 能夠在網絡層數較深的情況下依舊可以保持精確的識別率。

3.2 圖像預處理

3.2.1 灰度化

對試管圖片進行圖像預處理，使用加權平均值法對圖片進行灰度化處理。 灰度化去除多余信息，在之后進行Hough 變換等操作時可以大大減少計算量。 若處理后圖像為f（x，y），其計算公式如下

3.2.2 濾波去噪

在獲取試管的標簽信息時，噪聲會降低圖像的質量，對圖像檢測造成困難，中值濾波器作為一種非線性的信號處理手段，可以消除孤立的噪聲點，減少隨機噪聲并保留圖像邊緣信息。 若取中值濾波滑動窗口大小為m（奇數），計算公式如下

在實際環境中，試管帽外的任何信息都視為妨礙識別編號的信息，故應將試管帽所在區域圓進行定位。 文中使用Hough 梯度法定位區域圓。

3.2.3 圖像腐蝕去除毛刺

腐蝕操作是圖像形態學中的概念，對減少圖像中的毛刺有著很大作用。 針對灰度圖的腐蝕運算的函數表達為

該式表示將使用結構元素G對圖像f進行腐蝕運算的結果作為圖像位置x 的函數，x 是圖像中的坐標向量，s 是平面結構元素G中的坐標向量。從式中可以看出，在圖像與結構元素的相交區域，將灰度最小值作為中心元素的值，對圖像明亮的區域腐蝕可以有效去除白噪聲。

3.2.4 邊緣檢測

對去噪后的圖像進行邊緣檢測，由于邊緣點是圖中灰度值變化最劇烈的點，映射到三維坐標軸中即求梯度最大的點，所以可以使用一階微分算子進行邊緣檢測。 文中使用sobel 算子對每一個像素點進行卷積獲得橫向梯度和縱向梯度

式（6）中設sobel 算子橫向提取梯度為Gx，縱向提取梯度為Gy；式（7）使用反正切函數計算出梯度的方向。 對圖像進行非極大值抑制后，可采用雙閾值抑制進行邊緣點的連接，最終獲得邊緣圖像。

3.3 基于Hough 變換的基線提取算法

基于累計概率的Hough 變換（PPHT）可以準確地提取出圖像中的直線，相較于經典的Hough 變換不需要對每一個點進行計算。 其基本步驟為：

Step1隨機抽取圖像中一特征點，若該點確定為邊緣點則保存該點繼續抽取下一個邊緣點，直至所有邊緣點都抽取完畢。

Step2對之前保存的邊緣點進行Hough 變換，使用二維數組累加器進行累加并計算。

Step3在滿足最小投票數的線段中找出屬于規定線段長度的線段，并將屬于該線段的所有點刪除。 重復以上三步為PPHT 的基本思路。 最終可得到線段的端點坐標。

文中基于PPHT 的基礎設計直線提取算法，具體算法流程如下：

設對灰度圖邊緣檢測的閾值為（25n，150），PPHT 中最大線段間隔gap且初始值為3，設數組sizes 為[（0，0），（2，1），（2，2），（3，1），（3，2）]，下標為i，數字形態學腐蝕結構元素大小為size[i][0]，迭代次數為I初始值為size[i][1]。 算法具體流程如圖4 所示。

圖4 基線提取算法流程圖

文中在標簽上添加的基線有助于一次性獲取傾斜角，可通過檢測基線經過一次旋轉獲得標簽信息。 首先，通過Hough 變換獲取基線的線性方程，直線在笛卡爾坐標系和極坐標系中的表示為

式（8）中k為直線的斜率，b為直線的截距；式（9）中r為該直線到原點的距離，θ 代表原點向直線的垂線與x軸的夾角。

最后通過向量的叉乘公式判斷基線相對于中心點的位置。 如圖5 所示，當基線向量處于中心點的上方時，旋轉角度需要增加180°，文中將中心點與交點構成的向量與基線向量叉乘

圖5 直線在中心點位置圖

由公式（11）可知，在兩個向量的叉乘結果中t為負時說明中心點在基線的上方，反之中心點在基線的下方。

3.4 清除基線

設置基線有助于準確找到標簽傾斜角度，但在之后進一步識別時會起到一定的干擾作用，故在得出傾角后要對基線進行清除。 為避免識別出基線不完整的情況將基線在圖中的延長線全部涂白。 由已識別出的基線端點可以得出基線延長線與試管圖像的兩個交點坐標， 即dx和dy已知， 故使用以下式（12）和式（13）對基線延長線與圖像交點進行計算

假設與圖像兩交點坐標為C（Xedge1，Yedge1），D（Xedge2，Yedge2），先通過dx和dy的大小確定延長線L為水平線或垂直線，判斷流程圖如圖6 所示。

圖6 判斷L 是否為特殊線段流程圖

圖6 中當延長線L垂直于X軸時，即Xedge1=X1，Yedge1=0；Xedge2=X2，Yedge2=h-1；當延長線L垂直于Y軸時，即Xedge1=0，Yedge1=Y1；Xedge2=w-1，Yedge2=Y2。 若延長線L不屬于特殊直線，令

由式（14）可推出

由式（16）可進行分段函數計算D點坐標如下

同理可由式（15）進行分段函數計算C點坐標。

4 實驗結果與分析

4.1 實驗準備

文中使用1080P 廣角變焦攝像頭對試管架進行樣本采集， 在室內光線明亮的環境中拍攝80 張裝有不同數量試管的試管架照片作為樣本，使用labelimg 工具進行人工標注。 對于所有試管信息分為三個類，分別為close（試管蓋閉合）、open（試管蓋開啟）、cover（試管蓋遮蓋），最終得到6 350 條試管信息作為訓練集和測試集。

4.2 實驗結果

圖7 為在正常視野和進行粗定位之后的密集試管檢測對比圖，由圖7（a）可見在不進行粗定位的情況下，尤其在試管架邊緣部分試管檢測很容易出現漏檢、誤檢等現象，而在圖7（b）中試管域粗定位之后該現象有了明顯改善。

圖7 粗定位方法定位密集試管圖

圖8 為經過傳統ACE 對比度增強算法和文中動態腐蝕算法對比圖。圖8（a）為原圖，圖8（b）為不經腐蝕圖，圖8（c）為ACE 算法圖，圖8（d）為動態腐蝕圖。從圖8 中可以看出，ACE 算法因為需要手動設置半徑可能會出現反效果。

圖8 不同對比度增強算法對比圖

文將使用傳統的圖像處理方法對定位出的試管傾斜校正與文中提出的傾斜校正方法做對比，由圖9 可以看出，文中的方法在保證標簽信息清晰的情況下更能捕捉到真正基線的位置從而精確的得出旋轉角度。

圖9 傳統方法與文中方法對比

將該方法應用在密集試管放置的試管架中，并進行最終的試管標簽驗證如圖10 所示。 試管上方為試管所在矩陣的坐標，下方為經過傾斜校正后識別出的標簽信息。

圖10 通過文中方法經定位傾斜校正后結果圖

4.3 評估標準

其中，TP為真正例即深度網絡預測出的目標為真目標的個數，FP為假正例即預測出的目標不是真目標的個數。TP和FP都為試管帽屬于閉合狀態時的個數。 經過測試，該方法在試管數據集中的準確率為98.8%，見表1。

表1 試管定位傾斜校正準確率

5 結語

針對EP 試管在試管架中的密集放置，人工提取標簽易造成失誤的情況，基于計算機視覺提出了一種在密集目標情境下的試管定位傾斜校正方法，該方法主要用于識別標簽前的傾斜校正步驟。 文中在該步驟上使用Hough 變換結合動態腐蝕的方法有效提取圖形基線并同時增強圖像中的有效信息，使得標簽信息能夠精確校正并有利于之后的識別過程。 實驗結果表明，該算法對閉蓋試管傾斜校正準確率達到98.8%，可以用在真實試管識別的環境中。