基于改進Faster RCNN的微操作空間目標檢測算法

陳國良，龐裕雙

（武漢理工大學機電工程學院，湖北 武漢 430070）

0 引 言

微操作是在微小空間范圍內對微尺度元件或者物體進行操作，微操作空間下的目標對象尺度很小，通常是亞毫米（mm）級或者微米（μm）級。為了完成微操作工作任務，系統的視覺處理裝置需要獲取目標的類別和位置。而在微操作空間下，待檢測目標存在著尺度變化的情況。傳統的目標檢測方法由于區域選擇策略沒有針對性［1］、手工設計的特征魯棒性較差［2］等問題，在微操作空間下的檢測效果并不太理想。

近年來，卷積神經網絡（convolutional neural network，CNN）因為其優異的特征提取能力被應用到圖像識別的任務之中，Faster RCNN［3］、YOLO［4］、SSD［5］等基于深度學習的目標檢測算法也被提出，在眾多領域得到使用并取得突破。研究人員也將深度學習的相關方法遷移到微操作空間下的目標檢測任務之中。彭剛等人［6］提出了一種將深度殘差網絡和在線困難樣本挖掘策略相結合的微操作系統檢測方法，但這種方法對目標尺度較小時的檢測效果較差。張彤彤等人［7］則將知識蒸餾融合到目標檢測網絡模型之中，提高了檢測的速率，但同時檢測的準確率也降低了。王莉等人［8］提出一種結合跨越式特征融合和線性離散先驗框的目標檢測方法，但這種網絡模型的可遷移性較差。黃開啟等人［9］通過引入聚類算法和優化特征提取網絡，降低了小目標的漏檢率，但當目標圖像存在尺度變化時檢測效果較差。

基于以上情況，本文對Faster RCNN目標檢測算法進行改進，提出了一種基于改進Faster RCNN的微操作空間目標檢測算法。首先，使用ResNet50代替原來的VGG16作為骨干網絡；然后，引入了遞歸特征金字塔網絡（recursive feature pyramid network，RFPN），對不同深度的圖像特征進行融合；接著，優化區域建議網絡（region proposal network，RPN）的采樣策略，改善原有算法在錨框匹配時對小尺度目標樣本提取質量較差的情況；再優化模型的損失函數，進一步提高檢測精度，并加快網絡模型的收斂速率。最后通過實驗驗證了改進算法的可行性和有效性。

1 基于改進Faster RCNN的微目標檢測

1.1 ResNet50 +RFPN特征提取網絡設計

特征金字塔網絡（feature pyramid network，FPN）主要用來處理目標檢測中的多尺度問題，其通過改進網絡的連接結構，改善多尺度目標檢測的性能［10］。但FPN存在只對相鄰特征進行融合，忽略了底層和頂層的特征融合的不足。RFPN在普通FPN的基礎上，增加了一個反饋結構，通過這種反饋連接能夠使得網絡的誤差信息能夠更加充分地調整主干網絡的參數，提高檢測的性能［11］。

改進的特征提取網絡結構如圖1 所示。特征的融合分為2個階段，第1階段的融合跟FPN相同，設bi（i＝2，3，4，5）為ResNet50的第i級操作，Bi為ResNet50的第i級輸出，fi為FPN的第i級操作，Fi為FPN 的第i級輸出。輸入和輸出的關系可表示為

圖1 ResNet50 ＋RFPN特征提取網絡結構

第2階段的融合通過反饋連接，將第1 階段的輸出Fi與第2階段的Bi聯系起來。首先，將第1階段的輸出Fi調整其通道數為Bi大小，并與Bi相加得到B′i；然后，繼續第1階段融合的操作；最后，可以得到RFPN的最終輸出F′5，F′4，F′3，F′2。設Ri為將Fi和B′i結合的操作，輸入和輸出的關系可表示為

式中 當i＝2時，有Bi＝B2，為b2（R（F2，B2））。

1.2 基于自適應閾值的RPN采樣策略

Faster RCNN 采用RPN 進行感興趣區域（region of interest，ROI）的提取，通過預先設定錨框的尺寸、長寬比例和正負樣本交并比（intersection over union，IOU）［12］閾值等參數，在原圖像上生成眾多錨框，并使其與真實樣本的實際邊界框進行匹配，得到錨框與真實邊界框的IOU，再根據閾值進行采樣，選擇出一定數量的正樣本和負樣本用于網絡的訓練。在微操作空間中，隨著視野范圍的調整，會存在許多小尺度目標。而在提取小尺寸目標的樣本時，其對應的正樣本錨框的IOU低于其他目標，且正負樣本的IOU接近，導致提取出的訓練樣本質量不高，造成各類樣本不均衡的現象。

針對原有的采樣策略不適用于微操作空間下的目標的情況，將原來對所有目標都使用統一的正負樣本閾值改為使用自適應閥值。當某個圖像目標的實際邊界框與錨框的IOU普遍低時，則認為這個目標為匹配困難目標，對目標的最大IOU值進行計算，得到自適應的正樣本閾值，從而提高正樣本的比重，并增大正負樣本之間的距離，達到困難樣本挖掘的效果。具體步驟如下：

1）輸入目標圖像，設定好錨框的尺寸、步長及長寬比，在目標圖像上獲得所有錨框；

2）計算所有錨框與真實目標邊界框的IOU；

3）將與真實目標邊界框匹配得到最大IOU值的錨框列為候選正樣本，并利用該錨框計算標準IOU；

4）將IOU 大于標準IOU 的錨框列為候選正樣本，將IOU大小是標準IOU的0.7～1倍的錨框列為忽略樣本；

5）在步驟（4）的基礎上，在剩余的錨框中，將IOU值大于0.7的錨框列為候選正樣本，IOU值小于0.3的列為候選負樣本，其他的列為忽略樣本；

6）得到候選正負樣本后，再從中按比例選取最終用于訓練RPN參數的正負樣本。

標準IOU的計算表達式如下

式中 IOUmax為錨框與真實邊界框匹配得到的最大值，IOUstandard為標準IOU，Relax 為標準IOU 的系數，IOUp為預先設定的正樣本閾值。

圖2為IOUp為0.7時RPN采樣策略和改進RPN采樣策略的IOUstandard對比，如圖所示，改進的RPN 采樣策略為低IOU小尺度目標提供了自適應的寬松閾值，增加了匹配困難的目標樣本選擇為正樣本的概率。

圖2 RPN與改進RPN采樣的標準IOU系數對比

1.3 基于雙損失函數的回歸與分類優化

不同于Faster RCNN在RPN和檢測網絡部分訓練時均使用同樣的回歸損失函數，改進算法將采用不同的損失函數分別作用于RPN和檢測網絡，以此來加快網絡模型收斂的速度，提高檢測精度。RPN的損失函數為

式中Lcls為分類損失函數，Lreg為回邊框歸損失函數，Ncls為用于訓練分類網絡的樣本數，Nreg為用于訓練回歸網絡的樣本數，pi為第i個候選區域目標的預測概率，為第i個建議候選區域的判斷值（當樣本是正樣本時，＝1；而當樣本是負樣本時＝0），ti為第i個預測邊框的坐標，為第i個真實邊框的坐標，λ為平衡因子。

Smooth函數是在假設4個邊框點相互獨立的前提下計算回歸損失，而實際這4 個邊框點之間并不是獨立無聯系的，這就導致最終的回歸并不準確。在檢測網絡使用CIOU Loss［13］損失函數，其表達式為

式（9）中，α為權重參數，p為歐氏距離，b為預測邊界框框的中心，bgt為真實邊界框框的中心，d為預測邊界框和真實邊界框最小包圍的對角線長度，v用于衡量長寬比相似性。式（11）中，w′和l′分別為真實邊界框的寬度和長度，wgt和lgt為分別為預測邊界框的寬度和長度。

LCIOU的優點是能夠對中心點距離、檢測框的面積和長寬比3個方面進行調整，加快網絡模型的收斂，提高網絡模型的檢測準確率。

2 實驗結果與分析

2.1 網絡訓練

本文采用的實驗對象為亞毫米級的微電阻，微電容和微發光二極管，如圖3所示，在顯微視覺裝置下獲取大尺度圖像，中尺度圖像和小尺度圖像。

圖3 實驗對象

為了防止由于數據集較小帶來的過擬合問題，本文通過旋轉、縮放、顏色變換、加噪等方法對樣本進行擴充最終得到1 500幅目標圖像樣本，之后按照8∶1∶1的比例隨機劃分訓練集、驗證集和測試集。全部模型在TensorFlow2.2 框架下編程實現，模型訓練在NVIDIA Geforce GTX 1060（顯存5GB）GPU、CUDA10.1和cuDNN 7.6的實驗環境下完成，操作系統為Windows10。

網絡訓練過程中的損失函數值變化如圖4 所示。其中，loss為訓練集損失值，val_loss為驗證損失值。在訓練開始時，loss 和val_loss 的值都比較大，隨著迭代的增加，loss和val_loss的值都開始下降并趨于平緩。

圖4 訓練過程中的損失函數變化曲線

2.2 目標檢測對比實驗

精確率（Precision）反映真正例與全部預測正例之間的比例。召回率（Recall）反映真正例與全部真實正例之間的比例。表達式分別為

在Faster RCNN目標檢測算法的基礎上進行改進，得到如表1所示的幾組算法，算法1 為Faster RCNN 原算法，算法2為主干網絡替換成ResNet50 的Faster RCNN，在算法2的基礎上融合RFPN得到算法3，算法4是在算法3 的基礎上改進RPN采樣策略，算法5 是在算法4 的基礎上使用雙損失函數優化，算法5即為所提出的算法。

表1 算法配置

將表1所示的5 種不同的算法在1 500 張圖像構成的數據集上進行訓練與測試，在測試集中得到表2 所示的實驗結果。由表2 可知，ResNet50 的特征提取效果明顯果比VGG16更好，這是因為殘差網絡能夠有效處理深度網絡梯度彌散的問題。由算法3檢測結果可以得知，RFPN對3 種目標的檢測效果提升較大。算法5相比算法4，在采用雙損失函數的情況下，在提高檢測精度的同時，也減少了網絡訓練的時間。所提出的算法5 與算法1 即Faster RCNN 的原始檢測算法相比，微電容，微電阻，微發光二極管的檢測精度分別提高了6. 03 %，6. 06 %，6. 14 %，平均精度均值（mAP）提高了6.07%。

表2 算法性能比較

比較本文提出的算法5 和Faster RCNN算法對測試集圖像的檢測結果，分析改進的算法在微操作空間下的目標檢測性能。圖5 為本文提出的算法5（左側）和Faster RCNN（右側）在多尺度目標圖像上的檢測結果，前2 幅圖中的目標尺度較大，后2幅圖中地目標尺度適中。由圖可知，前2幅圖的檢測結果相差不大，即在顯微放大倍數較大時，2種算法的檢測效果相當，而在后2 幅圖中，本文提出的算法檢驗框的位置更加精確，檢測效果明顯更好。

圖5 多尺度目標圖像檢測示例

圖6 為本文提出的算法5（左側）和Faster RCNN 算法（右側）在小尺度目標圖像上的檢測結果。由圖可知：Faster RCNN算法在顯微鏡放大倍數較小時，目標圖像的檢測效果較差，且存在一定程度的漏檢；而本文提出的算法則明顯改善了這種情況，同時對于目標的定位準確性有明顯的提升。

圖6 小尺度目標圖像檢測示例

3 結束語

本文將Faster RCNN的主干網絡換成特征提取效果更好的深度殘差網絡，并采用特征融合策略，引入RFPN，對不同深度的特征進行融合，提升了網絡對不同尺度大小圖像目標的檢測性能，接著，改進了RPN的采樣策略，改善了原有算法在先驗框匹配時對小尺度目標圖像的正樣本提取不足、負樣本質量差的情況。優化了網絡的損失函數，采用雙損失函數，在提高檢測精度的同時，也加快了網絡的收斂。實驗表明：將改進后的算法運用到微操作空間下對目標進行檢測，可以準確、穩定地檢測目標，相比于Faster RCNN算法，平均檢測精度提高了6.06%。