?

融合遞歸特征金字塔的病原微生物檢測

2023-03-16 11:04黃志添謝怡寧趙晶何勇軍
哈爾濱理工大學學報 2023年5期
關鍵詞:小目標目標檢測

黃志添 謝怡寧 趙晶 何勇軍

摘? 要:針對病原微生物的檢測研究較少且目標尺寸相差較大、背景復雜問題,提出了一種融合遞歸特征金字塔的病原微生物多尺度檢測方法??紤]到有些病原微生物的特征與正常細胞有一定的相似性,在YOLOv5特征提取階段引入混合注意力模塊CBAM,可以增強病原微生物的顯著度,降低了病原微生物的誤診率。由于尺寸較小的病原微生物在下采樣過程會丟失重要特征,在特征融合階段使用遞歸特征金字塔RFP和增加小目標的檢測層,可以對小目標的特征進行二次提取,豐富語義信息,提高了小目標的檢出率,并在二次特征提取模塊中使用深度可分離卷積DSConv替換普通卷積Conv,降低了模型的參數量,提升了性能。實驗表明,本文算法在病原微生物數據集上的mAP達到了74.9%,相比基線網絡YOLOv5提升了4.9%,小目標滴蟲的mAP也提高了6.2%。同時在PascalVOC2007、PascalVOC2012和CDetector公開數據集上比基線網絡YOLOv5分別提升了1.9%、3.1%和8%。

關鍵詞:病原微生物;目標檢測;遞歸特征金字塔;小目標;多尺度檢測

DOI:10.15938/j.jhust.2023.05.012

中圖分類號: TP389.1

文獻標志碼: A

文章編號: 1007-2683(2023)05-0091-12

收稿日期: 2022-04-23

基金項目: 國家自然科學基金面上項目(61673142);黑龍江省自然科學基金杰出青年項目(JJ2019JQ0013).

作者簡介:

黃志添(1997—),男,碩士研究生;

謝怡寧(1979—),女,博士,碩士研究生導師.

通信作者:

何勇軍(1980—),男,博士,博士研究生導師,E-mail:heyongjun@hit.edu.cn.

Detection of Pathogenic Microorganisms

by Fusion of Recursive Feature Pyramid

HUANG Zhitian1,? XIE Yining2,? ZHAO Jing1,? HE Yongjun3

(1.School of Computer Science and Technology, Harbin University of Science and Technology, Harbin 150080,China;

2.College of Mecheanical and Electrical Engineering,Northeast Forestry University,Harbin 150006,China;

3.Harbin Institute of Technology, School of Computer Science and Technology,Harbin 150006,China)

Abstract:Aiming at the problems of less research on the detection of pathogenic microorganisms, large differences in target size and complex background, a multi-scale detection method of pathogenic microorganisms fused with recursive feature pyramid was proposed. Considering that the characteristics of some pathogenic microorganisms are similar to normal cells, introducing the mixed attention module CBAM in the feature extraction stage of YOLOv5 can enhance the significance of pathogenic microorganisms and reduce the misdiagnosis rate of pathogenic microorganisms. Since the pathogenic microorganisms with small size will lose important features in the downsampling process, the recursive feature pyramid RFP is used in the feature fusion stage and the detection layer of the small target is added. The detection rate of the target is improved, and the depthwise separable convolution DSConv is used in the secondary feature extraction module to replace the ordinary convolution Conv, which reduces the number of parameters of the model and improves the performance. Experiments show that the mAP of the algorithm in this paper on the pathogenic microorganism dataset has reached 74.9%, which is 4.9% higher than the baseline network YOLOv5, and the mAP of the small target Trichomonas has also increased by 6.2%. At the same time, the public datasets of PascalVOC2007, PascalVOC2012 and CDetector are improved by 1.9%, 3.1% and 8% respectively compared with the baseline network YOLOv5.

Keywords:pathogenic microorganisms; object detection; recursive feature pyramid; small objects; multiscale detection

0? 引? 言

宮頸感染性疾?。?]是婦科常見疾病,它是由病原微生物的感染所致。同時,病原微生物的入侵可能會改變細胞核的形態,這給正異常細胞的判別帶來一定的影響。檢測病原微生物是臨床診斷感染性疾病的主要手段,其診斷方法可通過TCT檢查篩選出病原微生物。傳統的病理診斷完全依賴于醫生“手動操作、肉眼觀察”的人工閱片,這種方式存在誤診和漏診的情況。如今,隨著人工智能的發展,智能診斷系統被廣泛應用于宮頸細胞學檢驗。系統通過人工智能和圖像處理等手段自動分析宮頸細胞病理涂片的有形成分,從而對細胞、真菌、滴蟲等常見成分進行篩選,幫助病理醫生節省90%以上的閱片時間,提高診斷效率。醫學顯微圖像的自動化識別也成了熱門的研究方向,但目前主要是人體細胞的研究,而對于宮頸的病原微生物檢測方面卻鮮少有人研究,所以目標檢測技術在微生物檢測上仍有探索的價值。

經過二十多年的研究與發展,目標檢測技術已取得了重大進展。已有的目標檢測技術主要分為兩種類型:一是基于手工特征的傳統方法,例如 Hear 特征 + Adaboost 算法、Hog 特征 + SVM 算法和 DPM 算法;二是基于深度學習技術的方法。傳統方法是模仿人類視覺的流程得到特征,Zhang等[2]提出了一種結合特征提取、SVM和卷積神經網絡相結合的方法來識別白帶顯微鏡圖像中的白細胞。首先將白細胞進行分割提取,然后提取了待檢測目標的7個形態學特征,并用SVM訓練識別。此外,作者還用一個4層的深度學習網絡進行額外識別,提升了識別效果。

相對于傳統方法,深度學習方法具有較好的靈活性。目標檢測任務分為目標定位與分類兩個子任務,目標定位是確定輸入圖像中感興趣目標的具體位置,目標分類是確當輸入圖像中感興趣目標的可能性大小。深度學習方法根據目標檢測模型訓練方式可分為單階段檢測算法和二階段檢測算法兩種類型。

基于深度學習的單階段目標檢測算法不需要生成候選框,直接使用預定義的錨框進行分類和回歸得到最終的檢測結構。主流單階段目標檢測算法包括 YOLO 系 列 算 法[3-7] 以 及 SSD 系列算法[8-10]。兩種算法均是對輸入圖像直接進行特征提取,計算出目標物體的類別概率和位置坐標值。侯劍平等[11]針對白帶顯微圖像中白細胞、念珠菌、滴蟲的自動化識別問題,提出改進的YOLOv3-tiny與Resnet50相結合的細胞識別算法。用改進的YOLOv3-tiny算法進行細胞檢測,Resnet50模型對檢測出的細胞進行精確分類,并運用遷移學習的方法進行模型訓練,該算法對白細胞、念珠菌、滴蟲的識別結果和效率均優于其他算法。王靜等[12]在YOLOv5主干特征提取網絡的卷積層中添加坐標注意力機制,提升了算法的特征提取能力,同時改變邊框回歸損失函數,模型檢出白細胞的平均精度均值提升了3.8%。Li等[13]在YOLOv5特征提取網絡對淺層中的跨階段部分連接(CSP)模塊進行了擴展和迭代,進而最大限度地利用了淺層特征,在殘差塊中引入了改進的注意力模塊,以聚焦對象并抑制背景,在KAIST數據集上的平均精度提高了21%。Dong等[14]針對CT圖像中肺結節體積小難以檢測的問題,在YOLOv5網絡的特征提取網絡模塊中引入了注意力模塊,使骨干網絡能夠專注于感興趣的區域并提高特征表征能力。此外,在特征融合模塊中,對不同層次的特征賦予不同的權重以實現更有效的特征融合。Zhu等[15]在 YOLOv5 的基礎上增加了一個預測頭來檢測不同尺度的物體,然后用 Transformer Prediction Heads (TPH) 替換原來的預測頭,利用自注意力機制探索預測潛力,還集成了卷積塊注意模型 (CBAM),以在具有密集對象的場景中找到注意區域。Liang等[16]針對SSD網中的目標幀冗余問題,利用掩模提取出ROI區域,并對原始圖像進行預處理,降低了提取圖像特征的計算復雜度,然后使用resnet網絡代替原始的VGG網絡,修改后的SSD模型應用于子宮頸上皮細胞識別并實現準確定位。

基于深度學習的二階段目標檢測算法通過生成包含感興趣區域的高質量候選框,再通過卷積神經網絡進一步分類和回歸獲得最終的檢測結果。主流兩階段目標檢測算法是基于 R-CNN 系列算法[17-19]。該系列算法首先生成候選區域,然后對候選區域進行處理得到最終結果。Zhang等[20]在Faster R-CNN框架基礎上提出了一種用于粘附細胞再檢測的循環掃描算法(CSA, cyclic scanning algorithm)。該算法能夠在粘附細胞樣本有限的條件下有效檢測和識別粘附細胞。Hung[21]使用Faster R-CNN模型實現了顯微圖像中瘧疾感染的血液細胞的檢測,并和傳統的圖像分割、特征提取及隨機森林方法實現的目標檢測進行了對比,在識別準確率方面得到了很大的提升。尹遠來等[22]基于Faster R-CNN的網絡結構改進的模型,引入了可形變卷積網絡和特征金字塔網絡,實現了對宮頸數字病理圖像進行自動識別,改進后的模型能快速收斂。

隨著模型層次的不斷加深,模型在識別性能上有了提升,但另一面卻增加了模型的參數量和復雜度,而輕量化模型在不損失精度的前提下,減少網絡的參數,提高模型的識別速度。Kang等[23]提出了一種結合輕量級網絡和雙注意力機制的目標檢測算法,使用EfficientNet代替主干網絡,以減少參數數量和計算量。Xiong等[24]提出了一種基于正則卷積構建塊的增強搜索空間系列,以提高延遲-準確性權衡目標檢測的加速器。Jin等[25]提出了用于實時和輕量級的移動非對稱雙流網絡,采用IBCMF結構來補償輕量級骨干網中的信息損失,并使用自適應的空間金字塔模塊來加速推理。

單階段目標檢測網絡由于檢測效率高,準確率不低而得到研究者們的青睞。其中,YOLO系列采用GoogLeNet架構自定義網絡DarkNet作為基礎網絡,它的運行速度相比于選擇VGGNet模型作為基礎網絡的模型快。但是對于病原微生物尺寸相差較大、背景復雜的目標,YOLO系列的檢測效果較差,并且在卷積過程中信息丟失較嚴重。因此,本文提出一種基于遞歸特征金字塔的YOLOv5病原微生物多尺度檢測方法(recursive feature pyramid YOLOv5,RFP-YOLOv5)。首先,在特征提取階段引入混合注意力模塊(convolutional block attention model,CBAM),加強對目標特征的學習。然后,YOLOv5的第3個檢測層上再次上采樣得到第4個檢測層,從而獲得更大尺寸的特征圖,充分提取小目標信息。模型還用遞歸特征金字塔替換YOLOv5的FPN+PAN結構,加強淺層特征與深層特征的融合,實現更精確的病原微生物檢測。為了降低模型參數量,對C3模塊使用的數量進行了刪減,并且在二次特征提取模塊用DSConv(depthwise separable convolution)替換普通卷積。

1? 病原微生物檢測方法

1.1? RFP-YOLOv5基本網絡結構

RFP-YOLOv5主要由骨干網絡(Backbone)、遞歸特征融合網絡(RFP)和檢測網絡(Prediction)組成,其網絡結構如圖1所示。

首先,模型將裁剪后的WSI圖像調整為相同的尺寸輸入網絡。輸入圖像被Focus結構切分為4份,在通道維度上進行拼接后,經過卷積操作得到無信息丟失的下采樣特征圖。然后,特征圖在C3(concentrated comprehensive convolution)模塊的分支進行卷積操作,得到的殘差特征經過CBAM模塊,加強對目標特征的表達能力。在特征融合階段,將FPN融合的特征分別輸入到Backbone對應的特征提取層進行特征的二次提取,并用DSConv替換普通卷積,降低模型參數量。最后,通過4個不同尺度的檢測層獲得預測結果。

1.2? RFP-YOLOv5特征提取網絡

在巴氏涂片中,不同病原微生物的嗜色風格不一樣,且不同類之間的尺寸相差較大。因此,在特征提取階段,本文將Backbone中的Bottleneck CSP替換成C3模塊,并引入注意力機制CBAM,形成CBAMC3模塊,使模型關注目標的顏色通道和空間位置信息,更加精準地定位和識別感興趣區域。

如圖2所示,CBAMC3分為 C3和CBAM兩部分。C3模塊中的分支卷積操作進行殘差特征的學習。為了加強目標特征表達能力,C3模塊輸出的殘差特征圖F經過通道注意力分支后得到通道注意特征Mc,將Mc與輸入特征F做對應元素相乘操作后得到空間注意力模塊的輸入特征。輸入特征再經過空間注意力模塊分支的池化拼接等操作后得到空間注意特征Ms。最后Ms與該分支的輸入特征做乘法操作得到最終的特征。圖像經過CBAMC3后進行可視化,并與YOLOv5的Bottleneck CSP的可視化結果進行比較,結果如圖3所示。圖中(a)表示各微生物的原圖,(b)表示各微生物在CBAMC3模塊提取后的特征可視化熱圖,(c)表示各微生物在Bottleneck CSP模塊提取后的特征可視化熱圖。在進行兩模塊的可視化熱圖對比后可得出,加入CBAM注意力模塊的模型更注重于目標特征的提取,忽略無關緊要的背景信息,而且對滴蟲小目標信息丟失較輕微。

C3模塊是殘差結構,用來學習更多的特征,但結構參數量較大且檢測速度慢,在特征提取模塊的第九層前已經使用了三層C3模塊進行學習,且SPP模塊對特征的全局特征和局部特征進行了融合。為了使模型輕量級化,在模型的特征提取模塊去除了第九層的C3模塊,并在模型二次特征提取模塊中使用DSConv替換Conv。DSConv包括逐通道卷積和逐點卷積,逐通道卷積的每一個卷積核負責一個通道,產生的通道數與輸入的通道數一樣。逐點卷積大小為1×1,將逐通道卷積的特征圖在深度方向上進行加權組合,生成新的特征圖,充分利用不同通道在相同空間位置上的特征信息。對于普通卷積,卷積層共4個Filter,每個Filter包含3個3×3的Kernel,參數量為4×3×3×3=108;而DSConv的參數量為3×3×3+1×1×3×4=39,參數量大大下降,如圖4所示。

1.3? RFP-YOLOv5特征融合網絡

不同病原微生物的大小和形狀各異。經測量統計,滴蟲在1024×1024的圖像尺寸中標注矩形框面積范圍在8×12~20×20,放線菌矩形框面積范圍在23×15~320×280,皰疹矩形框面積范圍在18×12~120×110,念珠菌矩形框面積范圍在18×22~80×103,細菌矩形框面積范圍在40×68~120×90。2019年Kisantal等[26]對小、中、大目標進行了區分,如表1所示。

根據大尺寸的特征圖檢測小目標,小尺寸的特征圖檢測大目標,當輸入圖像尺寸為1024×1024時,YOLOv5的最大檢測層大小為76×76,每格特征圖對應的感受野是(1024/76)×(1024/76)=13×13,再對應到原圖中,可以用來檢測像素大小在(1024/1024×13)×(1024/1024×13)=13×13以上的目標。為了提高對滴蟲的檢測,本文算法在YOLOv5 3個檢測層的基礎上增加了一個檢測小目標的檢測層。新增的檢測層是在76×76特征層上繼續上采樣、普通卷積和殘差卷積操作,得到152×152的特征圖,再將卷積操作后的特征與骨干網絡中的152×152特征圖進行concat融合,得到第4個檢測尺度152×152,

對應到原圖能檢測出像素大小為6×6的目標。另外3個檢測層大小分別為76×76、38×38和19×19。

除此之外,不同醫院的巴氏涂片染色風格不一樣、不同病人的細胞大小和形態不一樣、同種病原微生物在不同人身上呈現的形態不一樣,這三種情況給病原微生物的目標檢測形成了復雜的背景。念珠菌的典型特征是將表中層細胞串連在一起,因此對于周圍細胞特征的提取更重要。而YOLOv5在下采樣和卷積的過程中局部特征丟失嚴重,雖然引入了PAN自下而上的特征融合來增強信息的提取,但是底層信息與頂層信息還是不能很好的融合。所以RFP-YOLOv5用遞歸特征金字塔(recursive feature pyramid ,RFP)替換YOLOv5的FPN+PAN模塊,如圖5所示,將下采樣后的特征信息與二次Backbone提取的特征融合,豐富特征的語義表達。

RFP-YOLOv5的RFP包括兩個骨干特征提取模塊和兩個特征融合模塊。RFP是建立在特征金字塔之上的。RFP將第一次特征融合模塊輸出的特征額外反饋合并到第二次的特征提取模塊中,以實現查看圖像兩次或多次。第一次模塊特征提取融合可由表達式(1)、(2)所示、第二次模塊特征提取融合可由表達式(3)~(5)所示,第二次Backbone特征提取不僅包含了第一次特征融合后的信息,還包括了從原始圖像提取的該層特征。

xi=Bi(xi-1)(1)

fi=Fi(fi+1,xi)(2)

xj=Bi(xi-1),j<3(3)

xj=Bi(xj-1,fi),j>=3(4)

fj=Fi(fj+1,xj)(5)

其中:xi、xj分別表示第一次特征提取的第i層、第二次特征提取的第j層;Bi表示第i層Backbone網絡結構;fi、fj分別表示第一次特征融合中第i層網絡特征經第i層FPN融合后的融合特征、第二次特征融合中第j層網絡特征經第j層FPN融合后的融合特征;Fi表示第i層FPN融合結構。

2? 實驗與分析

2.1? 病原微生物數據集構建方法

宮頸中常見的病原微生物主要包括:滴蟲、細菌、放線菌、念珠菌、皰疹,5種病原微生物的主要形態如圖6所示。滴蟲形態上呈梨形或者橢圓形,嗜藍色,細胞核淡染且偏位;細菌主要是檢測球桿菌,嗜藍色,猶如細小的沙粒覆蓋在細胞表面;放線菌是細絲狀病原體,有成銳角的分支纏繞成團,形狀類似“棉花團樣”;念珠菌菌絲的特征是竹節狀,橫跨許多中表層細胞,巴氏染色呈嗜伊紅色到灰棕色;皰疹病毒感染后細胞核呈毛玻璃樣外觀,像病理科固態的石蠟,略帶折光性。不同病原微生物會引起不同類型的感染。

本文宮頸病原微生物的數據集來源主要有:哈爾濱醫科大學附屬第二醫院、黑龍江精準元醫學檢驗所、哈爾濱口岸醫院。醫院使用TCT(thinprep cytologic test,液基薄層細胞檢查)技術、巴氏染色和封片制作宮頸細胞病理涂片,然后經過WISLEAP-10掃描儀得到宮頸細胞病理圖像WSI。由于WSI的尺寸過大,所以通過動態裁剪方法后,共獲得12233張1024×1024分辨率的圖片:滴蟲3720張、放線菌2641張、念珠菌1518張、細菌4214張和皰疹140張。對裁剪的圖像用labelImg進行人工標注生成xml的標注格式,并通過專業的病理醫生核對標注的類別正確性。最后將5類病原微生物圖片分別按8∶2的比例分成訓練集和測試集,如表2所示。

2.2? 模型訓練

RFP-YOLOv5的深度學習框架是Pytorch,模型訓練的初始參數:epoch為300輪,lr為1×10-5,batch_size為8,img_size為1024×1024。RFP-YOLOv5使用 K-means 對標注的候選框進行聚類,得到初始錨框如表3所示。

RFP-YOLOv5模型采用精確度(Precision,P)、召回率(Recall,R)、平均精度均值(mean average precision,mAP)來評價模型的優劣,計算公式分別如下:

P=TPTP+FN(6)

R=TPTP+FP(7)

AP=∫10P(R)(8)

mAP=1c∑cj=1APj(9)

其中:TP為真陽性;FN為假陰性;FP為假陽性;c為類別數。

2.3? 實驗結果與分析

訓練完模型后,分別對RFP-YOLOv5模型和YOLOv5模型的mAP進行比較,具體如圖7所示。修改后的RFP-YOLOv5模型在各類別的識別能力都比YOLOv5模型好,其中小目標滴蟲提高了6.2%,模型的mAP總提高了4.9%,由于皰疹的數量較少,所以mAP較低。

2.4? 消融實驗

為了驗證本文算法的有效性,文中設置了8組消融實驗,其中包含了通過減少模塊數量和引入DSConv減少參數量來實現模型輕量化的實驗,實驗采用平均精度均值mAP、各類別mAP、精確率P、召回率R、參數量parameters和推理時間來評價模型的優劣性,具體如表4所示。

由表4數據可知,DCYOLOv5表示從基準YOLOv5模型特征提取模塊中去除了第9層的C3模塊,降低了模型參數量,mAP只下降了0.2% 。引入混合注意力機制CBAM后,模型的mAP提升了1.1%,說明CBAM能有效的抑制無用的背景信息。給YOLOv5增加一個小目標的檢測層后mAP提升了0.9%。引入RFP網絡結構后mAP提升了2.3%,說明RFP能增強特征的語義表達。隨著模塊的增加,模型的mAP值都有一定的提升。實驗結果表明,本文提出的模型在病原微生物檢測任務上性能更好,RFP-YOLOv5與基線模型YOLOv5進行對比,mAP提高了4.9%,P、R分別提升了7.5%、3.7%,說明預測的類別和定位更接近真實值,通過對模型的簡化和使用DSConv卷積,使得模型的參數量降低,推理時間也快了0.5ms/張。

2.5? 對比實驗結果與分析

為了驗證RFP-YOLOv5在病原微生物檢測上的有效性,本文還與主流的目標檢測算法進行比較,主要有YOLOv5、faster R-CNN[19]、SSD[8]、YOLOv3[5]、YOLOX[7]、Fcos[27]、Cascade R-CNN[28]、PP-YOLO[29]。實驗以mAP和推理時間作為評價指標,結果如表5所示。由表可知,雖然RFP-YOLOv5的推理時間較長,但模型的mAP比其他目標檢測模型都有較大的提升,說明RFP-YOLOv5的模型性能更好。為了更直觀的看到各模型的檢測效果,實驗中用RFP-YOLOv5、YOLOv5、SSD、YOLOv3、YOLOX、Fcos、Cascade R-CNN和PP-YOLO去檢測不同類別病原微生物,檢測效果如圖8所示。

圖8中標注框的標簽A表示放線菌、B表示細菌、C表示念珠菌、H表示皰疹、T表示滴蟲??傻贸鯵OLOv5對于滴蟲這類的小目標存在漏檢的情況。YOLOx能檢測出各類別但準確率低于RFP-YOLOv5。PP-YOLO和YOLO3都存在對小目標漏檢和誤檢。SSD 對放線菌和細菌的準確率較高,但對滴蟲和皰疹識別較低。Fcos性能較差,對于一些目標較大的放細菌都識別錯誤。Cascade R-CNN存在重復識別的現象且識別準確率較低。相比較下,RFP-YOLOv5在各類別的識別準確率上都比其他模型較高,RFP-YOLOv5能檢出YOLOv5漏檢的滴蟲小目標。

2.6? PascalVOC數據集實驗結果與分析

本文除了在宮頸病原微生物數據集上驗證改進模型RFP-YOLOv5的優越性,還在目前常用的目標檢測公開數據集PascalVOC2007和PascalVOC2012上進行了實驗。兩數據集分別按照8:2劃分為訓練集和測試集,具體如表6所示。

然后,用RFP-YOLOv5與多個目標檢測模型訓練兩個數據集,并通過各類別的平均準確率均值進行比較,結果分別如表7、表8所示。同時對目前較新的目標檢測方法進行了模型總mAP的比較,結果如表9所示。

表7? PascalVOC2007目標檢測mAP比較

由表7、表8分析可知,改進后的RFP-YOLOv5比對比的目標檢測模型都有較好的性能。在PascalVOC2007數據集20個類別中,RFP-YOLOv5檢測出的16個類別mAP都高于其他模型,而且模型mAP比基線YOLOv5高出了1.9%。在PascalVOC2012數據集中,由于數據集的背景復雜度較高,所以識別出來的類別mAP基本都低于PascalVOC2007。與比較的目標檢測模型相比,RFP-YOLOv5的mAP還是最高,比基線模型YOLOv5高出了3.1%。綜合分析可得,修改后的RFP-YOLOv5模型更能增強特征的語義表達,提高目標的檢測能力。

由表9分析可知,本文提出的算法與最近的目標檢測算法相比較,在PascalVOC2007與PascalVOC2012兩個數據集的表現上都是較優的。

2.7? CDetector數據集實驗結果與分析

本文算法除了在PascalVOC數據集上驗證改進模型RFP-YOLOv5的性能,還在病理公開數據集CDetector[34]做了對比。CDetector數據集有7410張宮頸顯微圖像,包含了ASC-US、ASC-H、Lsil、Hsil、SCC、AGC、滴蟲、念珠菌、細菌、皰疹、放線菌共11個類別。將數據集分為訓練集6666張和驗證集744張進行實驗,實驗結果如表10所示,可得出RFP-YOLOv5模型比對比模型的性能都較好。

3? 結? 論

宮頸病原微生物的存在會引起各種宮頸感染性疾病,所以對病原微生物的檢測具有研究價值。目標檢測技術已廣泛被應用到宮頸有形成分的智能檢測,但是對于TCT片的病原微生物智能檢測這一任務研究幾乎為零。同時,病原微生物的尺寸大小不一和背景復雜等原因,現有的目標檢測模型對小目標的檢測還有待提升。所以本文提出了基于遞歸特征金字塔的病原微生物多尺度檢測方法。為了解決滴蟲目標過小,在YOLOv5的基礎上引入小目標檢測層來增強滴蟲的檢測。為了解決降采樣過程中會把滴蟲小目標的信息給丟失,在YOLOv5中引入RFP網絡結構,對圖像的信息進行二次提取,豐富特征的語義表達??紤]到皰疹跟正常細胞有一定的相似性,所以在Backbone模塊引入CBAM注意力模塊來增強對目標特征的提取,并引入DSConv卷積替換普通卷積,極大的減少了參數量,提高了性能。經實驗驗證,本文方法在病原微生物數據集和PascalVOC2007數據集和PascalVOC2012數據集上都有提高,其中,與基線YOLOv5相比,本文方法在病原微生物數據集、PascalVOC2007、PascalVOC2007和CDetector 4個數據集上的mAP分別提升了4.9%、1.9%、3.1%和8%。

參 考 文 獻:

[1]? 陳銳,廖秦平.重視中國女性生殖道感染及陰道微生態診治[J].中華檢驗醫學雜志,2018,41(4):251.

CHEN Rui, LIAO Qinping.Pay Attention to the Diagnosis and Treatment of Female Reproductive Tract Infection and Vaginal Microecology in China[J].Chinese Journal of Laboratory Medicine,2018,41(4):251.

[2]? ZHANG J, ZHONG Y, WANG X,et al.Computerized Detecion of Leukocytes in Microscopic Leukorrhea images[J].Medical Physics,2017,44(9):4620.

[3]? REDMON J, DIVVALA S, GIRSHICK R,et al.You Only Look Once:Unified,Real-Time Object Detection[C]//Computer Vision & Pattern Recognition.IEEE,2016,91:779.

[4]? REDMON J, FARHADI A.YOLO9000:Better,Faster, Stronger[C]//IEEE Conference on Computer Vision & Pattern Recognition.IEEE,2017:7263.

[5]? REDMON J, FARHADI A.YOLOv3:An Incremental Improvement[J].arXiveprints:1804.02767,2018.

[6]? BOCHKOVSKIY A, WANG C Y, LIAO H Y M. Yolov4: Optimal Speed and Accuracy of Object Detection[J]. arXiv Preprint arXiv:2004.10934,2020.

[7]? GE Z, LIU S, WANG F, et al. Yolox: Exceeding Yolo Series in 2021[J]. arXiv Preprint arXiv:2107.08430, 2021.

[8]? LIU W, ANGUELOV D,ERHAN D,et al.SSD: Single Shot MultiBox Detector[C]//European Conference on Computer Visio,2016:21.

[9]? FU CY, LIU W, RANGA A, et al.Dssd:Deconvolutional Single Shot Detector[J].arXiv Preprint arXiv: 1701. 06659,2017.

[10]LI Z, ZHOU F.FSSD:Feature Fusion Single Shot Multibox Detector[J].arXiv preprint arXiv:1712. 00960,2017.

[11]侯劍平,王超,趙萬里,等.基于深度學習的白帶顯微圖像細胞識別[J].計算機應用與軟件,2021,38(9):232.

HOU Jianping, WANG Chao, ZHAO Wanli,et al. Cell Recognition in Leucorrhea Microscopic Image Based on Deep Learning[J]. Computer Applications and Software, 2021,38(9):232.

[12]王靜,孫紫雲,郭蘋,等.改進YOLOv5的白細胞檢測算法[J].計算機工程與應用,2022,58(4):134.

WANG Jing, SUN Ziyun, GUO Ping,et al.Improved Leukocyte Detection Algorithm of YOLOv5[J].Computer Engineering and Applications,2022,58(4):134.

[13]LI S, LI Y, LI Y, et al.YOLO-FIRI:Improved YOLOv5 for Infrared Image Object Detection[J].IEEE Access, 2021,99:1.

[14]DONG X, XU N, ZHANG L, et al.An Improved YOLOv5 Network for Lung Nodule Detection[C]//2021 International Conference on Electronic Information Engineering and Computer Science (EIECS), IEEE, 2021:733.

[15]ZHU X, LYU S, WANG X, et al.TPH-YOLOv5: Improved YOLOv5 Based on Transformer Prediction Head for Object Detection on Dronecaptured Scenarios[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision,2021:2778.

[16]LIANG G, ZHONG J, LONG M. Cervical Epithelial Cell Recognition Based on Improved Single Shot MultiBox Detector[C]//2020 IEEE 4th Information Technology, Networking,Electronic and Automation Control Conference(ITNEC),IEEE,2020:1953.

[17]GIRSHICK R, DONAHUE J, DARRELL T,et al.Region-Based Convolutional Networks for Accurate Object Detection and Segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,38(1):142.

[18]GIRSHICK R.Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision(ICCV), 2015:1440.

[19]REN S, HE K, GIRSHICK R,et al.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(6):91.

[20]ZHANG J, HU H, CHEN S, et al. Cancer Cells Detection in Phasecontrast Microscopy Images Based on Faster R-CNN[C]//2016 9th International Symposium on Computational Intelligenceand Design,Hangzhou, Zhejiang,China: Institute of Electrical and Electronics Engineers Inc,2016:363.

[21]HUNG J, GOODMAN A, LOPES S. Applying Faster R-CNN for Object Detection on Malaria Images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops,2017:56.

[22]尹遠來,趙磊.基于改進的Faster R-CNN模型的異常鱗狀上皮細胞檢測[J].智能計算機與應用,2021,11 (2):7.

YIN Yuanlai, ZHAO Lei.Detection of Abnormal Squamous Epithelial Cells Based on Improved Faster R-CNN Model[J].Intelligent Computers and Applications,2021,11(2):7.

[23]KANG S, HWANG J, CHUNG K.DLNet: Domain-specific Lightweight Network for On-Device Object Detection[C]//2022 International Conference on Information Networking (ICOIN), 2022:335.

[24]XIONG Y Y, LIU H X, GUPTA S, et al. Mobile Dets: Searching for Object Detection Architectures for Mobile Accelerators[C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021:3824.

[25]JIN X, YI K, XU J.MoADNet: Mobile Asymmetric Dual-Stream Networks for Real-Time and Lightweight RGB-D Salient Object Detection[J]. in IEEE Transactions on Circuits and Systems for Video Technology,2022,32(11):7632.

[26]KISANTAL M, WOJNA Z, MURAWSKI J,et al.Augmentation for Small Object Detection[J]. arXiv Preprint arXiv: 1902.07296,2019.

[27]TIAN Z, SHEN C, CHEN H, et al. Fcos: A Simple and Strong Anchor-free Object Detector[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022,44(4):1922.

[28]CAI Z, VASCONCELOS N. Cascade R-CNN: Delving into High Quality Object Detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2018: 6154.

[29]LONG X, DENG K, WANG G, et al. PP-YOLO: An Effective and Efficient Implementation of Object Detector[J]. arXiv Preprint arXiv:2007.12099, 2020.

[30]WOO S, HWANG S, KWEON I S.Stairnet:Topdown Semantic Aggregation for Accurate One Shot Detection[C]//IEEE Winter Conference on Applications of Computer Vision(WACV).Nevada,USA,2018:1093.

[31]李志欣,陳圣嘉,周韜,等.協同級聯網絡和對抗網絡的目標檢測[J].計算機科學與探索,2022,16(1):217.

LI Zhixin, CHEN Shengjia, ZHOU Tao, et al. Object Detection Based on Cooperative Cascade Network and Adversarial Network[J].Computer Science and Exploration,2022,16(1):217.

[32]楊愛萍,魯立宇,冀中.多層特征圖堆疊網絡及其目標檢測方法[J].天津大學學報(自然科學與工程技術版),2020,53(6):647.

YANG Aiping, LU Liyu, JI Zhong.Multilayer Feature Graph Stacked Network and Target Detection Method [J].Journal of Tianjin University(natural science & engineering),2020,53(6):647.

[33]CHENG M, BAI J, LI L,et al.Tiny-RetinaNet: Aonestage Detector for Realtime Object Detection[C]//Eleventh International Conference on Graphics and Image Processing(ICGIP 2019),2020:113730R.

[34]LIANG Y, TANG Z, YAN M.Comparison Detector for Cervical Cell/Clumps Detection in the Limited Data Scenario[J].Neurocomputing,2021,437(3):195.

(編輯:溫澤宇)

猜你喜歡
小目標目標檢測
視頻中目標檢測算法研究
行為識別中的人體運動目標檢測方法
王健林“小目標”走紅網絡
深化年輕化戰略108萬已是“小目標”
刷爆朋友圈的“小目標”真的有用嗎
月入兩萬元的家庭,如何制定理財“小目標”
移動機器人圖像目標識別
田溯寧的安全“小目標”
基于背景建模法的運動目標檢測
基于P3電位的目標檢測研究
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合