?

細胞病理圖像質量評價方法

2023-03-16 11:04彭晨輝劉皓晨高瑋寧何勇軍
哈爾濱理工大學學報 2023年5期

彭晨輝 劉皓晨 高瑋寧 何勇軍

摘? 要:智能病理輔助診斷系統可以輔助醫生診斷宮頸癌,篩除低質量的樣本圖像能夠有效減少智能病理輔助診斷系統的漏診和誤診,提高診斷的效率和準確率。目前智能輔助診斷領域沒有完整的細胞病理圖像質量評價的方法,因此提出一種細胞病理圖像質量評價方法。利用病理診斷知識和醫生經驗,歸納總結出圖像質量評價指標,包括圖像有效視野、柵格樣成像、清晰度、染色標準、鱗狀上皮細胞數量、細胞團面積和臟污面積占比等。首先針對圖像有效視野和柵格樣成像利用圖像分割和圖像紋理特征提取的方法進行評價;再采用引入通道注意力的ResNet-34模型對清晰度進行評價;然后對圖像進行顏色反卷積處理,獲得染色劑通道灰度值,用于判斷細胞的染色是否標準;再通過目標檢測模型Yolov5s,對鱗狀上皮細胞、細胞團和臟污進行檢測;最后利用回歸模型為細胞圖像質量評分,并將結果應用到智能輔助診斷項目中。實驗表明,方法規范了細胞病理圖像質量評價的流程,避免由于主觀評價帶來的差異,提高了病理診斷效率和準確率。

關鍵詞:智能病理輔助診斷系統;圖像質量評價;金字塔圖像;圖像特征

DOI:10.15938/j.jhust.2023.05.010

中圖分類號: TP315.69

文獻標志碼: A

文章編號: 1007-2683(2023)05-0075-10

收稿日期: 2022-05-02

基金項目: 黑龍江省自然科學基金杰出青年項目(JJ2019JQ0013).

作者簡介:

彭晨輝(1978—),男,高級工程師;

劉皓晨(1996—),女,碩士研究生.

通信作者:

何勇軍(1980—),男,博士,博士研究生導師,E-mail:holywit@163.com.

Quality Evaluation Methods for Cytopathological Cell Image

PENG Chenhui1,? LIU Haochen2,? GAO Weining2,? HE Yongjun3

(1.Information Center, The Sixth Affiliated Hospital of Harbin Medical University, Harbin 150080, China;

2.School of Computer Science and Technology, Harbin University of Science and Technology, Harbin 150080,China;

3.School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150080,China)

Abstract:The intelligent pathological auxiliary diagnosis system can assist doctors in diagnosing cervical cancer, and screening out low-quality sample images can effectively reduce the missed diagnosis and misdiagnosis of the intelligent auxiliary diagnosis system, and improve the efficiency and accuracy of diagnosis. At present, there is no complete cytopathological image quality evaluation method in the field of intelligent auxiliary diagnosis, so we propose a cytopathological image quality evaluation method. Using the knowledge of pathological diagnosis and the experience of doctors, the image quality evaluation indicators were summarized, including the effective field of view, grid-like imaging, sharpness, staining standard, the number of squamous epithelial cells, the area of cell clusters and the proportion of dirty areas. First, the effective field of view and grid-like imaging are evaluated by image segmentation and image texture feature extraction; the ResNet-34 model with channel attention is used to evaluate the sharpness; then the color deconvolution is performed on the image. The gray value of the dye channel is obtained, which is used to judge whether the staining of cells is standard. Then, the target detection model Yolov5s is used to detect squamous epithelial cells, cell clusters and dirt. Finally, the regression model is used to score the cell image quality, and the results are applied to the intelligent auxiliary diagnosis project. Experiments show that the method in this paper standardizes the process of cytopathological image quality evaluation, avoids differences caused by subjective evaluation, and improves the efficiency and accuracy of pathological diagnosis.

Keywords:intelligent pathology assistant diagnosis system; image quality evaluation; pyramid image; object detection; image features

0? 引? 言

病理切片數字化積累了大量的數據,是人工智能輔助診斷的重要前提。圖像質量不合格會嚴重影響人工智能診斷系統的效率和準確率,甚至出現漏診和誤診[1]。因此急需細胞病理數字圖像質量評價方法。

圖像質量的客觀評價方法是由計算機按照算法計算出的圖像質量評價指標,客觀評價使用數學模型給出量化值,使用圖像處理技術評價失真圖像,操作簡單,已經成為圖像質量評價研究的重點。由于深度學習在許多計算機視覺任務中取得成功,基于深度學習的圖像質量評價方法蓬勃發展[2]。Hosu等人通過對多種基線網絡進行測試,證實了語義特征在圖像質量評價領域的有效性[3]。Zhang等[4]提出了一種雙流網絡結構來預測合成圖像和真實圖像的失真,其中真實圖像預測流采用VGG-16進行特征提取。Li等[5]提出使多批次ResNet-50提取特征的統計數據進行質量預測。姚旺等[6]將多通道網絡引入到FR-IQA算法中,獲取理想參考圖像和失真圖像的梯度差異圖,將梯度差異圖和失真圖像同時輸入到多通道網絡中學習質量分數。王同罕等[7]提取失真圖像的梯度特征,用于全參考圖像質量評價。也有一些學者基于醫學領域提出一些質量評價方法,Senaras等[8]就組織病理學圖像評價提出一種質量評價方法流程,綜合評價了噪聲,清晰度,偽影等指標,可以在各個方面評價組織病理圖像的質量,并且開源了算法代碼。Shakhawat H M等[9]對組織病理圖像進行手工特征提取,將提取到的特征輸入到支持向量機(support vector machine,SVM)分類器,用以檢測組織病理圖像中的偽影。

現有圖像評價方法的研究大多都是基于自然圖像,在醫學領域沒有完整的圖像質量評價方法,且清晰度評價函數只能采用有參考的方式判斷,在細胞病理圖像領域適應性差[2],因此我們通過研讀《宮頸液基細胞學的數字病理圖像采集與圖像質量控制中國專家共識》(簡稱,《共識》)和TBS(The Bethesda system)系統[10],總結細胞病理圖像評價的關鍵因素,參考自然圖像的評價方法,提出針對細胞病理圖像評價的方法,從圖像有效視野、柵格樣成像、清晰度、染色標準、鱗狀上皮細胞數量、細胞團面積和臟污面積占比七個指標對全視野數字圖像(whole slide images,WSI)整體質量可靠性進行評價。

針對圖像有效視野和柵格樣成像本文選擇使用圖像分割和圖像紋理特征提取的方法進行評價;采用引入注意力通道的ResNet-34模型對清晰度進行評價;對圖像進行顏色反卷積處理,獲得染色劑通道灰度值,用于判斷細胞染色是否標準;最后,通過目標檢測模型Yolov5s,對鱗狀上皮細胞、細胞團和臟污進行檢測。根據提取出來的圖像特征指標,對細胞病理圖像的質量進行綜合評分,為智能病理輔助診斷系統提供標本的滿意度評價。本方法旨在減少需要醫生或使用人員對圖像質量進行主觀評分的工作量,幫助規范病理診斷流程,為智能病理輔助診斷系統提供有力支持,提高病理診斷效率和準確率。

1? 方法介紹

根據TBS診斷標準和《共識》,本文通過以下7個指標對圖像質量進行評價:

1)有效視野是否完整;

2)圖像是否存在柵格樣成像;

3)染色是否標準;

4)圖像清晰度;

5)鱗狀上皮細胞數目;

6)臟污面積占比;

7)細胞團遮擋面積。

細胞圖像質量評價方法的關鍵在于圖像特征的提取,WSI圖像的數據量非常大,通常WSI圖像包含上億數量級的像素。WSI圖像系統采用多分辨率金字塔模型,高放大率可獲得高分辨率圖像,低放大率可獲得低分辨率圖像。高分辨率圖像包含更精細的圖像細節,有助觀察細胞結構與形態,便于分析和診斷。用金字塔分割的方式,獲得金字塔不同層的圖像[11]。對不同特征的計算需求選擇合適的分辨率,能有效提高運算的速度,減少計算資源浪費。圖像的有效視野是否完整、圖像是否存在柵格樣成像的判別在低分辨率金字塔圖像中即可完成判別,故上述兩個特征在金字塔第六層圖像中完成評價;在金字塔圖像的第五層,完成染色標準、圖像清晰度的評價;高分辨率圖像包含更精細的圖像細節,有助于觀察細胞結構與形態,因此在金字塔圖像的第二層完成臟污面積占比、鱗狀上皮細胞數量和細胞團數量的評價。將以上7個圖像特征指標輸入XGBoost模型中[12],獲得細胞病理圖像的質量分數,依據分數給出圖像在智能病理輔助診斷系統中的應用。上述細胞病理圖像質量評價流程如圖1所示。

1.1? 圖像有效視野及柵格樣成像判定方法

在掃描成像過程中,掃描鏡頭不潔凈會造成圖像有效視野被遮擋,成像不清等。此外,還會出現白平衡失調、掃描對準不精確等,圖像呈現柵格樣成像等問題,導致細胞不可辨認,影響細胞判讀閱片診斷。利用圖像標本區域與背景區域有較大的差異的特點采用圖像分割方法,獲得有效視野的位置,判斷其是否完整;根據柵格樣成像的圖像與正常圖像紋理特征的差異,對圖像是否存在柵格樣成像進行判斷。

圖像金字塔是指在同一的空間參照下,根據用戶的需求以不同的分辨率進行存儲與顯示,形成分辨率由粗到細、數據量從大到小的金字塔結構,金字塔中的每一級都是一幅圖像。按需求選擇合適的分辨率能夠有效減少運算的數據量。觀察圖像有效視野是否完整以及是否存在柵格樣成像,在金字塔圖像的第6層可以完成判定,同時運算數據量最小,因此在提取圖像有效視野時,選擇提取圖像金字塔的第6層,獲得一張完整視野圖像I,利用圖像分割方法分割圖像I,獲得二值圖像T,對二值圖像T做預處理將圖像中所有輪廓連成一個大輪廓,得到樣本的有效視野。然后根據有效視野輪廓坐標,獲得其外接矩形,判斷其外接矩形在整張圖像中的位置,確定有效視野是否完整,若完整則記為f1=1,若不完整則記為f1=0。根據獲得的大輪廓,提取輪廓以外區域的紋理特征值T,然后對特征值做聚類分析,獲得標準圖像的紋理特征值范圍,判斷紋理特征值T是否在標準圖像的紋理特征值范圍內,若在標準圖像的紋理特征值范圍內則不存在柵格樣成像,判定為合格記為f2=1,若存在柵格樣成像則記為f2=0。

1.2? 無參考評價的圖像清晰度判定方法

傳統的圖像清晰度評價函數都是采用有參考評價的評價思路,對于不同視野下的圖像無法統一評價,也缺乏對WSI圖像的清晰度評價的方法,因此本文提出一種針對WSI圖像無參考評價的清晰度評價方法。首先獲取不同焦平面的掃描圖像,不同焦平面與聚焦平面相差的距離作為評價標簽,并對獲得的圖像進行增廣處理,以此制作數據集對分類模型進行訓練,使其對不同焦平面的圖像進行準確地分類,從而用于WSI圖像質量的評價。

1)判別模型的訓練

本方法利用ResNet-34神經網絡進行特征提取,并且為了進一步提高模型分類準確率在Res-Net34網絡中添加通道注意力機制模塊[13]和最大值最小值池化,然后輸入全連接層進行分類[14],利用反向傳播對網絡參數進行更新和微調,最后進行分類,模型如圖2所示。

通過ResNet-34提取圖像特征,并根據特征向量對圖像進行清晰度分類。與傳統的清晰度評價函數相比,不僅可以提取到更多的圖像特征,而且可以無參考地評價圖像是否清晰。通過深度學習端到端的優勢,不需要提前手動進行特征提取。將本模型作為圖像清晰度判斷模型,可以有效地對清晰圖像和模糊圖像進行分類。

2)數據預處理與增廣

為了提高模型的泛化能力,避免分類模型受光照、顏色等外在環境影響,在模型訓練測試之前對訓練數據進行數據預處理操作。為了加快訓練梯度下降的求解速度,進而加快網絡模型收斂。對圖像數據進行通道維度的歸一化操作。

為了使數據的分布更均勻,減少模型學習到數據分布的可能行,提高模型的模型精度,對圖像數據進行標準化操作。模型訓練過程中,在數據量小網絡模型復雜的情況下容易出現過擬合現象,導致模型在實際訓練數據上效果不好。因此對數據進行數據增強以增加數據量。

由于不同醫院的細胞病理圖像的染色效果可能不同,為了降低模型對顏色的敏感性,提升模型的魯棒性,采用交換原始數據顏色通道的數據增廣策略。該操作只改變離焦圖像的顏色表現,不會影響圖像中蘊含的離焦信息。數據增強結果如圖3所示。

圖像清晰度評價中,若符合要求,則指標f3=1,不符合則f3=0。

1.3? 基于顏色反卷積的染色標準評價

臨床上對組織圖像的細胞核和基質進行染色最常規染色方法是蘇木精和伊紅染色(H&E染色),蘇木精(Hematoxylin)將細胞核染成深藍紫色;伊紅(Eosin)將細胞質染成粉紅色。在顯微鏡下,使用這兩種染料可以明確區分細胞核和基質。在H&E癌癥組織病理學圖像中,醫生可以通過分析癌癥組織病理學圖像中細胞核的信息,完成臨床診斷。但是細胞病理圖像中常常會出現染色模糊,染色程度不均等,都影響著醫生的診斷結果。

為了評價樣本的染色情況是否符合標準,本文使用顏色反卷積的方式對圖像進行染色分離[15],對分離后的通道圖像進行閾值分割獲得蘇木精通道和伊紅通道的圖像掩膜,圖像掩模與原圖像進行圖像與運算就可以獲取到蘇木精和伊紅染色像素所在位置,然后計算蘇木精和伊紅像素的平均灰度值。染色分離及灰度計算流程圖如圖4所示。

本文中使用自適應顏色反卷積對原始圖像進行染色分離后,再通過大津法閾值分割對分離后的通道圖像進行閾值分割,獲得蘇木精通道和伊紅通道的圖像掩膜。大津法是一種圖像灰度自適應的閾值分割算法[16],按照圖像上灰度值的分布,將圖像分成背景和前景兩部分看待,前景就是我們要按照閾值分割出來的部分。圖像掩模與原圖像進行圖像與運算就可以獲取到蘇木精和伊紅染色像素所在位置,然后計算蘇木精和伊紅像素的平均灰度值。

為了確定蘇木精和伊紅染色的染色標準,本文對醫生提供的標準樣片進行聚類分析,確定最佳的染色強度。在病理專家的幫助下,選取了200張醫生認為蘇木精和伊紅染色良好的樣本。因為染色樣本特征具有正態分布的概率分布特性,進行聚類分析后確定出伊紅通道平均灰度值位于185~190之間為伊紅染色標準范圍,蘇木精通道平均灰度值位于180~200為蘇木精染色標準范圍,均在范圍內記染色特征f4=1,反之f4=0。

1.4? 基于YOLOv5s的圖像特征提取

為了實現對鱗狀上皮細胞計數、細胞團遮擋面積和臟污面積占比的計算,首先要采用要對鱗狀上皮細胞、細胞團和臟污區域進行目標檢測。本方法采用YOLOv5s模型對鱗狀上皮細胞和細胞團進行目標檢測[17]。YOLOv5s網絡結構圖如圖5所示。

使用YOLOv5s完成對鱗狀上皮細胞、細胞團和臟污區域的目標檢測后,根據目標檢測結果,通過統計圖像中被檢測為鱗狀上皮細胞的標簽數量完成鱗狀上皮細胞的計數[18-19];通過對檢測為細胞團和臟污的區域進行閾值分割,可以得出細胞團和臟污區域的面積占比。

根據TBS診斷標準,鱗狀上皮細胞數量應該在5000~8000范圍內、細胞團數量在50以下及臟污面積占比小于25%,因此可按公式計算得到圖像特征f5-f7的值,f5-f7的計算公式分別為式(1),式(3),式(4):

f5=0x≤3000,x>10000

x/50003000

15000

1-(x-8000)/80008000

S=Scell+Scell_mass+Sdirty (2)

f6=1-Scell_mass/S(3)

f7=1-Sdirty/S(4)

其中:x為鱗狀上皮細胞的數量;Scell為鱗狀上皮細胞面積;Scell_mass為細胞團面積;Sdirty為臟污部分的面積。

1.5? 圖像質量評分方法

XGBoost高效地實現梯度提升決策樹(grandient boosting decision tree,GBDT),有較高的計算效率。在本次任務中將細胞病理圖像的7個指標輸入XGBoost,完成特征指標與圖像質量分數的映射。選取100張細胞病理圖像,由經驗豐富的病理醫生依照TBS診斷標準對細胞病理圖像進行打分,打分結果作為細胞病理圖像的真實分數,與XGBoost模型輸出的細胞病理圖像質量分數進行對比,驗證XGBoost回歸模型的預測性能。

XGBoost是由k個決策樹組成的一個加法運算式,在給出n個實例,m維特征的情況下,XGBoost可以表示為

D={(xi,yi)}(|D|=n,xi∈Rm,yi∈R)(5)

i=∑kt=1ft(xi),ft∈F(6)

其中:fk為第k個決策樹;i為第i個樣本的預測值;F是由K個基函數組成的函數空間。根據TBS診斷標準和細胞形態學特征,提取7個特征對XGBoost進行訓練,Rm代表第m個特征。

上述方法中提取到的圖像特征f1~f7輸入XGBoost模型,輸出最終的細胞圖像質量評價分數。

根據得到的細胞圖像質量分數,對宮頸液基細胞WSI的整體質量進行可信度評估。細胞圖像質量分數在5分以及上評定為整體“可信度好”,5分以下評定為“可信度差”。在智能病理輔助診斷系統中,對于可信度好的圖像,可用于輔助醫生判讀項目的研究測試或應用,并予以存儲。對于可信度差的圖像,無法提供可靠的判讀結果,建議重新掃描、存儲。

2? 實驗分析

2.1? 無參考評價的圖像清晰度判定方法實驗

本次使用的訓練數據包含16張不同的H&E染色的全視野數字切片。對于每一張幻燈片,我們用全視野數字切片掃描儀在20倍放大倍數下掃描一個約為6毫米面積的感興趣區域(region of interest, ROI),像素大小約為0.98μm×0.98μm 。對于每個ROI,由熟練的操作員手動選取25個聚焦點,并根據所選聚焦點進行聚焦,以確保焦平面與樣本高度對齊良好。然后在[-2.5μm,+2.5μm]之間對聚焦平臺加入固定擾動,以獲得相同的ROI以及相同ROI的不同焦平面圖像,距離準焦平面越遠的圖像模糊程度越高,反之模糊程度越低。最后,將所有感興趣區域圖像劃分為512×512像素大小的瓦片圖,共18萬張瓦片圖。將偏移量在[-0.5,+0.5]之間的瓦片圖,標記為清晰圖片,其余圖像標記為模糊。由于模糊的瓦片圖的數量(12萬)大于聚焦瓦片數量(6萬),因此隨機模糊瓦片圖隨機抽取10.8萬個樣本進行數據集構造,以防止分類訓練集的不平衡,最后10%的瓦片圖被選為驗證集。數據集中的所有樣本是完全匿名的。

首先,為了驗證ResNet-34模型分類的高效性,分別選用ResNet-34,ResNet-18,VGG-16進行訓練,將特征提取結果直接輸入到SVM進行分類。各種網絡的分類準確率如表1所示。從表1中可以看出,與準焦平面相鄰的焦平面分類準確率低,與準焦平面相距越遠的分類準確率越高。因為越遠離準焦平面,圖片越模糊,分類也就越容易。然而上述模型中其他3個分類模型在焦點附近的分類準確率較低,ResNet-34在焦點附近的準確率遠高于其他方法,并且平均分類準確率最高。為了更加清晰地看出各網絡分類準確率之間的關系繪制分類準確率點線圖,從圖6可以看出,ResNet-34對各個焦平面都有較高的分類準確率。

為了驗證注意力機制的有效性進行消融實驗,選取ResNet-34與加入通道注意力機制的ResNet-34在3個測試集上進行測試,平均分類準確率如表2所示,在3個測試集上,本文提出的方法均高于原本ResNet-34,這表明引入注意力機制模塊可以有效地提升原ResNet-34的分類準確率。

ResNet-34網絡結構中使用最大值池化和平均池化,最大池化和平均池化可以有效地對數據進行降維度。但是在清晰度判斷的應用場景下,平均池化和最大池化導致圖像高頻和低頻信息模糊,造成特征信息缺失,進而影響清晰模糊分類準確率。為了解決此問題,將ResNet-34網絡中的池化層改成最大最小值池化,具體操作如下:將特征向量同時做最大值和最小值池化,然后將池化后的特征向量進行連接,輸入到全連接層。為了驗證最大值+最小值池化的有效性進行消融實驗,在ResNet-34+通道注意力機制的網絡結構基礎上,最后一層的池化操作中分別使用最大值池化,最小值池化,平均池化和最大值+最小值池化進行驗證。在3個數據集中,進行分類準確率驗證,實驗結果如表3所示,其中,最小值池化在3個測試集上的分類準確高于平均池化和最大值池化,最大池化在3個測試集的平均分類準確率較低,最大值+最小值池化的在3個測試集上的平均準確率更高,平均準確率提高約2%。

為了驗證網絡的計算效率,本節中提出的方法與多種清晰度評價與Yu′s CNN[20]、Brenner、Sobel、SMD、Roberts、CPBD、JNB、EMBM[21]清晰度評價方法進行對比,各方法運行平均時間如圖7所示。從上述實驗可以看出,本節提出的基于深度學習的清晰度判定方法,不僅有著優秀的判定準確率,而且計算效率也由于多數的評價方法。

2.2? 基于YOLOv5s的圖像特征提取實驗

對比了多種目標檢測網絡對于鱗狀上皮細胞和細胞團的檢測能力,對比目前主流目標檢測的檢測能力,目前主流目標檢測模型對于鱗狀上皮細胞和細胞團檢測的召回率和mAp@0.5如表4所示。目標檢測中使用mAP(Mean Average Precision,平均精度均值)來評估檢測準確度,mAP值越大目標檢測效果越好。

從上表可以看出,YOLOv5s在細胞團和鱗狀上皮細胞的mAp@0.5和召回率效果都很好,可以用于鱗狀上皮細胞計數和細胞團檢測。

2.3? 圖像質量評分方法驗證

為了驗證XGBoost回歸模型的預測性能,選取100張細胞病理圖像,由經驗豐富的病理醫生依照TBS診斷標準對圖像質量進行打分,打分結果作為細胞病理圖像質量的真實分數。XGBoost的參數設置為:學習率范圍設置為0.01~0.9,迭代次數范圍設置為100~10000,隨機采樣比例范圍設置為0~0.9。通過搜索遍歷,最終確定本文所使用的XGBoost模型樹的最佳參數設置。其中選擇提升器選用gbtree,學習率設置為0.05,樹的最大高度設置為3,葉子最小權重和設置為1,樣本采樣比率設置為0.2,迭代次數設置為1000,評估指標選用MAPE,任務函數選擇Gamma。實際分數與預測分數的對比圖如圖8所示。

實驗表明XGBoost可以準確地評價細胞病理圖像質量,并且符合TBS診斷標準。

2.4? 評價性能實驗

為了評價基于TBS的細胞病理圖像質量評價方法的運算性能,選取5個不同分辨率的WSI圖像,每個樣本的分辨率如表5所示。本實驗的計算機環境為Ubuntu64位操作系統,CPU為Intel(R) Xeon(R) CPU E5-2678,GPU為NVIDIA 2080Ti,編程語言為python實現。

細胞病理圖像質量評價所耗時間如表6所示,從表6可以看出,質量評估過程主要包括清晰度評價時間、目標檢測時間、染色判斷時間和磁盤讀寫時間;分辨率越高的細胞病理圖像評估時間越長;其中清晰度判斷和目標檢測時間比較耗時,這兩個階段占用了質量評估的大部分時間,在整體評估時間中占總體的90%以上。

3? 結? 論

本文針對WSI圖像質量評估方面缺乏病理醫學知識的問題,提出了一種基于TBS診斷標準和圖像質量共識的細胞病理圖像評價方法。該方法融合了傳統圖像評價指標和TBS診斷標準。為了完成基于TBS的細胞病理圖像評價方法,首先提出了基于殘差網絡的清晰度判定方法,采用Resnet-34提取圖像特征,并在原有的網絡基礎上添加通道注意力機制模塊和最大值最小值池化,將圖像特征輸入到全連接層中,進行圖像清晰模糊分類,可以高效快速地檢測WSI圖像中的模糊區域,解決了傳統清晰度評價函數難以直接評價圖像是否清晰這一問題。然后根據顏色反卷積,成功地分離出蘇木精和伊紅染色通道,并且計算出兩個通道的平均灰度值,可以用于評價細胞病理圖像的染色標準。通過yolov5s目標檢測網絡,對圖像中鱗狀上皮細胞、細胞團和臟污區域進行檢測和評價。最后將提取出來的特征指標輸入到XGBoost回歸模型中完成細胞圖像質量評價。根據圖像質量的可靠性將其應用在智能病理輔助診斷系統中。實驗表明,本文提出的質量評價方法適用于H&E染色的細胞病理圖像質量評價,并且將TBS病理知識融合到評價流程,解決了臨床圖像質量評價難的問題。

參 考 文 獻:

[1]? 中國病理醫師協會數字病理與人工智能病理學組, 中華醫學會病理學分會數字病理與人工智能工作委員會, 中華醫學會病理學分會細胞病理學組. 宮頸液基細胞學的數字病理圖像采集與圖像質量控制中國專家共識[J]. 中華病理學雜志, 2021, 50(4): 4.

Expert Group of Digital Pathology and Artificial Intelligence Pathology of Chinese Association of Pathologists; Expert Group of Digital Pathology and Artificial Intelligence Pathology of Chinese Society of Pathology; Expert Group of Cytopathology of Chinese Society of Pathology. Chinese Exports′ Consensus on Digital Pathological Image Acquisition and Quality Control of Cervical Liquid Based Cytology[J]. Chin J Pathol, April 2021, 50(4): 4.

[2]? 王紫旋,謝怡寧,何勇軍.病理輔助診斷系統中數字濾光片的實現方法[J]. 哈爾濱理工大學學報, 2022, 27(1): 40.

WANG Zixuan, XIE Yining, HE Yongjun. Realization Method of Digital Filter in Pathological Assistant Diagnosis System.[J]. Journal of Harbin University of Science and Technology, 2022, 27(1): 40.

[3]? HOSU V, LIN H, SZIRANYI T, et al. KonIQ-10k: An Ecologically Valid Database for Deep Learning of Blind Image Quality Assessment[J]. IEEE Transactions on Image Processing, 2020, 29: 4041.

[4]? ZHANG W, MA K, YAN J, et al. Blind Image Quality Assessment Using a Deep Bilinear Convolutional Neural Network[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 30(1): 36.

[5]? LI D, JIANG T, LIN W, et al. Which Has Better Visual Quality: The Clear Blue Sky or a Blurry Animal?[J]. IEEE Transactions on Multimedia, 2018, 21(5): 1221.

[6]? 姚旺,劉云鵬,朱昌波.基于人眼視覺特性的深度學習全參考圖像質量評價方法[J] .紅外與激光工程, 2018, 47(7): 39.

YAO Wang, LIU Yunpeng, ZHU Changbo. Deep Learning of Full-reference Image Quality Assessment Based on Human Visual Properties[J]. Infrared and Laser Engineering, 2018, 47(7): 39.

[7]? 王同罕,賈惠珍,舒華忠.基于梯度幅度和梯度方向直方圖的全參考圖像質量評價算法[J] .東南大學學報(自然科學版), 2018, 48(2): 276.

WANG Tonghan, JIA Huizhen, SHU Huazhong. Full-reference Image Quality Assessment Algorithm Based on Gradient Magnitude and Histogram of Oriented Gradient[J]. Journal of Southeast University (Natural Science Edition) , 2018, 48(2): 276.

[8]? SENARAS C, NIAZI M K K, LOZANSKI G, et al. Deep Focus: Detection of Out-of-focus Regions in Whole Slide Digital Images Using Deep Learning[J]. PloS One, 2018, 13(10): e0205387.

[9]? SHAKHAWAT H M, NAKAMURA T, KIMURA F, et al. Automatic Quality Evaluation of Whole Slide Images for the Practical Use of Whole Slide Imaging Scanner[J]. ITE Transactions on Media Technology and Applications, 2020, 8(4): 252.

[10]CIBAS E S, ALI S Z. The Bethesda System for Reporting Thyroid Cytopathology[J]. Thyroid, 2009, 19(11): 1159.

[11]劉佳甲.基于特征金字塔網絡的目標檢測算法研究[D].秦皇島:燕山大學,2020.

[12]ABDU-ALJABAR R D, AWAD O A. A Comparative Analysis Study of Lung Cancer Detection and Relapse Prediction Using XGBoost Classifier[J]. IOP Conference Series Materials Science and Engineering, 2021, 1076(1):012048.

[13]JIE H, LI S, GANG S, et al. Squeeze-and-Excitation Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017(1): 99.

[14]HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770.

[15]S·楚卡, 藍舟. 輔助組織樣本分析的載玻片圖像顏色反卷積系統及方法[P]. CN111095358A, 2020.

[16]劉巍, 張彥澤, 于斌超,等. 基于大津法與K均值聚類算法聯合優化的圖像二值化方法[P]. 中國:CN112037233A, 2020-12-04.

[17]REDMON J,DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-time Object Detection[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 779.

[18]梁義欽, 趙司琦, 王海濤, 等. 兩階段分析的異常簇團宮頸細胞檢測方法[J]. 哈爾濱理工大學學報, 2022, 27(2): 76.

LIANG Yiqin, ZHAO Siqi, WANG Haitao, et al. Two-stage Detection Method for Abnormal Cluster Cervical Cells[J]. Journal of Harbin University of Science and Technology, 2022, 27(2): 76.

[19]趙司琦. 基于深度學習的宮頸異常細胞檢測方法[D]. 哈爾濱:哈爾濱理工大學, 2022.

[20]YU S, WU S, WANG L, et al. A Shallow Convolutional Neural Network for Blind Image Sharpness Assessment[J]. PloS one, 2017, 12(5): e0176632.

[21]GUAN J, ZHANG W, GU J, et al. No-reference Blur Assessment Based on Edge Modeling[J]. Journal of Visual Communication and Image Representation, 2015, 29: 1.

(編輯:溫澤宇)

91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合