胸部X光片多特征融合的冠狀病毒診斷

龍如山，楊 丹

（遼寧科技大學 計算機與軟件工程學院，遼寧 鞍山 114051）

近年來，傳染性極強的冠狀病毒嚴重影響了人們的生活，截至目前已致數億人感染。在全球范圍內，防范冠狀病毒傳播仍然是一項重要的工作。目前冠狀病毒檢測的兩種技術分別是實時逆轉錄-聚合酶鏈反應（RT-PCR）和醫學成像技術。RT-PCR的敏感性較低，一般為60%～70%，且耗時較長；利用患者肺部X 光片圖像檢測Covid-19，可以加快篩查和診斷速度，然而X 光片圖像的檢查需要專業的放射科醫生，一旦篩查病例增加，則將面臨專業醫護人員短缺和易受外界因素影響等問題。因此，采用人工智能的冠狀病毒診斷系統將加快診斷速度，提高診斷準確率。

隨著深度學習技術的不斷發展，在計算機視覺任務中，如圖像分類、目標檢測和圖像分割等都取得了良好的性能，促進了人工智能在生命科學領域的利用。目前許多研究將CNN（Convolutional neural networks）、ViT（Vision transformer）等 主流技術應用到醫學成像中，如皮膚病變分類［1］、腦腫瘤檢測［2］、乳腺癌檢測［3］和肺病理篩查［4］等。隨著深度視覺神經網絡模型的可用性不斷加強，在胸部X 光片圖像上的分類、檢測和分割等任務都取得良好結果，但通過X 光片的疾病智能診斷仍存在問題與挑戰：（1）視覺網絡模型從X光片中提取的特征太過單一化。若將整張胸部X光片作為網絡模型的輸入，單一的網絡模型將很難捕獲X光片中關鍵特征和輪廓特征，進而導致學習到的胸部X光片表征能力弱。（2）監督學習網絡在胸片疾病診斷上太過依賴診斷標簽，這將導致得到的X光片特征過度擬合診斷標簽，從而丟失了胸片內部真實隱性特征。因此，本文提出將胸部X 光片多特征融合的冠狀病毒診斷框架Covid-19Net，融合X 光片圖像特征、關鍵點特征和肺掩膜特征作為X 光片的特征表示，實現冠狀病毒的人工智能診斷。

1 X光片的冠狀病毒診斷方法

最近，許多研究采用深度學習方法從肺部X光片中診斷冠狀病毒。Hemdan 等［5］提出由七個CNN 組成的COVIDX-Net 模型，用于正常和新冠肺炎X光片二元分類，正常和新冠肺炎的F1 值分別達到89%和91%。Wang等［6］提出一種用于Covid-19 檢測的深度模型Covid-Net，該模型對正常、非Covid 肺炎和新冠肺炎類別識別準確率達到92.4%。Waheed 等［7］提出一種基于輔助分類器生成對抗網絡（Auxiliary classifier generative adversarial network，ACGAN）模型CovidGAN 合成胸部X 射線（Chest X-ray，CXR）圖像的方法，實驗結果表明，單獨使用CNN分類器的準確率為85%，采用CovidGAN 生成合成圖像，準確率提高到95%。Chowdhury 等［8］采用遷移學習技術訓練深度卷積神經網絡，在包含423個新冠肺炎、1 485個病毒性肺炎和1 579 個正常胸部X 光圖像的數據集上進行實驗，結果表明，DenseNet201 模型在X 光片二元分類和多元分類上取得最佳分類性能，靈敏度分別為99.7%和97.9%。Fan 等［9］提出一個多核空間通道注意力方法（Multi-kernel-size spatial-channel attention network，MKSCAN），集成一個特征提取模塊、一個多核注意力模塊和一個分類模塊，在包含 的500 張Covid-19 和500 張非Covid-19 圖 像的數據集上，達到98.1%的靈敏度和98.3%的特異性。

對比學習（Contrastive learning）［10］是一種用于表示學習的技術，旨在將相似的輸入樣本映射到嵌入空間中的相鄰位置，而將不相似的樣本映射到空間中較遠的位置。在對比學習中，從大量的未標記數據中選擇兩個或更多的樣本進行比較，找到它們之間的差異和相似之處。這種方法已廣泛用于自監督和非自監督的表示學習中。He等［11］提出MoCo 編碼器，通過構造一個負樣本對，并設計批次分支動量更新策略，用于維護批次數據和隊列數據的一致性。Chen等［12］提出SimCLR對比學習方法，將當前批次中不同于自身樣本增強的樣 本 作 為 負 樣 本。Richemond 等［13］提 出BYOL（Bootstrap your own latent）對比學習方法，從一個視圖預測另一個視圖，不需要構造負樣本對，在BYOL的一個分支網絡中引入動量編碼器，避免模型出現坍塌問題。Chen 等［14］提出Simsam 對比學習方法，在BYOL的基礎上進行改進，通過移除動量編碼器采取停止梯度關鍵操作，使模型沒有出現坍塌。

已有研究大多數針對下游任務。首先利用自監督對比學習方法訓練模型，然后將預訓練模型遷移到下游任務上。然而，預訓練模型提取的特征應用到下游任務監督學習中，并不能很好地達到同步效果。此外，一些研究并未充分考慮融合X光片的多特征，這被視為一個潛在的不足。使用多個特征解決醫學圖像的問題已經被證明是有效的，這些特征可能來自不同的模態或視角，可以提供不同的信息，幫助模型更準確地進行分類。因此，僅僅考慮X 光片中的某一特征，可能無法充分利用其他重要的特征信息，會限制模型性能。

2 多特征融合的冠狀病毒診斷

本文提出的胸部X光片多特征融合的冠狀病毒診斷框架Covid-19Net 如圖1 所示。Covid-19Net由五個模塊組成：胸部X光片圖像特征提取模塊；X 光片特征的教師—學生對比學習網絡；胸部X 光片關鍵點特征提取模塊；肺掩膜特征提取模塊；X光片的冠狀病毒診斷模塊。

圖1 胸部X光片多特征融合的冠狀病毒診斷框架Covid-19NetFig.1 Coronavirus diagnostic framework Covid-19Net with multi-feature fusion of chest X-rays

2.1 基于EfficientNet網絡的X光片特征提取

首先對X 光片進行圖像增強，常見增強操作主要有兩大類：一種類型的增強涉及數據的幾何和空間轉換，如裁剪調整大小和旋轉；另一種類型的增強涉及外觀轉換，如顏色失真（包括顏色下降、亮度、對比度、飽和度、色調）、高斯模糊和Sobel濾波等。本文對X 光片采取隨機增強操作，對原始圖剪裁、調整大小、旋轉和添加高斯噪聲，可視化效果如圖2所示。

圖2 X光片數據增強Fig.2 X-ray data augmentation

EfficientNet 重點提升網絡深度、網絡寬度和分辨率這三個維度。EfficientNet 通過NAS（Neural architecture search）技術搜索網絡的圖像輸入，平衡深度d、寬度w和分辨率r這三個維度，通過一組固定的擴展系數（α，β，γ）綜合擴展這三個維度。d、w和r的計算式

其中，φ為混合因子，用于平衡擴展d、w和r參數。

2.2 X光片的教師—學生對比學習網絡

為了學習到更好的X 光片特征，本文采用教師—學生對比學習網絡，聯合疾病診斷標簽共同優化X光片特征。

X 光片的教師—學生對比學習網絡由三個編碼器所組成，分別為學生編碼器、教師編碼器和預測編碼器。三個編碼器都由MLP（Multilayer perceptron）組成，其中MLP 有兩層，BN（Batch normalization）批次歸一化和GELU 激活函數用于隱藏的全連接層。學生編碼器和教師編碼器的輸入維度d為1000，輸出維度為128，中間隱藏層維度為512。學生編碼器的輸出作為預測編碼的輸入，預測編碼器的隱藏層維度設為512，輸出維度為128，這使得預測編碼器成為一個瓶頸結構。此外，教師編碼器設置梯度停止。為了避免教師編碼器與學生編碼器網絡參數更新后差異過大，引入MOCO中的動量更新策略。

本文利用2 個共享參數的EfficientNet-B3 預訓練模型對增強后的X 光片進行特征提取，經過學生編碼器和教師編碼器分別得到學生特征、和教師特征、。形式上，和的網絡參數分別表示為ε1和ε2。ε2的更新過程計算式

其中，m為動量參數。

其中，N為批次大小。

2.3 胸部X光片關鍵點特征提取

尺度不變特征變換（Scale invariant feature transformation，SIFT）技術可以從圖像中提取關鍵點，并且在處理尺度縮放、平移、旋轉、亮度變化和噪聲等各種圖像時，能夠提取具有良好穩定性的關鍵點。本文利用SIFT技術獲取X光片圖像中的關鍵點，這是提高X 光片的冠狀病毒診斷的關鍵一步，接著將所有關鍵點聚集形成一個字典，然后通過MiniBatchKmeans 方法聚類成K個詞袋。對每張X 光片中的每個關鍵點特征聚類，找到離特征最近的中心點，即可得到X 光片中關鍵點在K個詞袋出現的頻率，構造詞頻直方圖作為該X 光片的關鍵點特征。

本文構建的詞袋數量為K，即每張X 光片關鍵點特征的維度。因提取的關鍵點維度較高，使用全連接層對關鍵點特征進行降維，得到關鍵點的低維特征表示

式中：σ為非線性函數；W為可學習參數；b偏置項。

2.4 肺掩膜特征提取

在X 光片冠狀病毒診斷過程中，為了裁掉非肺區域影像，先將X光片分割生成肺掩膜圖像，調整每張肺掩膜圖像使其尺寸統一，再利用ResNet18 預訓練模型提取肺掩膜圖像特征，將肺掩膜圖像特征輸入到MLP 層中，得到肺掩膜圖像特征Xmask。這里引入MLP 主要是起到降維和進一步提取肺掩膜深層特征作用。Xmask計算式

其中，X為大小統一的肺掩膜圖像。

2.5 X光片的冠狀病毒診斷

式中：f為非線性函數；W0為學習參數；b0為偏置系數；‘°’為連接符。

本文優化Xlung的損失函數由兩部分組成，分別是教師—學生對比學習損失lossC和疾病診斷最小化交叉熵損失lossy。其中，對比學習損失可以在網絡訓練過程中約束X光片對疾病診斷標簽的依賴，疾病診斷最小化交叉熵損失可以加快網絡訓練收斂。lossy計算式

其中，Ytrue為X 光片真實疾病標簽，Ypred為預測值。本文最終的損失函數loss計算式

其中，λ1和λ2為平衡因子。

3 實驗結果及分析

3.1 數據集

本文使用COVID-QU-Ex［15］數據集。COVIDQU-Ex 數據集由33 920 張胸部X 光片圖像組成，包括Covid-19共11 956例，非Covid-19感染（病毒性或細菌性肺炎）共11 263例和正常共10 701例。數據集還提供真實肺分割掩模，是迄今為止最大的肺掩膜X光片數據集。胸部X光片和肺掩膜部分樣例如圖3所示。

圖3 胸部X光片數據樣例Fig.3 Example of chest X-ray data

3.2 參數設置

X光片尺寸統一設置為224×224，肺掩膜圖像設置為128×128。在X光片關鍵點聚類過程中，K為1 000。在教師—學生對比學習網絡中，動量參數m設為0.99。訓練過程中，使用SGD（Stochastic gradient descent）優化器，學習率為0.5，剩余的網絡參數學習率為0.05，批處理大小設為32，訓練迭代次數為10。教師—學生對比學習損失和疾病診斷損失的平衡因子分別為1.0 和1.5。數據集按7∶1∶2隨機劃分為訓練集、驗證集和測試集。

3.3 評估指標

本文采用4 種指標，分別為準確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1 值來評估模型性能。4種指標的計算式

式中：TP（True Positive）表示X光片的疾病類別為陽性，預測的X 光片的疾病類別為陽性；FP（False Positive）表示X光片的疾病類別為陰性，預測的X 光片的疾病類別為陽性；FN（False Negative）表示X 光片的疾病類別為陽性，預測的X 光片的疾病類別為陰性；TN（True Negative）表示X光片的疾病類別為陰性，預測的X 光片的疾病類別為陰性。

3.4 實驗結果與討論

將本文提出的Covid-19Net 方法與其他新冠診斷方法進行對比，對比方法有ResNet18、ResNet50、ResNet101、ChexNet、Vgg16、Efficient-Net-B2 和EfficientNet-B3。不同方法的冠狀病毒診斷結果詳見表1。Covid-19Net 方法所有評價指標方面都明顯優于其他方法，表明Covid-19Net 通過融合X 光片圖像特征，關鍵點特征和肺掩膜特征在冠狀病毒診斷任務上取得最佳性能。

表1 不同方法的X光片冠狀病毒診斷結果Tab.1 Diagnostic results of coronavirus on chest X-rays by different methods

3.5 消融研究

為了驗證教師—學生對比學生網絡的有效性，本文移除了X光片特征的對比模塊，將此網絡框架命名為Covid-19Net-contrast，Covid-19Net-contrast直接融合EfficientNet-B3 預訓練模型提取X 光片的圖像特征、關鍵點特征及ResNet18 提取的肺掩膜圖像特征。Covid-19Net 和Covid-19Net-contrast在X光片的冠狀病毒診斷實驗結果如表2 所示。Covid-19Net-contrast在X光片診斷上性能評估指標均低于Covid-19Net 方法。表明本文提出的教師—學生對比學習網絡可以更好地學習并優化X 光片圖像特征。

表2 Covid-19Net的消融研究，%Tab.2 Ablation study of Covid-19Net，%

為了驗證本文提取X光片關鍵點特征和肺掩膜特征對冠狀病毒診斷的有效性，將僅使用X 光片關鍵點特征的網絡框架Covid-19Netkey、僅使用肺掩膜特征的網絡框架Covid-19Netmask、融合X 光片關鍵點特征與肺掩膜特征的網絡框架Covid-19Netkey+mask進行冠狀病毒診斷對比，實驗結果如表2 所示，Covid-19Netkey+mask較Covid-19Netkey和Covid-19Netmask在X 光片上的診斷性能有明顯提升。本文融合X 光片圖像特征、關鍵點特征和肺掩膜特征的網絡框架Covid-19Net精確率達到94.72%，表明該方法對冠狀病毒診斷是有效的。

4 結 論

本文提出一種新的胸部X光片多特征融合的冠狀病毒診斷框架Covid-19Net，充分考慮X 光片中的圖像特征、關鍵點特征和肺掩膜特征，通過融合這三部分特征，得到更為緊湊的X 光片圖像特征。采用教師—學生對比學習網絡聯合疾病診斷結果共同優化X 光片圖像特征。在COVID-QUEx數據集上實驗結果表明，Covid-19Net對X光片的冠狀病毒診斷準確率達到94.86%，性能好于其他方法。