基于注意力機制的雙分支肺炎圖像分類網絡

張吉友 張榮芬 劉宇紅

文章編號? 1000-5269（2024）01-0094-09

DOI：10.15958/j.cnki.gdxbzrb.2024.01.15

收稿日期：2022-12-05

基金項目：貴州省科學技術基金資助項目（黔科合基礎-ZK[2021]重點001）

作者簡介：張吉友（1998—），男，在讀碩士，研究方向：計算機視覺、醫學圖像處理，E-mail：1916537869@qq.com.

*通訊作者：張榮芬，E-mail： rfzhang@gzu.edu.cn.

摘? 要：目前許多肺炎圖像分類網絡大多采用單分支網絡對輸入圖像進行特征提取，這在一定程度上忽略了圖像不同維度的特征信息。為了優化這種問題，提出一種融入注意力機制的雙分支肺炎圖像分類網絡，利用VGG16網絡和加入可分離卷積以及融入卷積注意力模塊（convolution block attention module， CBAM）的CNN卷積神經網絡進行雙分支特征提取，能夠關注到肺炎圖像不同層次的特征信息，將2種網絡分支的特征進行不同維度的融合，最后輸入全連接層進行分類判決。結果表明，該網絡在正常肺部、病毒性肺炎、新型冠狀病毒肺炎（COVID-19）X-ray圖像組成的測試集上取得了95%的平均準確率。經過消融試驗證明，該網絡加入的可分離卷積模塊、注意力模塊和特征融合對減少網絡參數、提高網絡分類的準確率起到明顯作用。與其他網絡的性能對比也表明該網絡在肺炎圖像分類上表現出較高的準確率和較強的魯棒性。

關鍵詞：新冠肺炎；肺炎圖像分類；注意力機制；雙分支特征提取和融合

中圖分類號：TP391.41

文獻標志碼：A

新型冠狀病毒肺炎（COVID-19），簡稱“新冠肺炎”?？ㄊ綗晒釶CR法是快速確診新冠肺炎的方法［1］，但是這種方法采集新冠病毒核酸存在檢測結果有效期短、靈敏度較低等缺點，需要重復檢測才能確診。對于防治新冠肺炎和阻止疫情的有效方法是能夠及時發現病人并快速隔離。借助X線（X-ray）胸片圖像和電子計算機斷層掃描（CT）圖像確診新冠肺炎是一種快速、方便、準確率高的有效方法。但是，由于新冠肺炎傳染力強，許多地區的防疫形式嚴峻，導致醫生識別新冠肺炎醫學圖像的工作量增大。為了對醫學圖像進行分類和找出病灶部位，新冠肺炎爆發以來，采用深度學習對X-ray圖像進行分類成為熱點研究方向。例如，宋瑤等［2］改進U-net網絡以對新冠肺炎的CT圖像進行分割。ICEK等 ［3］把所有的2D卷積換成3D卷積塊，采用批量標準化防止梯度爆炸。冉健雨［4］利用遷移學習，運用VGG19，ResNet50和CheXNet這幾種卷積神經網絡進行分類并比較網絡的分類效果。

雖然很多專家和學者利用遷移學習和已有的網絡結構在分類方面取得了不錯的效果，但是許多網絡存在網絡層數較多，容易造成過擬合，而且采用單分支網絡提取圖像特征的效果不好。為解決上述問題，本文提出了一種基于并行雙分支結構進行特征提取，在卷積網絡融入可分離卷積和注意力模塊，注重各類肺炎圖像的有用特征信息，然后利用兩路網絡提取到的特征進行特征融合，從而實現對肺炎圖像進行高效分類，以期借助深度學習神經網絡模型智能識別肺炎圖像，將其作為新冠肺炎預防的一種輔助診斷手段。

1? 融入注意力模塊的雙分支多分類網絡

基于文獻［5］，本文提出了一種融入注意力機制的雙分支肺炎圖像分類網絡，其結構示意如圖1所示。雙分支網絡的一個分支是VGG16遷移學習網絡，另一個分支網絡則包括5個卷積塊。每個卷積塊中依次加入卷積層、激活層、正則化層和池化層。為了增強網絡對各種肺炎圖像的特征提取，在卷積網絡的第3、4、5個模塊中分別加入了卷積注意力模塊（convolution block attention module， CBAM），并將其輸出和第一個分支網絡的輸出在Concatenate模塊實現特征融合，然后將融合層的輸出送入到4層全連接層進行分類。

由圖1可見：采用雙分支網絡并且加入注意力模塊突破了單分支提取特征的局限，可以提高模型處理數據和提取高質量特征的能力；而將2個分支網絡提取到的不同特征進行特征融合，在一定程度上獲取了更多不同種類肺炎圖像的特征。其中，選擇第3個卷積塊的輸出加入CBAM模塊作為融合源，能從全局上把握數據的分布情況并進行特征提取。所得特征有助于模型提取淺層特征信息，利用淺層特征信息進行圖像分類。此外，將第4個和第5個卷積塊的輸出作為注意力機制模塊特征融合的一個信息源，以獲得更深層次的特征信息。經過幾次卷積和注意力模塊的添加，網絡獲取到的信息是輸入數據更深層次的信息，使得網絡對深層次的信息更加關注。同時，網絡中的特征融合模塊能對不同維度的特征信息進行整合，有利于網絡結合淺層特征和深層特征進行分類。

1.1? CBAM

注意力機制在人類的感官中扮演著重要的角色。人類視覺在處理視野里面的所有對象時相對困難，但是能夠抓住視野里面一些對象的主要特征進行學習，而再次遇見類似對象時則能抓住其主要特征進行識別。這一效應運用到計算機視覺領域，可以讓深度學習模型注重輸入的有用特征信息，忽略無關信息以便能更好地進行分類識別。

CBAM于2018年提出。在深度學習中加入CBAM注意力機制，不僅使得網絡知曉應該注意哪里，而且還能提高興趣區域的特征表示能力［6］。而CBAM注意力機制本質是一個簡單而有效的前饋卷積神經網絡注意力模塊。CBAM計算量比較小，是輕量的通用模塊，因此可以加入到任何卷積神經網絡中。本文將其添加到卷積網絡中，幫助網絡學習到各類X-ray圖像的特征信息。

圖2［7］是CBAM中通道注意力模塊和空間注意力模塊生成特征圖的示意圖。CBAM可以生成一維通道注意力特征圖Mc（記作Mc）和二維空間注意力特征圖Ms（記作Ms）。數據輸入（記作I）依次經過通道注意力（數據輸出記作I1）和空間注意力模塊的篩選，生成新的注意力特征圖（記作O）。該過程強調重要特征，壓縮不重要特征，可用公式表示為：

I1=McΘI（1）

O=MsΘI1（2）

1.2? 可分離卷積模塊

可分離卷積最早由Google的MobileNet提出［8］，其本質是把完整卷積運算分解成2步卷積進行。第一步是在每個通道上進行卷積運算，不會改變輸入的通道數目，通常稱其為深度卷積部分。第二步是將深度卷積得到的特征圖進行逐點卷積，最后得到輸出特征圖。普通卷積和可分離卷積運算的過程分別如圖3和圖4所示。

對于普通卷積而言，假設輸入為C通道的特征圖，卷積核大小為M×M，輸出為C1通道，特征圖大小為m×m，則此時普通卷積的運算量CC表示為

CC=M×M×C×m×m×C1（3）

對于深度卷積而言，在逐層卷積階段，輸入的C通道的特征圖和C個大小為M×M濾波器分別各自進行逐層卷積，最后輸出C個特征圖。隨后逐層卷積輸出的特征圖和C1個1×1×C的濾波器通過逐點卷積操作得到輸出為C1通道，大小為m×m的特征圖，則可分離卷積的運算量CS表示為

CS=M×M×C×m×m+m×m×C×C1（4）

對比兩者運算量：

CSCC=M×M×C×m×m+m×m×C×C1M×M×C×m×m×C1

=1C1+1M2（5）

本文使用的卷積核大小M=3，1M2為1/9，C1為輸出通道數，一般比較大，因此C1通?？梢院雎圆挥?。根據式（5）計算結果，利用普通卷積的運算量大概是利用可分離卷積的8至9倍［8］。但是，根據后續實驗表明，利用可分離卷積實現的網絡，其精度下降非常小。

1.3? 特征融合模塊

特征融合模塊的功能是對相同的輸入圖像，分別利用2種以上的網絡進行不同的特征提取，最后將所提取到的特征進行不同維度的融合。假設Π是含有m個被標記的訓練樣本空間，記為Rn，ζ是其中的一個訓練樣本，則

Π=[ζ|ζ∈Rn]（6）

若特征向量A，B，…，N滿足：

A=［x|x∈R1］

B=［y|y∈R2］

N=［n|n∈Rk］（7）

那么從不同的圖像所得到的特征融合向量空間

Df=cat（A，B，…，N） （8）

式中：A，B，…，N為對于相同的輸入通過不同的訓練分支提取的特征向量；cat為按向量維度進行拼接。

2? 實驗準備及模型訓練

2.1? 數據集

由于醫學圖像不易獲取，而且肺炎X-ray圖像需要相關的專家才能進行標注，所以本次實驗的數據集來源于Kaggle公開競賽數據集。該數據集是卡塔爾多哈的卡塔爾大學和孟加拉國的達卡大學的研究人員，以及巴基斯坦和馬來西亞的合作者與醫生共同構建的數據庫。數據庫中新冠肺炎圖像包含了新冠肺炎不同階段的圖像，不同階段的特征又不相同，這對于深度學習網絡提出了更加嚴峻的考驗。我們在數據集中隨機挑選了正常肺部（Normal）、病毒性肺炎（Viral pneumonia）、新冠肺炎（COVID-19）的X-ray圖像各300張，采用等比例的訓練集，防止深度學習模型對某一類較多的圖像有較強的識別能力。在實驗中將900張圖像按照8∶2的比例劃分為訓練集和驗證集。

2.2? 圖像預處理

原始數據集中的圖像來自不同的醫院，尺寸大小各不相同，尺寸太大不能作為輸入，因此在網絡的訓練過程中將圖像變為150×150；并且為了提高網絡訓練的效果，采取隨機改變圖像的亮度、對比度，對圖像的視野進行縮放，對角度進行翻轉等操作來拓展數據的輸入形式。圖像預處理的參數設置見表1。

2.3? 實驗環境和評價指標

本文基于TensorFlow2.8.0架構開展實驗，利用Python3.8進行編程，所有程序在 Ubuntu16.04 LTS 64-bit 系統上運行，CPU 為 Intel（R） Core（TM） i7-7800X CPU@3.50GHz，GPU為雙卡 NVIDIA GTX 1080Ti。

評價標準采用準確率A、精度S、召回率P、F1度量F1來進行評價，其計算公式如下：

A=TP+TNTP+TN+FP+FN×100%（9）

S=TPTP+FN×100%（10）

P=TPTP+FP×100%（11）

F1=2×S×PS×P×100%（12）

式中：TP為被正確預測為正類；TN為被正確預測為負類；FP為被錯誤預測為正類；FN為被錯誤預測為負類。

2.4? 模型訓練

在模型訓練時，訓練集數據采用shuffle data方法并隨機打亂，再根據batch size的大小輸入打亂順序的訓練數據，這樣操作有效地避免了模型對某一類圖像產生過擬合。在特征提取網絡中，深度可分離卷積的卷積核大小為3×3，每一層都采用了最大池化，池化核大小設置為2×2，以突出每一類圖像的局部特征，有利于注意力模塊學習。采用輸入批量歸一化的方式規范輸入到CBAM模塊和下一層卷積層的數據。在特征融合模塊之后，分別設置了4層全連接層，其神經元個數分別為518，128，64和3。經過調參，最終將第1、2、3層丟棄率都設置為0.2。全連接層的前三層采用Relu函數作為激活函數，其表達式為

f（x）=max（0，x）（13）

由于f（x）小于0無值，大于0才有值，減少了參數之間的相互依賴性，可以減少過擬合［9］。最后一層采用Softmax函數作為激活函數，其表達式為

si=ej∑nj=1ej（14）

式中：si為SoftMax層的輸出概率值， ej為SoftMax層的輸入值；n為SoftMax層的輸入值個數。

本文模型采用動態學習率調整。如果模型在學習過程中發現驗證集的損失函數在訓練2個epoch后不下降，則將學習率降低為原來學習率的一半。訓練模型原始學習率設為1.0×10-3，最小學習率設為1.0×10-8。另外，為了防止模型產生過擬合的問題，在實驗中設置了早停機制。如果在訓練中超過10個epoch的驗證集損失函數沒有下降趨勢，則讓模型停止訓練。由于模型設立了早停機制和學習率下降機制，經過多次調試實驗，設置epoch為25時的模型準確率比較穩定。若epoch設置過大，會產生早停；若epoch設置過小，則模型準確率比較低。網絡的超參數設置如表2所示。

訓練過程中，訓練集和驗證集損失函數變化和準確率變化分別如圖5和圖6所示。由圖5和圖6可知：第9～11個epoch，由于驗證集的準確率不斷下降，連續2個epoch的驗證集損失函數升高；模型快速調整學習率，第12個epoch，驗證集的準確率開始提升，驗證集的損失函數開始下降；第20～25個 epoch，無論是訓練集還是驗證集的損失函數波動都很小，說明模型訓練已經接近穩定。

3? 實驗及分析

3.1? 分類實驗

為了驗證網絡的魯棒性，測試集選用的圖像數

據和訓練集來源不同，其中每一類的圖像均為250張。表3給出了該測試集在預測后的預測結果。本文網絡對新冠肺炎、病毒性肺炎的肺部圖像分類能力不如正常肺部，在測試過程中容易把部分帶有疾病的肺部圖像識別為正常的肺部圖像。

3.2? 消融實驗

為了證明CBAM、特征融合的有效性和驗證可分離卷積減少參數對分類指標影響微弱，選擇4種網絡（網絡A、B、C、D）和本文網絡進行消融實驗。消融實驗的所有參數都是實驗環境所用的架構自動計算出來的參數量。表4給出了消融實驗的5種網絡參數量、消融模塊的對比。 5種網絡對3類圖像分類的準確率、精度、召回率、F1度量的對比見表5。

對于網絡A和網絡B而言，由于結構簡單，需要擬合的參數少，其各項分類指標明顯低于其他的網絡。其中，網絡A的網絡相對比較深，訓練參數比較多，擬合效果好，所以其各項分類指標相比網絡結構簡單的網絡B有一定程度的提升。并行雙分支融合后，網絡的非訓練參數量等于2種單分支未并行前的非訓練參數量之和，但是融合后涉及到全連接層的權重參數，融合后的訓練參數量并不等于融合前兩并行分支的參數量之和。而參數增加使得分類準確率明顯上升，所以雙分支網絡對三類圖像分類的準確率相比單分支網絡都相對較高，證明了并行特征融合的有效性。對比網絡C和網絡D，雖然網絡D比網絡C的總參數量多了約21萬個，但是網絡D對于Normal和COVID-19的準確率都有一定提升，對于Viral pneumonia略有下降但仍然高達91.2%。證明了CBAM模塊在該網絡中的有效性。對比網絡D和本文網絡，雖然運用可分離卷積構建的網絡在各類別的平均準確率比運用普通卷積構建的網絡低0.004，但是訓練參數大約少了20萬個，在運算量上少8～9倍，很大程度上減少了網絡訓練時間。

對比5種網絡的準確率，Viral pneumonia的分類準確率均低于Normal和COVID-19。 Viral pneumonia包含多種病毒導致的肺炎，癥狀各有不同，對應的肺炎圖像也各不相同，導致各種模型對其分類準確率較低。綜上所述，雙分支網絡模型可以從不同尺度提取到3種類別圖像的特征信息，其中，CBAM模塊可以進一步關注3種圖像的關鍵信息，特征融合模塊能對2種分支網絡獲取的特征進行整合。通過消融實驗證明本文提出的各個模塊對于提高肺炎圖像分類的準確率是有效的。

3.3? 橫向對比實驗

為了進一步體現本文網絡各個模塊的有效性，和其他13種肺炎圖像分類網絡的指標進行對比，如表6所示。根據原文獻，實驗測試集的各個類別數量大多不相等，為了避免測試樣本不均衡問題，選取測試集時將3種類別的肺炎圖像數量設置相同。

由表6可知：文獻［10］的準確率99.3%最高，本文算法94.9%次之；相較于文獻［11］ 和文獻［12］運用Densnet201 和CNN的經典分類網絡，本文算法的準確率分別提高了0.03和0.01，因此驗證了本文模型對肺炎圖像分類的可行性。此外，本文網絡比其他13種網絡在對肺炎圖像分類方面的4個指標準確率、精度、召回率、F1度量均有一定的優勢，因此本文提出的網絡模型在進行肺炎圖像分類具有一定的可靠性。最后，對測試集的3個測試類別進行樣本均衡，獲得約95%的準確率，說明模型具有較好的泛化能力和良好的魯棒性。

3.4? 顯著性圖實驗

為了讓人們直觀理解深度學習是通過輸入圖片的哪些重要視覺特征進行分類判決，1987年，KOCH等引入顯著性圖來描述這些重要的視覺特征［23］。從一種角度來看，這是對模型的解釋；從另一種角度來看，顯著性圖即輸入圖片的特征圖，能夠反映圖像中的像素點對圖像分類結果的影響［24］。顯著性圖的計算原理如下：設圖片中的像素點為{x1，x2，…，xk}，經過網絡模型后的特征圖記yk。若某個像素點k改變，改變的像素點為{x1，x2，…，xk+dx}，輸出特征圖為y+dy，計算導數dy/dx，得到的值越大表示該點的顯著性越強。

為了驗證本文網絡中CBAM對圖像特征信息的關注度，在3種圖像類別中隨機選擇一張肺部圖像進行特征融合處理后的顯著性圖，如圖7所示。在顯著性圖中，像素點越亮表示該點對于整個網絡模型越具有吸引力，這對于網絡模型針對不同的圖像進行特征提取以及進行分類判決具有一定的幫助。對比融入CBAM和未融入CBAM的網絡對應的顯著性圖，其像素點對分類結果的影響分布大致差不多。但是，通過對比顯著性圖中紅框部分，無論是否融入CBAM，Normal、Viral pneumonia和COVID-19對應顯著性圖中重要特征點分布大致都在相同部位。值得注意的是，對于Viral pneumonia和COVID-19，添加了CBAM的網絡對應的顯著性圖中紅色框內的發亮的像素點比未加入CBAM的多，表明添加了CBAM的網絡對肺部的關注度較為明顯，也證明了CBAM注意到了該部分的顯著特征。由此可見，并行雙分支網絡和注意力模塊關注到了肺部X-ray圖像有用的特征信息，從而提升了模型檢測準確率。

在實際應用中，將該網絡模型搭載小程序或網頁，通過顯著性圖里的相關特征點可以輔助醫生從視覺上關注該類別圖像的特征信息，有助于醫生臨床診斷。

4? 結論

本文提出了一種雙分支肺炎圖像分類網絡，在卷積神經網絡中融入CBAM加強特征提取，利用特征融合模塊融合2個子分支提取的特征，采用Kaggle公開競賽數據集進行實驗，完成了對正常肺部、病毒性肺炎、新冠肺炎3類肺部X-ray圖像的分類任務。該網絡主要包括雙分支網絡（VGG16網絡，卷積神經網絡）、可分離卷積、CBAM和特征融合模塊。通過在卷積神經網絡不同層中添加注意力機制，使得注意力模塊能夠關注輸入圖像的深層特征信息并將這些信息進行不同維度的特征整合。驗證結果顯示：運用可分離卷積模塊減少了運算量，加快了網絡訓練；特征提取和特征融合模塊具有提高準確率的作用；同時，對測試集各類圖像進行類別均衡，證明了該模型較強的泛化能力和較好的魯棒性。本文網絡對于當前深度學習作為醫療輔助手段診斷新冠肺炎具有一定的參考價值，在醫院面臨大量新冠肺炎患者的時候可以考慮運用分類網絡作為框架搭載網頁或小程序對疑似新冠的病人進行檢測。

參考文獻：

[1]YE Z， ZHANG Y， WANG Y， et al. Chest CT manifestations of new coronavirus disease 2019 （COVID-19）： a pictorial review ［J］. European Radiology， 2020， 30（8）： 4381-4389.

［2］ 宋瑤， 劉俊. 改進U-Net的新冠肺炎圖像分割方法［J］. 計算機工程與應用， 2021， 57（19）： 243-251.

［3］ ICEK ， ABDULKADIR A， LIENKAMP S S， et al. 3D U-Net： learning dense volumetric segmentation from sparse annotation［C］// 2016 International Conference on MEDICAL Image Computing and Computer-assisted Intervention. Cham： Springer， 2016： 424-432.

［4］ 冉健雨. 基于深度學習的新冠肺炎X光片分類和可視化研究［D］. 河北： 燕山大學， 2021.

［5］ ABDAR M， FAHAMI M A， CHAKRABARTI S， et al. BARF： a new direct and cross-based binary residual feature fusion with uncertainty-aware module for medical image classification［J］. Information Sciences， 2021， 577： 353-378.

［6］ WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// 2018 Proceedings of the European Conference on Computer Vision （ECCV）. Cham： Springer， 2018： 3-19.

［7］ WANG S H， FERNANDES S， ZHU Z Q， et al. AVNC： attention-based VGG-style network for COVID-19 diagnosis by CBAM［J］. IEEE Sensors Journal， 2021， 22（18）： 17431-17438.

［8］ KALENICHENKO A G H M， ADAM W W T W， INC G. Mobilenets： efficient convolutional neural networks for mobile vision applications［DB/OL］. （2017-04-17）［2022-12-05］.https：//arxiv.org/abs/1704.04861v1.

［9］ 張煥， 張慶， 于紀言. 激活函數的發展綜述及其性質分析［J］. 西華大學學報（自然科學版）， 2021， 40（4）： 1-10.

［10］TOGAAR M， ERGEN B， CMERT Z. COVID-19 detection using deep learning models to exploit social mimic optimization and structured chest X-ray images using fuzzy color and stacking approaches［J］. Computers in Biology and Medicine， 2020， 121： 103805.1-103805.12.

［11］ELASNAOUI K， CHAWKI Y. Using X-ray images and deep learning for automated detection of coronavirus disease［J］. Journal of Biomolecular Structure and Dynamics， 2021， 39（10）： 3615-3626.

［12］SARKI R， AHMED K， WANG H， et al. Automated detection of COVID-19 through convolutional neural network using chest X-ray images ［J］. Plos One， 2022， 17（1）： e0262052.1- e0262052.26.

［13］DE MOURA J， GARCA L R， VIDAL P F L， et al. Deep convolutional approaches for the analysis of COVID-19 using chest X-ray images from portable devices［J］. IEEE Access， 2020， 8： 195594-195607.

［14］ZHANG J P， XIE Y T， PANG G S， et al. Viral pneumonia screening on chest X-rays using confidence-aware anomaly detection ［J］. IEEE Transactions On Medical Imaging， 2020， 40（3）： 879-890.

［15］KHAN A I， SHAH J L， BHAT M M. CoroNet： a deep neural network for detection and diagnosis of COVID-19 from chest X-ray images［J］. Computer methods and programs in biomedicine， 2020， 196： 105581.1-105581.9.

［16］OZTURK T， TALO M， YILDIRIM E A， et al. Automated detection of COVID-19 cases using deep neural networks with X-ray images［J］. Computers in biology and medicine， 2020， 121： 103792.1-103792.11.

［17］MAHMUD T， RAHMAN M A， FATTAH S A. CovXNet： a multi-dilation convolutional neural network for automatic COVID-19 and other pneumonia detection from chest X-ray images with transferable multi-receptive feature optimization［J］. Computers in Biology and Medicine， 2020， 122： 103869.1-103869.10.

［18］MURUGAN R， GOEL T. E-DiCoNet： extreme learning machine based classifier for diagnosis of COVID-19 using deep convolutional network［J］. Journal of Ambient Intelligence and Humanized Computing， 2021， 12（9）： 8887-8898.

［19］HEIDARI M， MIRNIAHARIKANDEHEI S， KHUZANI A Z， et al. Improving the performance of CNN to predict the likelihood of COVID-19 using chest X-ray images with preprocessing algorithms［J］. International Journal of Medical Informatics， 2020， 144： 104284.1-104284.9.

［20］RAHIMZADEH M， ATTAR A. A modified deep convolutional neural network for detecting COVID-19 and pneumonia from chest X-ray images based on the concatenation of Xception and ResNet50V2［J］. Informatics in Medicine Unlocked， 2020， 19： 100360.1-100360.9.

［21］PEREIRA R M， BERTOLINI D， TEIXEIRA L O， et al. COVID-19 identification in chest X-ray images on flat and hierarchical classification scenarios［J］. Computer methods and programs in biomedicine， 2020， 194： 105532.1-105532.18.

［22］CHANDRA T B， VERMA K， SINGH B K， et al. Coronavirus disease（COVID-19） detection in chest X-ray images using majority voting based classifier ensemble［J］. Expert Systems with Applications， 2021， 165： 113909.1-113909.13.

［23］KOCH C， ULLMAN S. Shifts in selective visual attention： towards the underlying neural circuitry［M］//Matters of Intelligence： Conceptual Structures in Cognitive Neuroscience. Dordrecht： Springer Netherlands， 1987： 115-141.

［24］HONG S， YOU T， KWAK S， et al. Online tracking by learning discriminative saliency map with convolutional neural network［C］// 2015 International conference on machine learning. New York： PMLR， 2015： 597-606.

（責任編輯：周曉南）

Double Branch Pneumonia Image Classification Network

Based on Attention Mechanism

ZHANG Jiyou， ZHANG Rongfen*， LIU Yuhong

（College of Big Data and Information Engineering， Guizhou University， Guiyang 550025， China）

Abstract：

At present， most pneumonia image classification networks use single branch network to extract features from input images， which to some extent ignores the feature information of different dimensions of images. In order to optimize this problem， this paper adopts double branch network with VGG16 network and convolutional neural network added separable convolution and CBAM for feature extraction respectively. The two networks can pay attention to feature information of pneumonia images at different dimensions. Then， the features of the two networks are fused and input into the full connection layer for classification decision. Experiments show that the network achieves 95% accuracy in the test set of normal lung， viral pneumonia and COVID-19 X-ray images. The ablation experiments prove that the feature fusion module and attention module added to the network play a significant role in reducing network parameters and improving the accuracy of network classification. The result by comparing the performance with other networks also shows that this network has higher accuracy and stronger robustness in pneumonia image classification.

Key words：

COVID-19; pneumonia image classification; attention mechanism; double branch network feature extraction and fusion