基于深度哈希網絡的肺結節CT相似圖像檢索方法研究

郝瑞，秦亞雪，甄俊平，強彥

（1.山西財經大學信息學院，山西太原 030006；2.山西財經大學管理科學與工程學院，山西太原 030006；3.山西醫科大學第二醫院醫學影像科，山西太原 030001；4.太原理工大學信息與計算機學院，山西太原 030600）

目前全球的肺癌發病率和死亡率高且呈上升趨勢。全球男性肺癌發病率和死亡率占惡性腫瘤首位，女性肺癌發病率占第3 位，死亡率占第2 位。肺癌的高發病率和死亡率嚴重威脅著人類健康和生命，是亟待解決的公共健康安全問題之一。肺結節與早期肺癌的關系密切，對肺結節進行早期篩查和診斷可以有效地降低肺癌的發病率，進而提高患者的生存率［1］。CT具有較高的密度分辨率，可以較好地識別出正常肺部結構與病理結構［2］，是目前早期肺癌常規篩查的主要手段［3］。但人工閱讀大量的CT圖片及數據工作量繁重、工作效率低，且極易漏診及誤診，已不能很好地滿足臨床需求；另外，由于肺癌存在同病異影和異病同影的現象，肺癌影像上的相似性也為診斷帶來了極大的困難。近年來，受到社會與環境變化以及人們生活習慣的影響，肺部CT圖像呈現出兩個主要特征：數量上極速增長，內容上愈加復雜，出現醫生數量和專業水平不能較好地滿足目前肺部CT 圖像診斷需求的現象。因此，若能將醫生固有的經驗能力和計算機獨有的高速圖像檢索能力融為一體，建立大規模肺部CT 圖像相似病灶快速有效的檢索模型，充分利用肺部疾病歷史數據實現類似于醫生診斷過程的相似病例自動檢索方法，可大大減少醫生的工作量，同時也能輔助醫生對相似病例的診療方案進行回顧性分析，更好的為患者提供定制化智能診療方案［4］。哈希算法由于其占用存儲空間小和計算相似度速度快的優勢，已廣泛用于大規模醫學圖像檢索領域［5-7］。在醫學圖像診斷應用中，針對肺結節CT 圖像檢索的深度哈希算法研究還相對較少，而肺結節CT圖像的識別與檢索在肺癌診斷和治療中占據重要的地位。為了提高肺結節CT圖像檢索精度，本文鑒于深度哈希在圖像檢索上的優勢，提出一種基于深度哈希的肺結節CT 相似圖像檢索方法。由于肺結節CT 圖像通常情況下屬于灰度圖像，因此本文在網絡設計中針對卷積神經網絡與雙向長短期記憶網絡的通道進行一定的調整，并在該深度網絡中嵌入哈希函數以獲取有效的哈希特征。然后，本文針對所獲取的哈希特征提出一種分級檢索算法。首先利用搭建的深度哈?？蚣茴A測圖像的標注信息，在所對應的類庫中利用哈希編碼檢索得到一定數量的圖像候選對象；其次，根據圖像高層語義特征進行相似度排序獲取相似的肺結節圖像列表。

1 材料和方法

1.1 公開數據集

本文所采用的數據集是LIDC-IDRI［7］公開數據集。LIDC-IDRI 原始圖像是由美國國家癌癥研究所收集的。該數據集共收錄了1 018 個研究病例，每一個研究病例都包括了兩種文件，分別是肺部圖像文件（.dcm）和由4 位放射科醫師給出的診斷結果標注文件（.xml）。每一個病例都包含切片，每張切片大小為512×512 像素。本文利用1.2 節所述方法從LIDC-IDRI中分割肺結節圖片，并根據肺結節圖片對應的標注信息良惡性程度得到了5 類肺結節，其中良惡性程度為3 表示不確定信息，對該部分數據舍棄，剩下的整合為良性與惡性兩種標簽信息。良惡性結節的個數分別為2 102和1 313，所占比例分別為62%和38%，良惡性程度分布相對比較均勻。模型所用的訓練集和測試集分別按照70%和30%的比例隨機抽取。

1.2 ROI的獲取

由于數據集中所有的肺部CT 圖像，都會顯示肺組織內部的空氣、液體、脂肪、軟組織等物質，因此，為了減少肺部CT圖像信息冗余現象，有必要鎖定圖像中存在肺結節的感興趣區域（region of interest，ROI）區域。本文首先利用二值化閾值分割算法確定肺實質區域，然后通過形態學膨脹腐蝕算法對分割出的區域進行邊緣輪廓平滑處理，最后通過最大連通區域算法分割肺實質區域。通過讀取XML 標注文件中的醫師標注的良惡性程度信息和位置信息，將肺結節病灶區域所對應相應的肺實質區域進行識別并進行分割，并且為了統一圖像大小，使其與設計的網絡結構所要求的輸入圖像保持一致，將預處理得到的ROI 固定大小為32×32 像素的圖像（圖1）。

圖1 肺結節ROI預處理過程Fig.1 Preconditioning of pulmonary nodule ROI

1.3 方法

本文研究的肺結節CT 圖像檢索主要包含3 大部分：①結合深度學習方法，針對肺結節CT圖像設計一種能夠完整表達圖像信息的網絡結構，并借助肺結節CT 圖像標注信息進行監督學習；②在網絡結構中嵌入哈希層，圍繞哈希層節點數、哈希函數構造以及哈希表示等將高維圖像特征映射為低維緊湊的哈希碼；③針對所獲取的高維圖像特征以及哈希碼，設計分級檢索算法逐級計算圖像相似度，并獲取最終的檢索結果。

1.3.1 圖像特征表示 由于深度學習模型在特征提取方面效果較好，同時為了保證肺結節CT 圖像檢索的效率，本文通過聯合注意力機制的卷積神經網絡和雙向長短期記憶網絡，構造能夠全面提取圖像的潛在關鍵特征的深度模型，并在深度模型中嵌入哈希層，通過設置相應的激活函數與閾值函數以實現圖像哈希特征的有效映射（圖2）。

圖2 肺結節圖像深度學習模型Fig.2 Deep learning model of pulmonary nodule image

首先進行深度特征提取。肺結節圖像具有相似度高和關聯度高的特點，CNN在提取肺結節圖像特征時，卷積和池化層都是獨立地對局部圖像區域進行操作，不會考慮其他圖像區域從而忽略了不同區域間的上下文相關信息，這種上下文依賴性代表了圖像中的有用空間結構信息［8-9］，而BiLSTM 是由前向和后向的兩個獨立的LSTM 結構組合而成，各循環神經網絡單元之間具有反饋連接，可以挖掘不同區域間依賴關系和上下文相關信息以獲得更好特征表示。為增強提取的肺結節圖像特征的表達能力，本文利用CNN 與BiLSTM 分別獲取圖像的局部區域特征與區域間上下文相關信息，為了避免信息學習的覆蓋，本文采用了并行式的網絡結構。同時為了減少信息學習冗余現象以及重點關注對標注信息影響較大的特征，本文在并行設計的2 個分支網絡后面分別加入注意力機制（attention mechanism，AM）。此外，本文的網絡輸出分為2 個輸出：第1 部分輸出是嵌入哈希函數的深度哈希層，實現對圖像的特征表示并映射為相應的哈希碼；第2 部分輸出連接到softmax 分類器，用于對肺結節良惡性類型進行有效分類，利用其類別信息監督學習圖像特征。

其次構建哈希函數。構建合理的哈希函數，實現圖像特征向哈希編碼的映射是圖像哈希方法應用于圖像相似性檢索至關重要的一部分。本文在全連接層后面插入一層哈希層學習圖像的二值特征，其設計主要圍繞哈希節點的選取、哈希函數的構造以及圖像特征二值化3 個方面進行。①哈希節點的選取。由于全連接層提取的圖像特征是高維的，不宜直接進行相似度計算，因此哈希節點個數在設置時不應超過全連接層節點數以達到降維目的，同時也要保證其能夠唯一的表示圖像的標簽信息。因此最終的哈希節點數設置如公式1所示。

其中N表示標簽數目，FC表示全連接層節點數；H表示哈希層節點數。②哈希函數的構造。本文在構造哈希函數時借鑒了LSH的核心思想，為了便于神經網絡訓練，本文選取sigmoid 函數作為哈希層的激活函數，如公式2所示。

其中fc表示全連接層信息，h表示哈希層信息，W表示權重是，b表示偏置。③圖像特征二值化。上述函數得到的結果是［-1，1］上的連續值，為了得到圖像的二值特征，本文設置了閾值函數對哈希層的輸出進行離散化。該函數設置如公式3所示。

最后對網絡進行訓練。本文CNN 采納速度較快的AlexNet 網絡，訓練過程中最關鍵的是損失函數的設計與梯度下降算法的選擇。本文在設計損失函數時遵循經驗風險與結構風險的共同組合。其中經驗風險本文選取交叉熵損失函數；同時為了對網絡結構進行控制，緩解欠擬合或者過擬合現象的發生，本文加入了L2參數懲罰項，將正則化參數λ設為0.01。在實驗中將Batch-size 設為32、Epoch設為25 進行訓練。在神經網絡訓練過程中，本文選取Adam 訓練器進行優化，該訓練器易于訓練且具有較好的魯棒性。此外，該訓練器是自適應學習率，不需要手動設置，提高模型泛化性。

1.3.2 查詢圖像檢索 目前的檢索策略是直接在低維空間計算訓練集中每一幅圖像與待查詢圖像的哈希編碼之間的漢明距離。雖然具有計算效率高和內存占用少的優勢，但是在哈希編碼對原始圖像表示學習中存在量化損失，進而導致其表示具有一定的局限性。因此，僅使用漢明距離衡量圖像間的相似性不夠準確。因此本文設計一種分級檢索算法，實現由粗到細的精檢索。其具體檢索流程：①通過深度學習模型預測查詢圖像的肺結節標注信息，找到與其對應的類庫，縮小搜索范圍；②為了進一步快速篩選圖像，在類庫中計算與查詢項漢明距離最接近的一組相似圖像構建候選池，實現初步粗檢索；③計算查詢項與候選池內圖像通過深度學習模型提取的全連接層特征之間的歐式距離度量相似度得到最終的檢索結果，實現精確檢索。

肺結節相似圖像檢索主要算法設計。

輸入：待查詢肺結節圖像x，深度模型參數加載，肺結節圖像庫，返回查詢結果數k；輸出：k個相似圖像。①初始化相似圖像池集合T，檢索結果集合S；②加載模型，將待查詢圖像輸入該模型，得到其標注信息、哈希編碼以及全連接層特征；③在對應的標注信息庫中，根據公式（4）計算待查詢項與類內圖像哈希碼之間的漢明距離，并對其進行排序；

其中，x和y為n位的哈希碼，⊕為異或運算。取前2k個圖像添加至T集合中，T={y1，y2，…，y2k}；④對T 集合中的圖像提取其全連接層特征；⑤根據公式（5）計算待查詢項與T集合中各圖像的歐式距離，并按照距離重新排序；

其中，x，y分別為圖像的n維特征向量。⑥取前k項添加至S集合中，S=；⑦返回S集合。

2 結果

本文研究的肺結節CT 圖像檢索提出了實驗環境和實驗評價指標和據此獲得的結果。

2.1 實驗環境

本文實驗使用的操作系統為Windows 1 064 bit，處理器為Intel（R）Core（TM）i5-10400F CPU@2.90～4.3 GHz，顯卡為GeForce RTX2060，內存為16 GB，深度學習框架為pytorch 1.2，參數配置見表1。

表1 參數配置Table 1 Parameter configuration

2.2 評價指標

為了反映圖像哈希算法的效果與性能，本實驗選擇的評價指標有準確率（precision，P）、召回率（recall，R）、調和平均數F1、P@10、MAP。

P@10 是對檢索相似圖像返回前10 項結果計算精確度。

AP 指單個類別下每個圖像檢索的相似圖像的準確率的平均值。而MAP 則是所有類別的AP 的平均值。

2.3 實驗結果

針對肺結節CT 圖像數據集，借助肺結節標注信息對數據集進行分類，其目的是驗證本文深度學習模型所提取的圖像特征能夠更充分的反映標注信息。并且與傳統的支持向量機（support vector machine，SVM）、極限學習機（extreme learning machine，ELM），以及深度網絡對比，其中“+”表示網絡構造為串聯，“-”表示網絡構造為并行，驗證本文算法所提取圖像特征的有效性（見表2）。

表2 分類準確率對比Table 2 Comparison of classification accuracy

由于全連接層的圖像特征是高維的，直接進行相似度計算成本較高，需要將高維特征投射到低維空間，因此本文在全連接層后嵌入哈希層，并通過設置不同位數的哈希節點來獲取低維特征，其目的是確定具有最優區分標注信息能力的哈希編碼位數。在LIDC-IDRI數據集上進行實驗，結果見表3。

表3 哈希節點與分類準確率變化表Table 3 Relationship between hash nodes and classification accuracy

為了驗證本文所設計的哈希圖像檢索方法的有效性，與其它哈希算法進行對比，分別選取P@10以及MAP 作為評價指標。結果分別如圖3-圖4所示。

3 討論

國內外相關學者開展基于內容的醫學圖像檢索算法研究并構建了相應的檢索系統，其基本原理是通過提取圖像的顏色、紋理以及空間位置等淺層特征以構造特征向量；利用傳統的哈希算法將特征向量壓縮為低維緊湊的哈希特征；通過漢明距離衡量圖像的相似性。傳統代表算法主要有譜哈希（spectral Hashing，SH）［5］、局部感知哈希（locality sensitive Hashing，LSH）［6］、二進制重構嵌入（binary reconstructive embedding，BRE）［10］、迭代量化（iterative quantization，ITQ）［11］、最小化損失哈希（minimal loss Hashing，MLH）［12］、核監督哈希（kernelbased supervised Hashing，KSH）［13］等。上述算法主要依賴于圖像的淺層語義信息，并不能完整地表達CT 圖像信息且得到的哈希特征并不是最優特征，從而使得圖像檢索算法檢索精度低下。深度哈希算法相較于傳統的哈希算法具有優勢，其所學習到的哈希編碼具有更有效的特征表示并且不需要人工設計抽取特征，卷積神經網絡哈希（convolutional neural network Hashing，CNNH）首次采用卷積神經網絡將特征學習與哈希編碼結合起來進行深度圖像檢索［14］。不過，由于其圖像特征表示無法為哈希編碼學習提供反饋信息，該算法不是一種端到端的學習方法。二進制哈希碼深度學習（deep learning of binary Hash codes，DLBHC）采用一種監督學習框架根據數據的標簽信息可以同時學習圖像特征表示和二進制編碼，并提出由粗到細的檢索策略，在滿足檢索精度的同時加快了檢索速度［15］。深度神經網絡哈希（deep neural network Hashing，DNNH）在網絡中通過設計三元組監督信息來捕獲圖像的相似性的深度哈希方法，使用圖像的相似對與不相似對所構成的三元組對CNN 進行訓練，是一種端到端的學習方法，但在前期需要進行大量的圖像預處理工作且人工標記相似對與不相似對具有較大的主觀性［16］。

肺部疾病影像不僅表現復雜，近幾年數量也增長迅速，這導致影像科醫生任務繁重。而當前的智能診斷算法可有多種應用模式，如能夠實現肺部病灶檢出、分割及其性質判斷等，這不僅有效提升醫生診斷的效率，更有望推動分級診療、優化醫療資源配置，而且基于人工智能的肺部影像診斷技術已經從單一特定的疾病診斷逐漸發展到多疾病聯合診斷［17］。本文針對肺結節CT 圖像檢索的深度哈希算法進行研究，探討其在醫學圖像診斷中的應用。

分析表2 的結果可以看出本文設計的深度模型在LIDC-IDRI 數據集上的識別準確率都高于常用的分類算法，這表明本文方法所提取的特征具有更強的圖像表征能力，可以驗證本文設計方法檢索的有效性。從表2 還可以看出，網絡結構好壞也是提取圖像特征的關鍵，CNN 和BiLSTM 并行的模型優于串聯的模型，這是因為CNN 和BiLSTM 串聯，前者學習到的信息可能會覆蓋后者學習到的信息從而導致信息損失，而并行網絡結構可以避免此類情況的發生。此外，本文模型相較于BiLSTM_CNN并行網絡模型準確率又有明顯提升，究其原因是引入注意力機制能夠為學習到的特征分配不同的權重將關鍵信息強調出來，更進一步提升模型效果。分析表3 可以得知，當哈希位數增加時，本文模型在LIDC-IDRI 數據集上的分類準確率也會隨之增加，哈希位數為256 位時，準確率最高。但是，當哈希碼位數繼續增加時，分類準確率卻有下降的趨勢，這是因為哈希位數較少時學習到的哈希特征不能充分表達類別信息；隨著哈希位數的增加，哈希特征數目也隨之增加，學習到的圖像內容與圖像語義信息也會逐漸增強；但是哈希位數過長，則可能出現過擬合現象。圖3 展示了檢索結果返回前10項的檢索精度對比，可以看出本文算法的檢索精度為89.79%，優于其它的哈希算法。圖4展示了不同哈希算法在LIDC-IDRI 數據集上的平均檢索精度隨著返回圖像數目的變化圖，可以看出本文算法的平均檢索精度要優于其它的哈希算法，其平均檢索精度高達91.00%，圖3～圖4 均驗證了本文算法的有效性。

本文提出的一種新的、基于深度哈希網絡的肺結節CT 醫學圖像檢索模型，該模型融合了肺結節圖像區域局部特征和區域間上下文相關信息，增強了肺結節圖像特征表示。另外，利用本文設計的一種分級檢索策略縮小了相似性檢索的范圍，對整個數據集通過分層檢索得到相似圖像。實驗結果表明本文算法具有更高的檢索精度，并且與其他模型相比，能充分提取圖像語義特征，在準確率、召回率、F1、P@10、MAP值上均有明顯提升，更加適用于大數據檢索，表明本文方法可能為研發肺癌影像智能診斷系統提供了一種思路，在臨床應用中具有一定的實用價值。