基于空譜聯合的醫學圖像分類方法

李旻祖，付蕓，韓春曉

（長春理工大學 光電工程學院，長春 130022）

高光譜圖像不僅包含每個波段下所有像元的空間信息，還包含每個像元的光譜信息，真正實現了“圖譜合一”。這使得高光譜成像在目標檢測［1］、環境監測［2］、地物識別［3］和醫療診斷［4-5］等領域都有著廣泛的應用。 然而，傳統的高光譜分類方法，如K 近鄰學習算法和光譜角匹配算法等，這些算法僅利用高光譜圖像的光譜信息而忽略了空間信息，這導致了“異物同譜”和“同物異譜”等現象的發生。近年來，為了充分利用高光譜圖像所包含的豐富信息，更多的研究人員關注于將高光譜圖像中光譜信息和空間信息聯合［6-7］用于圖像分類的研究。

付青等人［8］提出一種將Log-Gabor 濾波器和CNN 相結合的高光譜圖像分類方法，該方法采用Log-Gabor 濾波器提取圖像的空間特征，再將空間特征和光譜特征輸入CNN 模型中實現分類，取得了較好的分類效果。文獻［9］在二維Gabor濾波器的基礎上，提出一種采用3D-Gabor 濾波器獲取高光譜遙感圖像特征的方法。 相比于2D-Gabor 濾波，3D-Gabor 濾波器具有更強的圖像特征提取能力，算法的魯棒性強且分類精度高。然而，這些方法仍然存在著一些不足：第一，Gabor函數與人類視覺細胞的響應相似，所以能夠給出圖像時域和頻域局部化的信息，但是由于Gabor 變換的時頻窗口寬度是固定的，不能同時滿足對時間分辨率和頻率分辨率的要求；第二，如何有效地將光譜信息和空間信息相結合，以提高樣本分類精度，這需要更加深入的研究。該論文圍繞光譜信息和空間信息的融合方法展開研究，提出了一種高光譜圖像的空間信息和光譜信息的融合方法。這種方法首先提取圖像的Gabor 特征和LBP 特征等空間信息，其次將空間信息與光譜信息進行融合，在融合空譜信息時，采用短時傅里葉變換（Short Time Fourier Transform，STFT）［10］將一維的空譜聯合矢量轉換為二維圖像矩陣。 這種做法具有以下兩個優點：第一，充分地利用高光譜圖像的空間信息，有利于提高分類精度；第二，在融合空譜信息時，將一維空譜聯合特征向量轉化為二維矩陣，這樣可以利用深度學習現有的研究成果去分析與處理數據，這將為高光譜圖像分類的研究提供極大的方便。

1 本文方法

1.1 空間特征提取

圖像中目標所在的位置和目標之間的空間關系是圖像識別中非常重要的特征。本次實驗主要提取圖像的紋理信息特征。

（1）二值化特征LBP

LBP 是一種常見的局部紋理特征［11］。 由于LBP 具有灰度不變性和旋轉不變性的特點，在圖像處理和模式識別中得到了廣泛的應用。其原理是：以圖像的每個像素為中心點選取一個小鄰域，本文取為3×3。將中心像素的值設置為閾值，鄰域的像素值與閾值比較，大于閾值設置為1，否則設置為0，該區域內的二進制數形成LBP編碼。圖1 以大小為3 的鄰域為例，說明了LBP的編碼原理。圖像的LBP 特征向量記為f1。

圖1 LBP 特征提取原理

（2）Gabor 特征

Gabor 特征［12］是圖像分類識別任務中較為常用的一種特征，Gabor 濾波器與人眼的生物作用相似，非常適用于圖像紋理信息的識別。 其原理是不同紋理特征的中心頻率與帶寬不一樣，合理地設計Gabor 濾波器可以在頻域下提取不同尺度和方向的紋理特征。Gabor 核函數與人類大腦細胞的視覺沖擊響應類似，其定義為：

其中：

式中，v值描述不同的Gabor 濾波波長；μ值代表核函數的方向；Р代表總的方向數，通過控制這些參數可以調節濾波的尺度和方向；σ是一個常量，一般取。σ和k決定了Gauss 窗口的大小。

由于核函數去掉了直流分量，Gabor 特征提取受到光照變化的影響很小，在一定程度上也可以接受平移旋轉等較小的變化，也能夠很好地兼顧圖像的空域和頻域信息，表征圖像局部區域的多個方向和尺度的特征，從而較好地提取圖像的紋理信息，圖像像素點的Gabor 特征向量記為f2。

將提取的空間特征記為F1=［f1f2］，光譜特征記做F2，空譜聯合特征記做F= [F1F2]。

1.2 短時傅里葉變換

傅里葉變換［13］作為一種熱過程的分析工具，能夠將復雜的時域信號轉換為易于分析的頻域信號，這有利于復雜信號的分析理解和處理加工。短時傅里葉變換的基本思想是將信號局部平穩化，即把長的非平穩隨機過程看成是一系列短時隨機平穩信號的疊加，短時性可通過在時間上加窗口函數實現（即截取一部分數據）。 然后對截取的每一小部分信號做傅里葉變換。具體過程如下：

其中，f(t)是信號；g(t-τ)是窗函數；f是頻率；STFTf(τ，f)是信號f(t)的短時傅里葉變換的結果。

在對信號進行短時傅里葉變換時，要對連續的信號進行離散化處理。 令公式（3）中的τ=m△t，可得到信號f(t) 的短時傅里葉變換：

得到的信號f(k) 短時傅里葉變換結果STFT就是一個二維矩陣，矩陣的行表示每個采樣的時間點，矩陣的列表示采樣的頻率值，矩陣上的每一個元素就是對應點頻率的幅值，整個矩陣可以表示為：

本次實驗采用Specgram（）函數實現短時傅里葉變換。 Specgram（）函數中主要有以下幾個參數：X、Window、Nperseg、Noverlap、Fs。X 表示輸入信號，在本文中X 為空譜聯合信息；Window 表示窗函數，在本文中窗函數選擇為漢寧窗；Nperseg 表示光譜信號分段做傅里葉變換時每段的長度，Nperseg 選擇過大會使頻率分辨率提高，但是這會使波長分辨率降低，減小Nperseg 會使波長分辨率提高，但是會降低一些頻率分辨率，經過多次嘗試本文Nperseg 設置為8；Noverlap 表示每段之間重疊的點數，一般Noverlap 的選擇要滿足Cola 約束，即Noverlap 的長度為Nperseg 長度的一半；Fs 是采樣頻率，本文中采樣頻率為1。

1.3 AlexNet 卷積神經網絡

AlexNet 網絡［14］是2012 年ImageNet 競賽冠軍獲得者Hinton 和他的學生Alex Krizhevsky 設計的。 該神經網絡的主要優勢在于：成功地使用ReLU 作為CNN 的激活函數，提高了分類精度，而且訓練時使用Dropout 隨機忽略一部分神經元，以避免模型過擬合。 本次實驗所采用的卷積神經網絡是在AlexNet 網絡的基礎上改進得到的一個變形網絡，該網絡主要包括五個卷積層、三個池化層和三個全連接層，如圖2 所示。

圖2 AlexNet 卷積神經模型結構

2 實驗與分析

2.1 實驗數據

實驗采集人體血細胞的顯微高光譜數據，每個采樣點在370～930 nm 波長范圍內均獲取51 個波長的數據，光譜分辨率為11.2 nm。使用ENVI 5.1 軟件（ITT Visual Information Solutions，Boulder，Colorado，美國）生成高光譜圖像，如圖3 所示。其中圖3（a）表示的是血液樣本第20 波段的單波段圖像；圖3（b）表示的是血液樣本的偽彩色合成圖；圖3（c）表示的是血液樣本的人工標記圖像。在圖3（c）中紅色部分表示的是紅細胞，綠色部分為白細胞質，藍色部分為白細胞核，黃色區域為背景。提取圖中3 種不同組織及背景的光譜，分別記做背景光譜、紅細胞光譜、白細胞質光譜和白細胞核光譜，光譜曲線如圖4 所示。

圖3 血液樣本

圖4 三種細胞組織和背景光譜

2.2 實驗環境

實驗采用的硬件設備為Intel Core i5 10300H CPU 和NVIDA Geforce GTX 1650 GPU。 軟件采用Matlab 和PyCharm，利用Python 實現空譜聯合特征的STFT 方式編碼，同時借助Python 中的Keras 框架搭建改進的CNN 模型。在訓練過程中dropout 設為0.25，迭代次數epoch 設置為50，batch設置為64，學習速率調整為1 × 10-3。

2.3 實驗結果

此次研究選取采集的顯微高光譜圖像的第24 個波段（波長為583 nm）的圖像，進行空間特征提取，該波段中圖像的組織形態清晰明了，對比度強，噪聲較小適合特征提取。其中第24 波段的空間圖像如圖5（a）所示，圖5（b）展示的是各個細胞類別的光譜信息。

圖5 第24 波段紅細胞和白細胞空間圖像及光譜信息

利用上述提出的方法將空-譜聯合數據轉化為二維圖像，利用CNN 模型分類。其中紅細胞、白細胞質和白細胞核的空譜聯合信息經過短時傅里葉變換后得到的圖像如圖6 所示。

圖6 短時傅里葉變換圖像

在評價分類結果時采用總體分類精度和Kappa 統計量作為分類結果的評價標準。 總體分類精度是正確分類的樣本數量與樣本總數的比值。 Kappa 是統計學中度量一致性的指標，Kappa 系數的計算是基于混淆矩陣的，不僅考慮了混淆矩陣中對角線方向上分類正確的像元數目，還考慮了對角線以外的漏分和錯分像元。當該數值大于80% 時，則表示分類精度較高。

實驗隨機選擇每類樣本的10% 標記樣本作為訓練數據來訓練分類器參數，然后再將剩余的90% 標記樣本用于測試。

分類結果如表1 所示，圖7 為分類結果的可視化圖像。

表1 分類結果

圖7 分類結果可視化圖像

各個細胞組織類別的精度如表2 所示。

表2 各類別分類精度

由表1 和表2 可以看出本文的方法在總體分類精度達到了98% 以上，其中紅細胞、白細胞質、白細胞核分類的召回率為分別為99.80%、96.31% 和97.82%；精確度分別為97.77%、98.51%和99.60%，這表明本文提出的基于空譜聯合信息的分類算法在血細胞分類識別上取得了不錯的效果。為了證明本文所提出的方法的有效性，這里設置了兩組對比實驗，第一組對比實驗是僅利用光譜信息進行分類識別，旨在對比采用空譜聯合特征與僅采用光譜特征時分類性能的差異。第二組對比實驗是僅提取Gabor 特征作為空間信息，利用SVM 分類，旨在對比本文空間特征提取方法結合空譜聯合編碼方式與傳統空譜聯合分類算法的差異。

第一組對比實驗結果如表3 所示。

表3 第一組對比實驗分類結果

第二組對比實驗結果如表4 所示。

表4 第二組對比實驗分類結果

通過表3 可以看出，采用光譜信息結合支持向量機的分類方法的分類精度為96.38%，相比于單一采用光譜信息的分類方式，本文所提出的空譜聯合分類方式在分類精度上提高了2%。這主要是因為相比于單一的光譜信息，本文提取了顯微高光譜圖像的空間信息，然后與光譜信息一起組成空譜聯合信息，這樣使得被用來分類的特征信息更加豐富，有利于提高分類性能。從表4 中可以看出，本文的分類算法相比于僅提取Gabor 特征的分類方法在分類精度上提高了1.2% 左右，這是由于本文除了提取了圖像Gabor特征以外，還提取了圖像的一些統計特征和LBP特征，充分的利用了顯微高光譜圖像的空間信息，而且在融合空間特征與光譜數據時也不僅僅是簡單的直接融合，而是采用了短時傅里葉變換的方法將一維特征向量轉換為二維矩陣進行空譜特征融合，而且本文所采用的空譜聯合編碼方式更加有利于卷積神經網絡進行自適應學習，進而證明本文所提出的空譜特征聯合分類方法的有效性。

3 結論

為了充分地利用顯微高光譜圖像所包含的豐富信息，本文提出了基于LBP 特征和Gabor 特征的空間特征提取方法，相比于單一的2-D Gabor濾波器，本文方法提取的空間特征更加豐富，有利于提升分類精度。針對顯微高光譜圖像如何更好地融合空間信息和光譜信息的問題，本文提出了采用短時傅里葉變換方式，將一維的空譜聯合特征轉換為二維矩陣。相比于傳統的空譜聯合方式，這種方法具有更強的魯棒性和更高的分類精度，而且更加有利于利用現有的深度學習的研究成果。 然而，本文在算法時間效率和模型參數設定方面研究還不夠深入，如何縮短計算時間和優化模型參數也是下一步研究的重點。