基于NALTDP的肝臟CT圖像分類

張惠惠,黃煒嘉,張正言,李 鋒

(江蘇科技大學海洋學院,江蘇 鎮江 212100)

1 引言

肝病一直是一種常見的高危險性疾病,肝病的發現階段通常在中后期,主要以積極預防為主。為了更好地分析肝臟CT圖像,研究人員一直在探索新的無創方法用于診斷肝臟疾病。紋理分類是影像組學的重要部分,通過分析圖像像素間的關系表達其紋理特征。

近年來,許多研究者將紋理分類應用到醫學圖像分類中,以獲得更好的分辨率和特征提取率。Suganya等[1]利用灰度共生矩陣(GLCM)對肝臟超聲圖像進行分類,驗證了支持向量機的分類器擁有更好的準確率。胡彥婷等[2]提出了一種結合紋理特征提取和稀疏編碼的分類方法,有效實現肝包蟲病CT圖像的自動分類。Li等[3]利用灰度共生矩陣和小波變換等對MRI圖像進行特征計算,訓練了四種對腫瘤類型分類影響最大的紋理特征的監督分類算法,驗證模型的可靠性。Sharma等[4]通過不同的描述符提取圖像紋理特征,采用互信息(MI)特征選擇方法對肝臟超聲圖像分類。邱甲軍等[5]利用小波系數對肝細胞癌和正常肝組織的統計結果進行兩次離散化,并采用直方圖、共生矩陣和游程長度矩陣進行特征提取,以獲得更好的分類性能。目前,對于正常和異常肝臟CT圖像的分類方法層出不窮。而肝功能正常和異常的CT圖像在視覺上差異較小,難以區分,這對特征表達能力提出了更高的要求。

在圖像局部特征提取方面,局部二值模式(Local Binary Pattern,LBP)[6]由于其方法簡單、計算復雜度低而被廣泛應用?；贚BP的改進在醫學圖像領域也得到廣泛應用,Tan等[7]提出局部三值模式(Local Ternary Pattern,LTP)引入閾值t對圖像進行三值編碼,有效提高了對光照和噪聲的魯棒性。Ahmed等[8]在LTP的基礎上提出了梯度局部三值模式(Gradient Local Ternary Pattern,GLTP),使用Sobel算子檢測圖像的邊緣,然后進行三值提取,最后獲得低計算量、高分辨率的紋理信息。Bashar等[9]提出中值三值模式(MTP)通過閾值化局部灰度中值,將每個像素周圍的鄰域強度值量化為三個不同的級別,對局部鄰域的紋理信息進行編碼,提高灰度表達能力。Yang等[10]提出了一種改進的韋伯局部描述子(IWBC),通過引入新的Weber分量和方向分量來更有效和準確地表示局部模式,采用基于塊的fisher線性判別法對提取的特征降維,提高其識別能力。Liu等[11]通過比較圖像中像素的中值關系,計算中值魯棒擴展局部二值模式 (MRELBP),從而獲得更多層面的紋理信息。上述方法主要通過對中心像素與相鄰像素之間的關系進行編碼,沒有考慮鄰域變化信息。

本文提出了一種鄰域均值局部三值方向模式(Neighborhood Average Local Ternary Direction Pattern,NALTDP),用于肝功能正常、異常CT圖像的分類識別。首先對肝臟CT圖像預處理,提取感興趣區域;然后,利用中心像素在相鄰八個方向上鄰域變化的相關性計算鄰域均值,并對鄰域均值進行三值模式和方向模式的編碼后級聯;最后統計直方圖,采用支持向量機(SVM)分類識別,整體流程圖如圖1。

圖1 整體流程圖

2 數據集的建立

本文的實驗數據來自江蘇省人民醫院患者的肝臟CT檢查影像,包括肝功能“正?！焙透喂δ堋爱惓！钡腃T圖像。首先,對像素大小為512×512的肝臟CT圖像提取像素大小為38×38的感興趣區域(ROI),在提取ROI的過程中,1)避開血管區域;2)避開腫瘤區域。然后,計算感興趣區域的CT值,如下方法:

CT=pixel×slope+intercept

(1)

其中,pixel代表該像素點的值,slope、intercept是兩個DICOM Tag信息中的坐標數值。

將該數值存放在對應的目錄下,并存為txt格式。最后,實驗共采集1680張肝臟CT圖像,其中肝功能正常和肝功能異常的CT圖像各840張,建立數據集。

3 基于鄰域均值局部三值方向模式的圖像分類方法

考慮中心像素鄰域變化信息與方向性信息,提出了鄰域均值局部三值方向模式(Neighborhood Average Local Ternary Direction Pattern,NCLTP)。首先,對輸入圖像進行鄰域均值計算;然后,對分別對其進行三值化和方向化編碼;最后,將直方圖級聯得到NALTDP特征。鄰域均值局部三值方向模式特征提取的過程如圖2。

圖2 鄰域均值局部三值方向模式特征提取過程

3.1 鄰域均值局部三值模式(NALTP)

由于現有方法沒有考慮中心像素的鄰域變化信息,因此提出了鄰域均值局部三值模式(Neighborhood Average Local Ternary Pattern,NALTP)。使用中心像素在相鄰八個方向上的鄰域變化的相關性來計算NALTP的鄰域均值。

給定一個位于3×3正方形鄰域內的中心像素值Ci,其八個方向的鄰域像素值為Ap,p=1:8,如圖3。NALTP的鄰域均值就是中心像素值與相鄰八個方向像素值的差的絕對值之和再求平均。計算公式如下方法:

圖3 鄰域差值計算

(2)

其中,Ni是NALTP的鄰域均值。

NALTP包括鄰域八個方向相關差值以及中心像素。NALTP采用局部三值模式(LTP)的概念進一步轉換為2個二值模式如下方法

(3)

其中,c是中心像素的值,i是相鄰像素的值,t是閾值。

NALTP的計算過程如圖4,為了擁有更好的魯棒性,將每個NALTP分為上半部分(NALTP＿U)和下半部分(NALTP＿L)如下方法

圖4 NALTP的計算過程

(4)

(5)

(6)

(7)

對圖像中的每個像素,NALTP＿U和NALTP＿L的圖像大小為M*N。計算NALTP＿U和NALTP＿L的兩個部分,并建立其直方圖[11]如下方法

(8)

(9)

(10)

最后,在生成兩個部分的直方圖后將兩者級聯,獲得整個圖像的直方圖如下方法

hNALTP=hNALTP＿U+hNALTP＿L

(11)

3.2 鄰域均值局部方向模式(NALDP)

為了突出像素的鄰域信息變化和方向信息,提出了鄰域均值局部方向模式(Neighborhood Average Local Direction Pattern,NALDP)。利用中心像素在八個方向上的鄰域變化的相關性計算NALDP的鄰域均值,并利用垂直和水平方向編碼方法獲得方向信息。

給定一個位于3×3正方形鄰域內的中心像素值Ci,其八個方向的鄰域像素值為Ap,p=1:8,NALDP鄰域均值的計算公式如式(2)。

對于一個N×N像素的區域,每一個3×3像素的區域進行鄰域均值的計算,得到一個由中心像素Ni,i=1:N-2構成的(N-2)×(N-2)像素的正方形區域,將該區域記為N。

在區域N內,在3×3像素的區域內,中心像素值記為H5,相鄰像素值以水平編碼方式分別記為[H1、H2、H3、H4、H6、H7、H8、H9]如圖5。水平差值的計算公式如下方法

圖5 水平差值計算

Ii,i=1:8=Hi+1-Hi

(12)

其中,Ii是NALDP的水平差值。

水平編碼的計算公式如下方法:

(13)

(14)

在區域N內,給定一個3×3像素的區域,中心像素值記為V5,相鄰像素值以垂直編碼方式分別記為[V1、V2、V3、V4、V6、V7、V8、V9] 如圖6。垂直差值的計算公式如下方法

圖6 垂直差值計算

Ji,i=1:8=Vi+1-Vi

(15)

其中,Ji是NALDP的垂直差值。

垂直編碼的計算公式如下方法

(16)

(17)

NALDP的整個計算過程如圖7,將NALDP分為水平部分(NALDP＿H)和垂直部分(NALDP＿V),建立兩個部分的直方圖并將兩者級聯,獲得整個圖像的直方圖,如下方法:

圖7 NALDP的計算過程

hNALDP=hNALDP＿H+hNALDP＿V

(18)

3.3 鄰域均值局部三值方向模式(NALTDP)

NALTDP的計算過程如圖8,為了擁有更加魯棒的描述符,將NALTP和NALDP結合,提出一種新的鄰域均值局部三值方向模式(NALTDP)。既能突出鄰域像素信息的變化又能表達紋理特征的方向性信息。

圖8 NALTDP的計算過程

給定一個位于3×3正方形鄰域內的中心像素值Ci,其八個方向的鄰域像素值為Ap,p=1:8,NALTDP鄰域均值的計算公式如式(2)。

對于一個N×N像素的區域,每一個3×3像素的區域進行鄰域均值的計算,得到一個由中心像素Ni,i=1:N-2構成的(N-2)×(N-2)像素的正方形區域,將該區域記為N。

在區域N內,將NALTDP轉換為2個二值模式,如式(3)所示。為了擁有更好的魯棒性,將NALTDP分為上半部分(NALTDP＿U)和下半部分(NALTDP＿L),如式(4-7)所示。

在區域N內,任一個3×3像素的區域,中心像素值記為H5,相鄰像素值以水平編碼方式分別記為[H1、H2、H3、H4、H6、H7、H8、H9],以垂直編碼方式分別記為[V1、V2、V3、V4、V6、V7、V8、V9],將每個NALTDP分為水平部分(NALTDP＿H)和垂直部分(NALTDP＿V),如式(12-17)所示。

對圖像中的每個像素,建立上部、下部、水平和垂直四個部分的直方圖,并將其級聯,獲得整個圖像的直方圖如下方法:

hNALTDP=hNALTDP＿U+hNALTDP＿L+hNALTDP＿H+hNALTDP＿V

(19)

NALTDP計算過程的示例如下:

輸入:肝臟CT圖像

輸出:分類識別率

1)預處理:提取38×38像素大小的肝臟CT圖像的感興趣區域,并將其按正常、異常分類得到數據集;

3)在區域N內,計算三值編碼:在3×3鄰域中采用閾值t計算上部編碼(NALTDP＿U)和下部編碼(NALTDP＿L);

4)在區域N內,計算方向編碼:在3×3鄰域中利用水平和垂直的編碼方式,計算水平編碼(NALTDP＿H)和垂直編碼(NALTDP＿V);

5)將編碼圖像劃分為m×n個子塊;

6)計算每個子塊三值編碼和方向編碼的NALTDP直方圖;

7)將各區域的上部、下部、水平和垂直的NALTDP直方圖級聯,拼接成NALTDP特征向量;

8)使用PCA為特征向量降維;

9)將其送入SVM進行訓練;采用10折交叉驗證,計算出圖像的分類識別率;

提出的NALTDP不同于經典的LTP及其改進方法,NALTDP表達了中心像素在相鄰各個方向上的鄰域變化關系以及方向信息。因此,與現有的描述符相比,NALTDP可以捕獲更多層次的空間信息。如圖9,NALTDP對肝臟CT圖像提取更多的紋理信息,突出圖像的差異性。

圖9 編碼后的結果圖

4 實驗結果與分析

4.1 實驗設置

本文實驗環境:Windows 10操作系統,MATLAB R2016a編程環境。實驗所用的肝臟CT圖像數據來自江蘇省人民醫院。實驗采用10折交叉驗證的方法,將10組的識別率取平均值作為最終識別率。

4.2 不同級聯方式的實驗結果

不同級聯方式下分類的實驗結果如圖10,提出的鄰域均值三值方向模式(NALTDP)是鄰域均值三值模式(NALTP)和鄰域均值方向模式(NALDP)級聯而成。為了分析不同級聯方式對分類結果的影響,分別對NALTP、NALDP和NALTDP三種描述符進行了實驗。

圖10 不同級聯方式下的識別率

實驗結果表明,級聯三值模式和方向模式的描述符擁有較高的分類識別率,分類識別率可達78.88%。

4.3 不同閾值的實驗結果

GLTP、MTP以及NALTDP描述符都是在LTP的基礎上改進且存在閾值t,閾值t的選取對實驗結果產生影響。為了驗證本算法的有效性,四種不同特征描述符在不同閾值t(1～10)時對肝功能“正?！焙汀爱惓！盋T圖像的分類識別率如圖11。

圖11 不同閾值下的識別率

實驗結果表明,當降維參數為1,分塊大小為9×9,從實驗結果可以看出,本文提出的方法在不同閾值下的識別率都高于LTP、GLTP 、MTP描述符。當閾值t取9時,NALTDP的識別率最高為79.12%,能更好地描述肝臟CT圖像的紋理特征。

4.4 不同降維參數的實驗結果

為了降低特征維度,對提取的特征基于主成分分析(PCA)方法進行降維。降維參數在0.8 ～ 0.99范圍內,分別基于LBP、GDP2、LTP、IWBC、MRELBP、LGDNHS和NALTDP進行的肝功能“正?！焙汀爱惓！盋T圖像的分類識別率如圖12。其分塊大小為7×7,閾值為10。

圖12 不同降維參數下的識別率

實驗結果表明,當特征維度開始下降時,LBP、GDP2、LTP描述符的識別率會有所提高,而IWBC、MRELBP、LGDNHS、NALTDP描述符的識別率會降低?？傮w而言,隨著特征維度的降低,NALTDP描述符的識別率還是高于其它描述符。當降維參數為0.8時,NALTDP的識別率最高且為79.24%。

4.5 不同描述符的實驗結果

為了分析不同特征描述符對分類結果的影響,本文對7種不同描述符進行了實驗。將圖像分為3×3、5×5、7×7、9×9和11×11個子塊時,不同特征描述符分類識別的實驗結果見表1。

表1 不同描述符下的識別率(%)

從表1可以看出,本文提出的方法在不同分塊大小下的識別率都高于其它描述符。當圖像分為11×11個子塊時,NALTDP的分類識別率最高,識別率為78.88%。說明對于本算法,將圖像分為較大的子塊,可以獲得更有代表性的特征。

5 結論

針對肝功能正常和異常CT圖像之間差異性較小問題,提出一種新的描述符——鄰域均值局部三值方向模式(NALTDP)。利用中心像素各個方向的鄰域變化信息和方向信息,對圖像紋理進行特征提取。NALTDP描述符表達了更多層次的局部紋理信息,放大圖像間的差異性。實驗表明,在不同參數情況下,與已有的幾種方法相比,NALTDP對肝功能正常和異常CT圖像的分類識別率明顯更高。該方法具有良好的魯棒性和有效性,未來可應用到其它紋理分類領域。