平穩小波域深度殘差CNN用于低劑量CT圖像估計

高凈植，劉 祎，白 旭，張 權，桂志國

(1.中北大學 信息與通信工程學院，太原 030051; 2.生物醫學成像與影像大數據山西省重點實驗室(中北大學)，太原 030051)(*通信作者電子郵箱gzgtg@163.com)

0 引言

計算機斷層掃描(Computed Tomography, CT)已被廣泛應用于醫學臨床等方面，但較高的輻射劑量會給人體帶來極大的危害，而輻射劑量的降低又會導致重建圖像質量較差[1]。因此，近年來，如何在低劑量掃描條件下重建出高分辨率和低噪聲CT圖像已成為廣大CT學者的研究方向[2]。

近些年，低劑量CT(Low-Dose CT, LDCT)圖像降噪方法主要是基于非局部相似性理論[3-6]、稀疏表示和字典學習理論[7]及其他理論的各種算法[8-10]，其中，Buades等[3]提出的非局部均值(Non-Local Means, NLM)算法，Dabov等[6]提出的匹配三維濾波(Block-Matching and 3D Filtering, BM3D)方法和Aharon等[7]提出的一種基于字典學習的稀疏表示方法——K-奇異值分解(K-Singular Value Decomposition, K-SVD)都是目前公認效果較好的低劑量CT圖像降噪算法，但是這些降噪算法都存在去除噪聲不完全或使圖像過度模糊的缺點。

此外，基于變換濾波理論[11-13]的降噪方法也被眾多學者廣泛研究，其中平穩小波變換由于取消了小波變換的下采樣處理，而具有了平移不變性，因此被廣泛應用于各種圖像降噪任務。黃建招等[12]提出一種離散平穩小波的改進自適應閾值降噪方法，能夠去除部分噪聲。楊勇等[13]提出了基于Lipschz 指數和平穩小波的CT圖像閾值去噪算法，可以提高圖像的信噪比。但是，基于變換濾波理論的方法，大多是在變換域中對變換系數進行閾值濾波，而閾值濾波過程中的閾值難以估計和調整，從而難以達到理想的去噪效果。而卷積神經網絡是模擬人腦進行分析學習的一種神經網絡結構，其訓練過程是網絡參數不斷優化的自適應過程，基于它強大的特征提取能力，它更容易在去除噪聲的同時保留更多的圖像細節信息。

近年來，隨著深度學習的發展，卷積神經網絡(Convolution Neural Network, CNN)已經在圖像分類、語音識別、目標檢測和文字識別等方面均取得了突破性研究[14-15]。將卷積神經網絡應用于自然圖像和LDCT圖像降噪也引起了廣大研究者的興趣。Wang等[16]提出一種指數線性單元(Exponential Linear Unit, ELU)網絡進行自然圖像去噪，能夠去除大量噪聲。Wang等[17]和Zhang等[18]將圖像的降噪過程看成卷積神經網絡的擬合過程，用深度學習的方法學習噪聲圖像和去噪圖像之間的映射關系，可以提高圖像的信噪比。Chen等[19]提出將卷積神經網絡應用于低劑量CT，可以提高圖像信噪比并保留圖像細節信息。Chen等[20]還提出一種殘差編碼-解碼卷積神經網絡用于低劑量CT圖像降噪，可以有效地抑制噪聲和偽影。這些基于卷積神經網絡的圖像去噪方法都是圖像域的卷積神經網絡，即直接將圖像作為數據集，在去除噪聲的同時也會造成圖像細節信息的丟失。

受平穩小波變換和深層卷積神經網絡在圖像處理方面應用的啟發，本文提出了一種平穩小波的深度殘差卷積神經網絡(deep residual Convolutional Neural Network for Stationary Wavelet Transform, SWT-CNN)模型，用于從LDCT圖像預測標準劑量CT(Normal-Dose CT, NDCT)圖像。該模型首先將LDCT圖像和NDCT圖像分別進行平穩小波三級分解，獲取高頻系數圖像；然后將LDCT圖像高頻系數作為輸入，將LDCT圖像高頻系數與NDCT圖像高頻系數相減得到殘差系數作為標簽，經過模型訓練，SWT-CNN可以學習輸入和標簽之間的映射關系；最后，利用此映射關系即可從LDCT圖像高頻系數中間接預測NDCT圖像高頻系數，通過平穩小波反變換即可得到預測的NDCT圖像。此外，本文SWT-CNN模型中加入了旁路連接和殘差學習策略，以提高網絡的收斂速度和估計圖像的質量。實驗結果表明，本文所提的SWT-CNN模型可以從LDCT圖像中預測NDCT圖像，且與其他公認效果較好的降噪算法對比，本文模型的預測結果優于其他算法的處理結果。

1 卷積神經網絡

1.1 CNN基本單元

CNN基本單元主要由輸入層、卷積層(Convolution, Conv)、批量標準化(Batch Normalization, BN)、激活函數、下采樣層和輸出層組成。卷積層提取圖像特征圖；BN層是在每個非線性變換引入標準化和移位步驟，從而避免網絡訓練過程中CNN內部節點的分布變化即內部協變量的轉移，進而大幅提高網絡的收斂速度[21]；激活函數將特征圖進行非線性變換，線性整流單元(Rectified Linear Unit, ReLU)作為常用激活函數之一，因其有助于在深層卷積神經網絡訓練過程中減少梯度消失問題，而被廣泛應用在深層CNN中[22]；下采樣層降低特征圖維度，加快網絡訓練速度，但是特征圖經過下采樣后會造成信息的丟失，因此，考慮到本文降噪任務的獨特性，本文SWT-CNN模型中不采用下采樣層。

1.2 旁路連接

深層卷積神經網絡中的多個卷積層雖有助于提取圖像更深層次的特征，但是，圖像經過多個卷積層后必然會存在信息丟失現象，而且隨著網絡層數的加深，信息丟失現象更為嚴重，從而不利于圖像細節信息的保護。旁路連接是將包含細節信息較多的特征圖與靠后的特征圖合并，從而將其攜帶的細節信息進行傳遞，有助于圖像細節的保護和圖像的恢復。包含輸入層、卷積層、BN層、ReLU函數和旁路連接的CNN基本單元如圖1所示。

圖1 包含旁路連接的CNN基本單元結構Fig. 1 Basic unit of CNN containing bypass connection

1.3 殘差學習

殘差網絡最初是為了解決隨著網絡層數的加深網絡性能不變甚至退化的問題而提出的。實驗表明殘差映射比原始映射更容易被學習，采用殘差學習策略，很容易訓練深層CNN網絡，提高圖像分類和目標檢測的準確性[23]。

本文任務對應的直接映射是將LDCT圖像高頻系數直接映射為NDCT圖像高頻系數，殘差映射是將LDCT圖像高頻系數映射為LDCT圖像高頻系數與NDCT圖像高頻系數相減得到的殘差系數?？紤]到殘差系數對比NDCT圖像高頻系數更為單一，其統計特性更容易被學習，因此本文中也引入殘差學習策略。但是，由于SWT-CNN模型進行降噪任務的獨特性，本文的網絡模型不需要多個殘差單元，因此，本文中只采用一個殘差單元橫跨整個網絡結構，通過學習到的殘差映射間接得到直接映射。如圖2所示，假設X是輸入，Y是輸出，則原始映射可以表示為H(X)=Y，而殘差映射可以表示為F(X)=Y-X，其中F(X)可以通過殘差卷積神經網絡得到，從而原始映射可以表達為H(X)=Y=f(X)+X，所以直接映射問題就可以轉化為殘差映射問題。

圖2 殘差學習結構Fig. 2 Structure of residual learning

2 SWT-CNN模型

2.1 平穩小波變換

在經典的正交小波變換算法中，圖像經高通和低通濾波后都要經過下采樣，使分解后的小波系數都變為原圖像大小的一半，但這樣容易造成小波系數部分信息的丟失，造成重構圖像的不穩定性，且容易產生震蕩效應。而平穩小波變換是對經典正交小波變換的改進，其最大的特點是冗余性和平移不變性[13]。

本文平穩小波變換使用冗余離散小波基，小波系數和尺度系數與原始信號等長，可以削弱經典正交小波變換中的振蕩效應[12]。其分解式可以用式(1)～(4)表示：

(1)

(2)

h0=〈φ1,0,φ0,k〉

(3)

h1=〈ψ1,0,ψ0,k〉

(4)

本文平穩小波變換的重構公式可以用式(5)～(7)表示：

(5)

(6)

(7)

其中，g0(k)、g1(k)分別為h0(k)、h1(k)的對偶基。

平穩小波三級分解示意圖如圖3所示，圖像經一級分解后會輸出4個系數圖像(LL1,LH1,HH1,HL1)，其中：LH1、HH1、HL1分別是水平、垂直和對角方向的高頻系數，稱為Level1，主要包括邊緣信息和噪聲等高頻分量；LL1是低頻系數，用來進行下一級的平穩小波分解。因此，圖像經平穩小波三級分解后，會產生9個高頻系數和1個低頻系數，圖像中的輪廓和噪聲信息大多存在于高頻系數中，從而有助于深度卷積神經網絡從多個高頻系數中學習圖像的輪廓信息，去除圖像噪聲，重構出高質量圖像。

2.2 去噪模型

本文將LDCT圖像的噪聲污染過程按照加性噪聲的模型進行簡化，假設x是NDCT圖像的高頻系數，y是LDCT圖像的高頻系數，v是噪聲或殘差信息，它們之間的關系可以用式(8)表示：

y=x+v

(8)

因此，x=y-v。所以，LDCT圖像高頻系數去噪模型可以看成是尋找一個函數f滿足式(9)：

(9)

其中f(y)≈v，并且f可以通過深度卷積神經網絡學習得到。

圖3 平穩小波三級分解示意圖Fig. 3 Schematic diagram of stationary wavelet three-level decomposition

2.3 網絡模型

如圖4所示，本文的SWT-CNN模型以LDCT圖像平穩小波分解后的高頻系數作為輸入，LDCT圖像高頻系數與NDCT圖像高頻系數相減得到的殘差系數作為標簽，學習輸入和標簽之間的映射關系。由于圖像噪聲和輪廓信息主要存在于高頻系數中，因此低頻系數不參與網絡訓練。通過采用殘差學習策略學習到的殘差映射，可間接得到直接映射，模型訓練完成后，可以間接從LDCT圖像高頻系數中預測NDCT圖像高頻系數，再通過平穩小波反變換即可得到預測的NDCT圖像。由于實際中LDCT圖像一般較大，難以直接進行網絡訓練，因此，為了提高網絡訓練速度，輸入和標簽圖像都被剪切成50×50的小貼片。

本文的SWT-CNN模型是以VGGNet-19網絡[24]為原型，針對降噪任務進行修改設計的，VGGNet-19網絡的研發者探索了網絡層數與網絡性能之間的關系，成功構筑了包含16個卷積層的網絡，并用于分類任務。本文的SWT-CNN模型采用與VGGNet-19相同的拓撲結構，但針對降噪任務放棄了全連接層和池化層，因為全連接層主要用于分類識別，而池化層會造成圖像信息的丟失，不利于圖像的恢復。

如圖5所示，網絡的輸入和輸出分別設置了9個通道，分別存放圖像的9個高頻系數，而且，網絡中共有16個卷積層：第1個卷積層后連接了ReLU函數；第2～15個卷積層都連接1個BN層和1個ReLU函數，BN層批量大小設置為40，即在輸入圖像中隨機選擇40組圖像和與之對應的標簽圖像作為1個批量進行網絡訓練；每個卷積層都對前一層的輸出提取128個特征圖，網絡框架的具體參數設置如表1所示。除此之外，網絡中設置了旁路連接模塊，由于過多的旁路連接模塊會增加網絡的復雜度，不利于網絡的訓練，考慮到網絡中共有16個卷積層，因此共設置了4個旁路連接模塊，每個旁路連接模塊由3個卷積層和1個旁路連接組成，可以在防止梯度消失的同時加快網絡收斂速度，并且有助于圖像細節信息的保護，提高預測圖像的質量。

表1 網絡結構參數設置Tab. 1 Parameter setting of network architecture

圖4 網絡訓練流程示意圖Fig. 4 Schematic diagram of network training process

圖5 網絡結構Fig. 5 Network structure

網絡訓練過程中可以通過損失函數計算預測圖像和標簽圖像之間的誤差，此誤差的最小化過程就是輸入圖像和標簽圖像之間的擬合過程。本文的SWT-CNN模型將預測小波系數和標簽小波系數的均方誤差作為損失函數，如式(10)所示：

(10)

其中:M是輸入通道數;N是批量大??；W是參數集合；xi,j是某一批量中第j組第i個通道輸入圖像(LDCT圖像小波系數)；yi,j是與xi,j對應的NDCT圖像小波系數；f(W,xi,j)是預測的殘差小波系數。

本文采用自適應梯度下降法(Adam)最小化損失函數。網絡共訓練了40個epoch，前15個epoch學習率為10-3，最后15個epoch學習率為10-5，其他的學習率設置為10-4。其次，本文用高斯隨機分布初始化卷積核權重，并在每個卷積層之前都對圖像進行零填充，使圖像在經過每個卷積層后大小不變，從而防止有效信息的丟失。

2.4 本文方法的特點

SWT-CNN模型是一種結合平穩小波的深層卷積神經網絡模型，實現從LDCT圖像預測常規劑量CT圖像，主要包括3個特點：

1)SWT-CNN模型將平穩小波變換和深層卷積神經網絡相結合，充分利用SWT能有效分離圖像細節與噪聲的優點和深層卷積神經網絡強大特征提取能力的優勢，實現頻域內小波系數之間的映射，而不是簡單的圖像映射，這樣更有利于保留圖像的細節信息。

2)SWT-CNN模型設置的旁路中攜帶的大量圖像細節信息有助于更好地恢復圖像和保留圖像細節，避免圖像經過多個卷積層后的信息丟失問題。

3)本文中的殘差映射是將LDCT圖像高頻系數映射為純噪聲高頻系數，相比直接映射更容易被學習，可間接地得到LDCT圖像高頻系數與NDCT圖像高頻系數之間的關系，有助于提高預測圖像質量。

3 實驗結果及分析

3.1 數據集

本文將50張對同一體模進行胸腔和腹腔CT掃描得到的投影數據進行濾波反投影重建后的圖像作為數據集中的NDCT圖像，圖像大小均為512×512。受到科研條件的限制，與NDCT圖像一一對應的LDCT圖像難以獲得，因此，本文在NDCT圖像的投影域加入泊松噪聲模擬CT掃描過程中投影數據被噪聲污染的過程，再進行濾波反投影重建獲得LDCT圖像。

本文將數據集中的45對NDCT圖像和LDCT圖像作為訓練集，將剩下的5對圖像作為測試集，即訓練集和測試集中的圖像不重復，能更好地說明本模型可以處理訓練集之外的數據?？紤]到訓練集中數據較少，因此通過翻折將其擴充到90對，訓練集中的部分NDCT圖像如圖6所示。圖 6是取自同一體模但不同部位的CT掃描圖像，可以看出訓練集中的圖像形狀不盡相同，在測試階段，此模型也不局限于圖像的形狀，可以更好地說明此模型處理不同部位不同形狀圖像的有效性。

此外，本文模型是將LDCT圖像的平穩小波系數作為輸入，而不是將原圖作為輸入，考慮到平穩小波系數圖像大小為512×512，輸入圖像過大會影響網絡的訓練速度和擬合結果，因此本文將所有平穩小波系數圖像以步長20剪切為50×50的小貼片，每張LDCT圖像的9個高頻系數圖像可產生5 184張小貼片，因此90張LDCT圖像共產生466 560張小貼片。在測試階段，被測試圖像的大小不受限制，也不必進行剪切，可直接將待處理圖像的高頻系數作為輸入，得到預測的NDCT圖像的高頻系數后進行平穩小波反變換即可。

圖6 數據集中典型示例Fig. 6 Typical examples of data sets

3.2 不同算法的比較

本文選取測試集中如圖7所示的一張胸腔CT掃描圖像和一張腹腔CT掃描圖像進行測試，驗證本文SWT-CNN模型在LDCT圖像降噪方面的有效性。將該模型測試結果分別與目前公認降噪效果較好的NLM算法[3]、K-SVD算法[7]和BM3D算法[6]進行比較，此外，還將本文模型與圖像域CNN(Image domain CNN, Image-CNN)模型對比，其中Image-CNN采用與本文模型相同的網絡結構和訓練參數，不同的是Image-CNN是將圖像作為訓練數據，不是將平穩小波系數作為訓練數據，以此來對比平穩小波變換在本文模型中的作用。

圖7 測試圖像Fig. 7 Test images

圖8是測試圖1的各種算法處理結果對比，圖中的方框是選取的感興趣區域ROI1。圖9為圖8(a)中方框內選取的大小為100×100的感興趣區域ROI1的局部放大圖，圖中的方框、橢圓、圓形和矩形分別是選取的NLM、K-SVD、BM3D、Image-CNN以及SWT-CNN處理結果的不同細節部分。從視覺效果來看，對比圖9(b)和9(f)內的方框部分，可以看出NLM算法噪聲沒有完全去除；對比圖9(c)、9(d)和9(f)內的橢圓部分，可以看出K-SVD算法和BM3D算法去除了大量噪聲，但是由于過度平滑造成了細節信息的丟失；Image-CNN模型和本文的SWT-CNN模型都去除了大量噪聲，并保留了圖像邊緣和細節信息，對比圖9(e)和9(f)中的圓圈部分，SWT-CNN模型在保留圖像細節方面略優于Image-CNN模型；對比圖9(c) ～ 9(f)中的矩形部分更能體現出SWT-CNN模型在保留圖像細節方面的優勢。因此，從對比結果來看，本文的SWT-CNN模型不僅去除了噪聲，而且避免了因過度平滑造成細節信息丟失的問題，預測結果與真實圖像最為接近。

測試圖2的各種算法處理結果如圖10所示，圖中方框是選取的感興趣區域ROI2。圖11為圖10中方框選取的大小為100×100的感興趣區域ROI2的局部放大圖，圖中的方框、橢圓和箭頭分別是選取的NLM、K-SVD、BM3D、Image-CNN以及SWT-CNN處理結果的不同細節部分。對比圖11(b)和圖11(f)內的方框部分，可以看出NLM算法處理結果中同樣有噪聲殘留；對比圖11(c) ～ 11(f)內的橢圓部分，可以看出K-SVD算法、BM3D算法和Image-CNN模型去除了大量圖像噪聲，但都由于過度平滑造成了不同程度的信息丟失；對比圖11(e)和圖11(f)內箭頭所指的部分，也能發現本文SWT-CNN模型在保留圖像細節信息方面略優于Image-CNN模型，表明本文模型中的平穩小波變換有助于保留更多的圖像邊緣和細節信息；從圖11(f)可以看出，SWT-CNN模型處理結果中無噪聲殘留，且避免了細節信息的丟失。因此，從視覺效果來看，本文的SWT-CNN模型處理結果最好。

圖8 測試圖1的不種算法結果Fig. 8 Different algorithms results of test image 1

圖9 圖8中方框內ROI1的局部放大圖Fig. 9 Partial enlargements of ROI1 in the box ofFig. 8

圖10 測試圖2的不種算法結果Fig. 10 Different algorithms results of test image 2

為了更好地驗證本文SWT-CNN模型的性能，圖12(a)描繪了測試圖1各種算法處理結果的橫向側面輪廓圖(取第200行像素)，圖12(b)描繪了測試圖2各種算法處理結果的縱向側面輪廓圖(取第251列像素)。從輪廓圖可以看出，相對于其他降噪算法，本文SWT-CNN模型處理結果的側面輪廓無論在邊緣區域還是背景區域都更接近原始圖像的側面輪廓，表明SWT-CNN模型處理結果與原始圖像更為接近。

圖11 圖10中方框內ROI2的局部放大圖Fig. 11 Partial enlargements of ROI2 in the box ofFig. 10

圖12 兩張測試圖不同算法結果的側面輪廓線Fig. 12 Sidelines of different algorithm results for two test images

除此之外，本文采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、均方根誤差(Root Mean Square Error, RMSE)和結構相似性(Structural SIMilarity, SSIM)對各算法處理結果進行定量描述。

圖13(a)～(c)分別是兩張測試圖中選取的ROI1和ROI2不種算法處理結果的PSNR、RMSE和SSIM。從圖13(a)中可以看出，本文模型處理結果的峰值信噪比略高于其他算法處理結果，表明本文模型的預測結果圖像噪聲較小，性能優于其他算法；從圖13(b)和13(c)中可以看出，本文SWT-CNN模型處理結果的RMSE值比其他算法值小，SSIM值比其他算法值大，表明本文SWT-CNN模型的預測結果與原圖偏差較小，結果與原圖更相似。

綜上所述，本文的SWT-CNN模型在視覺效果上不僅能去除大量噪聲，還能有效保留圖像的細節信息；在定量評價上優于目前公認效果較好的其他降噪算法和圖像域CNN模型，充分表明SWT-CNN模型將平穩小波系數作為訓練數據的優越性。因此，本文的SWT-CNN模型可有效地從LDCT圖像中預測常規劑量CT圖像，且預測結果與原始圖像最為接近。

圖13 不同算法結果的PSNR、RMSE和SSIM對比Fig. 13 PSNR, RMSE and SSIM comparison of different algorithm results

4 結語

本文提出了一種結合平穩小波的深度殘差卷積神經網絡，它不同于圖像域卷積神經網絡直接將圖像作為數據集，而是將圖像經平穩小波分解后的高頻系數作為數據集進行網絡模型訓練。網絡模型訓練后，可以從LDCT圖像的高頻系數中預測出NDCT圖像的高頻系數，再通過平穩小波反變換即可重構出預測的NDCT圖像。SWT-CNN模型充分將平穩小波變換提取圖像高頻信息的優點和卷積神經網絡強大特征提取能力的優勢相結合，有助于抑制圖像噪聲和保留圖像細節。此外，該模型中設置了旁路連接模塊并采用殘差學習機制，可以提高網絡的收斂速度和圖像恢復的質量。將所提模型與目前公認效果較好的圖像降噪算法和圖像域CNN對比，實驗結果表明，無論是從視覺效果上還是從質量評價上， 本文的SWT-CNN模型都優于其他算法的處理結果，該模型在提高LDCT圖像質量方面是可行且有效的。