基于半耦合字典的CT 圖像超分辨率重建方法研究?

范璐敏 樊重俊 沈玲麗 左星華

（1.上海理工大學管理學院 上海 200093）（2.上海市東方醫院 上海 200120）

1 引言

智能時代醫學影像技術得到了很好的發展，核磁共振和計算機斷層掃描等醫學圖像，逐漸成為了醫生對病患進行確診的主要手段［1］。通過計算機和電子掃描技術獲得的醫學成像，能夠幫助醫生和專家確定患者疾病，是診療疾病的重要輔助手段。結合醫學成像，醫生和專家可以為患者制定較為準確的治療方案。醫學成像中的CT 圖像是重建圖像，且無重疊［2］，作為醫院主要確定病灶物理性質的工具，可以反映出人體多個器官的具體狀態，還可以通過CT圖像看到人體內部組織的詳細模態信息，從而對病人的疾病進行診斷［3］。醫生可以利用CT 醫學圖像，結合計算機視覺技術對病變的特征進行提取，根據圖像的模態信息進行目標檢測和分割等醫學處理手段，然后對處理后的信息進行分析，幫助醫生對病人的病情嚴重情況作出準確的判斷。

超分辨率重建技術［4］可以從低分辨率的圖像中提取出高質量圖像，從而解決硬件成像的缺陷。該方法在多個領域得以運用［5］，并且可以對單幅和多幅圖像都可以進行重建［6］。CT 圖像的超分辨率圖像可以展示出較小的紋理結構和病理細節，醫生和專家對于病情的診斷都依賴于高分辨率CT圖像中的信息［7］。因此，CT 圖像超分辨率重建的研究，對病癥的確診和治療都具有重要的現實意義。

目前對于圖像超分辨率重建的算法有很多，有基于神經網絡方法［8］、基于圖像塊分類方法［9］、基于邊緣檢測方法［10］、基于局部結構相似與稀疏表示方法［11］、基于拉普拉斯金字塔生成對抗網絡方法［12］和基于雙字典方法［13］等多種重建算法。

其中劉村等［8］為了提高圖像的清晰度提出的一種基于神經網絡的圖像重建模型。首先采集圖像信息的原始圖像特征，在多幀圖像的空間維度上采用訓練策略，提取出圖像的像素點信息，并通過對樣本信息特征的學習，結合神經網絡對圖像在時間維度上的重建；再采用自適應分析法，實現對高分辨重建圖像的優化。實驗結果表明，該方法可以有效地提高圖像的分辨率和清晰度，但是重建效果較差。杜凱敏等［9］為了提高傳統圖像重建算法的分辨率，提出的一種基于紋理分解的超分辨率圖像重建算法，首先選取初始圖像并將其進行紋理分割，對形態進行分析，提取邊緣紋理特征，讓特征信息進行學習，通過對邊緣紋理信息低分辨率特征的訓練，實現其高分辨率圖像特征的重建，仿真結果顯示，基于紋理分解的超分辨率圖像重建算法，明顯優于傳統的圖像重建算法，但是峰值信噪比較低。

WANG.S 等［14］提出了可以通過半耦合字典學習的算法將高低分辨率的圖像聯系起來。為提高CT 圖像超分辨率重建的效果和性能，在此基礎上，將半耦合字典應用到CT圖像超分辨率重建當中。

2 CT圖像超分辨率重建方法設計

2.1 構建CT圖像降質退化模型

對于CT 圖像降質退化過程，可以采用一個降質退化函數，或一個復源濾波表示，如圖1所示。

圖1 CT圖像退化降質流程圖

圖1 中，初始CT 圖像u(x,y)利用降質退化函數H進行處理之后，加入噪音系數n(x,y)［15］，組成一幅全新的CT降質退化圖像g(x,y)。

相對于CT 圖像的超分辨率特征，其降質退化圖像g(x,y) 就是初始圖像g(x,y) 與神經元函數h(x,y)之間的卷積形式，表示為

式中，n(x,y)表示加入噪音因素的退化降質圖像信息，ξ和η表示降質退化后的CT 圖像屬性關系，t表示CT 圖像退化降質的時間。將公式（1）進行小波變換，得到公式如下：

式中，F(u,v)表示CT 圖像降質退化處理后的小波變換結果，hi(u,v)表示神經元函數的變換結果，Ni(u,v)表示初始CT圖像的變換值。

CT 圖像進行曝光處理后，圖像的分辨率會呈現離散化特點［16］，即公式為

其中，F(n1,n2)表示CT圖像的離散化坐標分布，m1和m2表示離散化系數。

為提高CT 圖像的分辨率，利用下列矩陣進行操作，即：

根據以上計算過程，構建了CT 圖像降質退化模型，通過提高CT 圖像的質量，為CT 圖像的超分辨率重建提供支持。

2.2 匹配CT圖像超分辨率特征點

在CT 圖像超分辨率特征點的匹配過程中，通常利用映射矩陣Pj進行計算，即：

式中，xj表示CT 圖像中的平面信息點，Xj表示CT圖像中的三維立體模態信息點，λj表示CT 圖像中含有的屬性參數。

設置匹配點和計算機斷層掃描的基本參數，根據半耦合算法獲取CT 圖像的超分辨率屬性特征［17］。假設CT圖像的超分辨率匹配點表達式為

式中，i=1,2,…,n表示CT 圖像的超分辨特征點，j=1,2,…,m表示CT 圖像的初始屬性，λ表示與CT 圖像超分辨率特征點相匹配的特征點，R與T表示CT 圖像在匹配特征點時的矢量信息，Rj和Tj表示CT 圖像在進行特征點匹配過程中，第j幀CT圖像與初始圖像屬性之間的關聯情況。將上述公式進行換乘處理，獲得下述表達式：

利用傅里葉算法，對Rj與Tj進行求和計算［9］，將結果作為CT 圖像高分辨率特征點匹配的初始值，得出下述公式：

根據式（8）可知，a為CT圖像的初始特征點匹配數值，歸一化處理之后得到，再對Pj進行紋理分解，得到分解后的結果和，此時獲得的結果并不準確，對進行第二次紋理分解，得到的為最優結果，從而準確的匹配CT 圖像超分辨率特征點，即：

受噪聲等多種不可抗因素的影響，對于CT 圖像超分辨率特征點匹配結果a并不代表全局解［19］，把上述求得的Rj和Tj代入下述公式獲得全局ai的解：

通過上述的分解處理后，可以得到精準匹配CT圖像超分辨率特征點。

2.3 基于半耦合字典設計圖像超分辨率重建算法

在圖像超分辨率特征匹配的基礎上，在圖像超分辨率重建之前，先進入半耦合字典的訓練階段，對一部分高分辨率的CT 圖像進行深度學習，從而獲取超高質量的半耦合字典，半耦合字典的優劣情況，直接決定CT 圖像超分辨率重建的結果［20］。通過半耦合算法對半耦合字典進行優化，對原始CT圖像進行k次紋理分解，減少半耦合字典中低分辨率原子的個數［21］，從而實現對CT 圖像的超分辨率重建。

將CT圖像超分辨率重建的目標圖像函數表示為

式中，X為CT 圖像超分辨率重建的第j行的屬性，重建后的分辨率為，刪除dk內包含的原始特征集Y進行分解的誤差系數Ek，對Ek進行特征分解，利用公式（14）進行定義：

式中，ωk表示CT 圖像重建前的樣本{yi}中的初始分辨率dk的圖像信息，假設當時，可以得到CT圖像超分辨率重建的索引，尺寸為N×|ωk|的超分辨率重建矩陣用Ωk表示，在CT圖像高分辨率重建位置(ωk(i)i)的初始分辨率系數設置為1，重建位置內所有的像素點設置為0，進行自適應分析后得到的結果為進行歸一化處理后得到的值為Y，歸化自適應分解后得到的結果為Ek［22］。將式（14）引入式（15）實現轉換，將轉換后的結果利用式（16）表示為

通過對上述求得的轉換結果Ek進行特征分解，就可以得到Ek=U?V，然后進行矩陣排列，將U作為第一次CT圖像超分辨率重建結果的優化結果，得到第一幀CT圖像超分辨率重建結果［23］，利用上述步驟對CT 圖像的每一幀進行超分辨率重建，最終獲得更新的半耦合字典。

通過對半耦合字典的更新和完善，實現對CT圖像超分辨率信息的重建，即：

通過上式，得到CT 圖像的超分辨率半耦合字典Dh，以及對應的超分辨率重建CT 圖像αk，通過式（17）對CT 圖像超分辨率信息進行求解，并對進程矩陣排列，為使半耦合字典內的CT 圖像與重建完成的超分辨率CT 圖像較為相近，將利用式（18）得到重建的超分辨率CT圖像：

上式中，X1表示CT 圖像進行超分辨率重建后的效果，Rk代表重建后的超分辨率CT 圖像的k個特征點，對重建后的超分辨率CT圖像進行去噪處理后，利用最小二乘算法，利用式（19）對其進行求解：

通過上面闡述的過程，將CT 圖像超分辨率重建算法設計過程描述如下：

Step3：對待重建的CT 圖像利用式（19）代入半耦合字典進行重建，最終完成對CT 圖像超分辨率重建算法的設計。

根據上述步驟，實現了CT 圖像的超分辨率重建。

3 對比分析

3.1 數據及參數設置

過程中，將1000 個橫切面CT 圖像作為實驗樣本，形成一個數據集，樣本中所有CT圖像分辨率都為512*512 px，選取其中800個樣本作為訓練集，剩余的200個CT圖像樣本作為測試集。

在實驗數據的預處理階段，先篩選出含有噪聲的CT 圖像，利用小波分析去除CT 圖像中的噪聲，并對其進行降質處理，保證CT 圖像的質量。實驗所用相關參數如表1所示。

表1 參數設置

3.2 設置指標

CT 圖像超分辨率重建實驗分兩個階段進行，第一階段利用峰值信噪比和結構相似性指標衡量CT 圖像超分辨率重建的性能，兩個指標的計算公式為

式中，r表示初始CT 圖像，f表示重建后的CT 圖像，μ表示CT圖像的均值，σ表示CT圖像的方差。

實驗第二階段，利用CT 圖像邊緣的鋸齒效應衡量CT圖像超分辨率重建效果。

3.3 結果分析

為了驗證基于半耦合字典的CT圖像超分辨率重建方法在應用時的直觀對比性，引入基于卷積神經網絡的重建方法和基于圖像塊分類的重建方法作對比，對三種重建方法進行測試，結果如下。

三種方法在CT圖像超分辨率重建中的峰值信噪比測試結果如圖2所示。

圖2 CT圖像超分辨率重建的峰值信噪比測試結果

從圖2 的結果可以得到，在峰值信噪比測試中，采用基于卷積神經網絡的重建方法得到CT 圖像重建的峰值信噪比也越來越低，當CT 圖像樣本個數在80 個～140 個之間時，峰值信噪比穩定在50%附近，隨后又迅速下降，最低峰值信噪比只有25%；采用基于圖像塊分類的重建方法時，在CT 圖像樣本數量低于100 的測試中，峰值信噪比穩定在80%左右，隨后也出現了下降趨勢，最低峰值信噪比為60%；采用半藕合字典的重建方法時，在前80個樣本中，峰值信噪比都穩定在98%，后期雖然出現了小幅度的下降，但是峰值信噪比仍然是三種方法中最高的。

三種方法在CT圖像超分辨率重建中的結構相似性測試結果如圖3所示。

圖3 CT圖像超分辨率重建的結構相似性測試結果

從圖3 的結果可以看出，采用基于卷積神經網絡的重建方法時，在前140 個樣本中重建的結構相似性呈線性下降趨勢，后期的測試中，重建的結構相似性下降幅度較大，最低結構相似性只有20%；采用基于圖像塊分類的重建方法時，重建的結構相似性雖然也在下降，但是波動幅度比較小，得到的最低結構相似性達到了62%；采用半藕合字典的方法時，整個測試過程中，CT 圖像重建的結構相似性在85%～99%之間浮動，說明該方法在重建的結構相似性方面具有更好的性能。

為了驗證文中方法的重建效果，測試了三種方法經過超分辨率重建之后的圖像邊緣鋸齒效應，結果如圖4所示。

從圖4 的結果可以看出，采用基于卷積神經網絡的重建方法和基于圖像塊分類的重建方法經過重建得到的CT 圖像邊緣出現鋸齒現象比較嚴重，而采用半藕合字典的方法經過重建得到的CT圖像邊緣相對圓滑，說明方法的重建效果更好。

4 結語

本文提出了基于半耦合字典的CT圖像超分辨率重建研究，通過測試對比發現，該方法在峰值信噪比和結構相似性方面具有更好的重建性能；同時在CT 圖像邊緣的圓滑度上，也具有更好的重建效果。