基于先驗驅動深度神經網絡的泊松去噪變分模型

李倩，魏偉波，楊光宇，宋金濤，孫璐，潘振寬

（青島大學計算機科學技術學院，山東 青島 266071）

0 引言

在天文學影像［1］、生物醫學影像［2］、夜視影像［3］等弱光成像系統應用中，光感受器只能接收到少量光子，所獲取的圖像存在散粒噪聲，即泊松噪聲。該類噪聲與光強相關［4］，導致泊松噪聲的去除難度比傳統高斯噪聲的去除難度更大，成為圖像恢復研究中的一類重要問題。

經典的泊松噪聲去除方法有Anscombe 變換［5］、Fisz 變換［6］等方差穩定變換（VST）方法。該類方法將泊松噪聲轉換為具有穩定方差的近似高斯噪聲，再使用去除加性高斯噪聲的去噪器去除噪聲，最后通過逆變換得到去噪圖像。M?KITALO 等［7］提出VST 與三維塊匹配算法（BM3D）相結合的去噪算法（VST+BM3D），通過對高斯去噪器去噪后的圖像引用精確無偏逆，以降低應用非線性逆變換過程中產生的偏差和計算復雜度，從而提高去噪性能。AZZARI 等［8］提出基 于VST 的迭代 泊松去噪與BM3D 相結合的算法（I+VST+BM3D），將泊松觀測圖像與前一次迭代生成的去噪圖像組成尺度泊松數據，并使用精確的無偏逆得到去噪圖像的估計值，在圖像恢復質量、效率方面有很大提高，是目前去除泊松噪聲最先進的方法之一。然而，通過方差穩定變換得到的近似圖像是不準確的，尤其在信噪比較低時，逆變換的偏差較明顯。泊松噪聲去除的另一類經典方法為依據泊松噪聲統計量的直接方法［9-10］，如SALMON 等［10］提出依賴于高斯混合模型（GMM）的非線性主成分分析（NLPCA）和非線性稀疏主成分分析（NLSPCA）方法，可較好處理較低峰值的泊松噪聲去除問題，但整體圖像恢復質量較差，計算效率較低。由貝葉斯公式導出的變分模型（Le）［11］包含基于泊松噪聲統計量的數據項和圖像特征保持的規則項，經典的總變差（TV）規則項在去除泊松噪聲的同時可以保持圖像邊緣，但存在階梯效應和對比度下降問題。Lü 等［12］和張崢嶸等［13］分別用廣義總變差（TGV）規則項、歐拉彈性規則項替換Le 模型中的TV 規則項，有效克服了階梯效應問題，但須引入更多手工調節的懲罰參數。CHOWDHURY 等［14］引入分數階總變差（FOTV）規則項以保持復雜圖像的分段平滑性，但計算復雜度高，且在低信噪比時效果不顯著。

基于深度學習策略的卷積神經網絡的泊松噪聲去除方法［15-18］使高斯噪聲去除的效率和質量得到極大提高。REMEZ 等［19］將全卷積殘差神經網絡應用于泊松噪聲去除，但網絡結構復雜且可解釋性差，而基于深度學習的神經網絡［20-23］是有效的解決方案。WANG 等［23］在乘性噪聲去除變分模型的分裂Bregman 迭代算法中嵌入高效的高斯深度卷積神經網絡（DCNN）去噪器。FENG 等［24］提出在變分模型的半二次分裂（HQS）迭代算法基礎上嵌入高斯去噪器的泊松去噪反應擴散模型（TRDPD）［15］，該方法大幅提高了圖像恢復的計算效率，但這種即插即用（PnP）技術仍需手動精細調參，且在低信噪比時去噪效果不顯著，其主要原因是估計圖像包含的噪聲并不嚴格服從高斯分布，而是包含大量偽影信息。

本文在泊松噪聲去除變分模型的迭代算法基礎上，設計基于泊松噪聲訓練數據的端到端深度學習神經網絡，以避免懲罰參數的手工調節，并提高該類噪聲的去除效果。采用交替方向乘子法（ADMM）［25］設計變分模型的迭代求解算法，將原優化問題分解為多個子優化問題，并將與高斯去噪相關的子問題嵌入DPDNN 高斯去噪子網絡［26］，連同其他可迭代求解的子系統構成聯合訓練的端到端神經網絡系統。

1 泊松去噪變分模型及其ADMM 算法

1.1 泊松去噪變分模型

泊松噪聲圖像f的概率密度函數如下：

其中：μ為均值。據貝葉斯定理，噪聲圖像f恢復出理想圖像u的最大后驗分布如下：

其中：P(u|f)為后驗概率；P(f|u)為似然函數；P(u)為先驗概率。由于P(f)是已知泊松噪聲圖像f的概率密度函數，因此為常量。根據最大后驗估計理論，u可通過最大化式（2）得到，并可通過其負對數的最小化實現。

其中：Φ(u)依據圖像的Gibbs 先驗分布設計。

通過以上公式可得到經典的泊松噪聲去除變分模型：

其中：能量泛函中的第1 項為數據項，又稱數據保真度項；第2 項為規則項，用于刻畫恢復圖像特征保持特性；λ為懲罰參數，用于調節圖像特征保持的程度。

1.2 泊松去噪變分模型的ADMM 算法

式（4）可采用標準的變分方法及梯度下降方法求解，但其數據項由于包含對數運算容易導致數值計算困難，引入輔助變量w=logau，得到：

將式（4）轉化為受式（5）約束的兩變量極值問題：

式（6）的求解可借助ADMM 算法。為此，引入拉格朗日乘子σ和懲罰參數μ，構造以下增廣拉格朗日泛函：

在交替優化過程中，拉格朗日乘子采用如下修正迭代：

為了分離數據項和規則項，還引入另一個輔助變量z=u，并引入懲罰參數θ建立如式（6）所示的半二次分裂形式：

依據ADMM 算法，在交替優化的每一步中交替優化單個變量，相應的子優化問題依次如下：

1.3 子優化問題求解

采用變分法，子優化問題式（11）的解w滿足歐拉-拉格朗日方程：

對式（15）采用梯度下降法，并對時間變量采用顯式歐拉法離散，wk的迭代計算公式如下：

同樣采用變分方法，關于u的極值問題式（14）的解滿足歐拉-拉格朗日方程：

最終，σk+1由式（9）計算更新。

2 基于深度神經網絡的泊松去噪變分模型

2.1 DCNN 網絡結構

子優化問題式（18）是經典的高斯去噪模型，采用高斯去噪網絡DPDNN 的先驗高斯去噪子網絡DCNN［26］。DPDNN 先驗高斯去噪子網絡采用緊湊的改進U-Net 網絡結構，在加性噪聲圖像恢復方面性能優越，將該子網絡應用于泊松噪聲去除網絡設計，亦可看作其拓展應用的新嘗試。DCNN 網絡結構如圖1 所示（彩色效果見《計算機工程》官網HTML版，下同），由特征提取和圖像重建兩部分組成。特征提取部分由4 個特征編碼塊組成，每個特征編碼塊由3 個卷積層3×3×64、ReLU 激活函數和1 個下采樣組成，生成64 通道的特征圖并將特征圖的減小為輸入的1/2。圖像重建部分由上采樣和4 個特征解碼塊組成。先通過反卷積進行上采樣，再將編碼階段生成的相同空間分辨率的特征圖進行融合生成1 個新的上采樣特征圖，降低了編碼階段下采樣過程中的信息損失。每個解碼塊包括1 個1×1×64 的卷積層和ReLU 激活函數，用于將特征圖的數量從128 降至64，同時還包括4 個3×3×64 的卷積層和ReLU 激活函數。在網絡的最后從輸入端到輸出端進行跳躍連接的殘差學習，提高了網絡性能。

圖1 DCNN 網絡結構Fig.1 Structure of the DCNN network

2.2 DCNN 去噪網絡結構

圖2 為DCNN 去噪網絡結構。通過網絡執行算法的K次迭代，網絡的輸入是泊松噪聲圖像f，f初始化為u0，然后將u0輸入模塊，通過式（20）得到更新后的uk。高斯去噪子網絡采用DCNN網絡。

圖2 DCNN 去噪網絡結構Fig.2 Structure of the DCNN denoising network

通過端到端訓練分別學習相關參數，所使用的損失函數為均方誤差，其形式如下：

3 實驗結果與分析

3.1 評價指標

以峰值信噪比（PSNR）和結構相似性（SSIM）作為定量指標，以視覺效果作為定性指標，從這兩個方面對所提泊松去噪變分模型進行綜合評價，PSNR、SSIM 分別定義如下：

其中：f是噪聲圖像；u是原始圖像；μf、μu為圖像f、u的均值；σf、σu為方差；σfu為協方差。

3.2 數據集與超參數

模型訓練與測試均在NVIDIA GeForce TEX 2080 Ti 版本的GPU 上進行。為了訓練網絡，采用BSD400 數據集［26］的400 張180×180 像素的圖像作為灰度圖 像訓練 集，采 用BSD500 數據集［27］中除去BSD400 數據集和BSD68 數據集［19］所剩下的32 張圖像作為驗證集。訓練時數據尺寸裁剪為32×32 像素。在圖片中分別添加噪聲水平為1、2、4、8、20 5 種不同峰值的泊松噪聲，批次大小設為20，并對不同的噪聲水平進行訓練。使用Adam 優化器對所提模型進行訓練，優化器的超參數β1、β2分別設置為0.9 和0.99，其余參數設置為默認值。初始學習率為0.000 5，共訓練50 個epochs。

迭代次數K的選擇對于去噪結果的影響至關重要，因此測試不同迭代次數K的去噪效果。在峰值為2 的情況下選擇K為2、3、4、5、6、7、8 的7 個網絡模型分別進行訓練，在Set12 數據集［19］上展示PSNR 和SSIM 的對比結果，如圖3 所示。

圖3 迭代次數K 對泊松去噪的影響Fig.3 Influence of the number of iterations K on Poisson denoising

由圖3 可以看出：當迭代次數K取6 時，相對于K取2、3、4、5 的PSNR/SSIM 可獲得0.249 dB/0.031 0、0.144 dB/0.014 4、0.065 dB/0.005 6、0.023 dB/0.001 9 的增益；相對于K取7、8 時去噪效果提升不明顯。通過綜合考慮運行效率與去噪效果，將迭代次數設置為6 可獲得良好的去噪效果。對于參數μ、θ的選擇，采用固定一個值而調節另一個值的方法進行實驗，當μ、θ分別取0.05 和0.95 時可以 獲得較 好的去噪效果。

3.3 結果分析

3.3.1 灰度圖像泊松去噪

為了驗證所提泊松去噪變分模型（簡稱為Proposed）性能，將其與經典的基于NLPCA［10］、VST+BM3D［7］、I+VST+BM3D［8］以及深度學習TRDPD［24］的泊松去噪模型在Set12 數據集和BSD68 數據集上進行比較。

在實驗中，通過在Set12 數據集上添加峰值分別為1、2、4、8、20 的泊松噪聲來生成噪聲圖像。圖4～圖8 展示了部分圖像的去噪效果。圖4 展示的是峰值為1 時5 種模型去除泊松噪聲后的效果，可以看出：經過NLPCA 去噪后會產生明顯的條狀偽影且圖像細節過于模糊，只能恢復出圖像輪廓；基于BM3D 的VST+BM3D 和I+VST+BM3D 模型在去噪后出現了散斑，這是由于BM3D 去除噪聲的原理是通過選擇相似塊在變換域進行濾波得到塊評估值，當噪聲很大時會受到相似塊的影響形成散斑；經過TRDPD 處理后的圖片細節保留較好，但會產生塊狀偽影；所提模型具有較好的主觀視覺效果，在PSNR 和SSIM 指數上也得到了最好的結果，但在細節保持上略差于VST+BM3D、I+VST+BM3D 和TRDPD，弱化了部分關鍵結構，例如，在圖4（f）中房間細節處理過于平滑，而其他3 種模型可以看到更多房間的細節。由圖5～圖8 可以看出：無論峰值大小，經過NLPCA 的處理都會產生不同程度的條狀偽影；當峰值等于2 時，VST+BM3D 和I+VST+BM3D 兩種模型會產生明顯的散斑，當峰值大于2 時這兩種模型在視覺效果方面都有較大的改善，TRDPD 的塊狀偽影也不再出現；所提模型在視覺上展現的效果最好且PSNR 和SSIM 總是最高的，不僅在高信噪比時噪聲可以被去除，在低信噪比時也能很好地去除泊松噪聲，并且不會出現偽影和散斑等現象。因此，所提模型在去除泊松噪聲方面有顯著的效果。

圖4 峰值為1 時不同模型的去噪效果Fig.4 Denoising effect of different models when the peak is 1

圖5 峰值為2 時不同模型的去噪效果Fig.5 Denoising effect of different models when the peak is 2

圖6 峰值為4 時不同模型的去噪效果Fig.6 Denoising effect of different models when the peak is 4

圖7 峰值為8 時不同模型的去噪效果Fig.7 Denoising effect of different models when the peak is 8

圖8 峰值為20 時不同模型的去噪效果Fig.8 Denoising effect of different models when the peak is 20

在Set12 數據集和BSD68 數據集上采用不同去噪模型的去噪結果分別如表1 和表2 所示，其中最優結果以黑體表示，下同。由表1 可以看出：當峰值為20 時NLPCA 的PSNR 低于峰值為8 時的PSNR，說明NLPCA 的去噪性能不穩定；當峰值為1 時TRDPD的PSNR 和SSIM 均低于I+VST+BM3D，說明當噪聲峰值比較低時I+VST+BM3D 的去噪性能要優于TRDPD；所提模型在5 個噪聲峰值上均得到最高的PSNR 和SSIM。經驗證，所提模型具有較強的泊松去噪能力。

表1 不同模型在Set12 數據集上的PSNR 和SSIM 結果 Table 1 PSNR and SSIM results of different models on the Set12 dataset

表2 不同模型在BSD68 數據集上的PSNR 和SSIM 結果 Table 2 PSNR and SSIM results of different models on the BSD68 dataset

3.3.2 彩色與臨床正電子發射斷層掃描與計算機斷層掃描（PET/CT）圖像泊松去噪

為了更真實反映所提模型與其他模型在主觀視覺上的效果，在CBSD68 數據集［28］上將其 與NLSPCA［10］、I+VST+BM3D 和TRDPD 進行主觀視覺效果實驗。圖9 顯示了在泊松噪聲峰值為1 時的彩色圖像主觀視覺效果比較。由圖9 可以看出：彩色圖像經過NLSPCA、I+VST+BM3D 處理后會產生不同程度的模糊情況；經過TRDPD 處理后也會產生偽影；所提模型具有較好的去噪效果，特別是顏色偽影較少。

圖9 峰值為1 時不同模型對彩色圖像的去噪效果Fig.9 Denoising effect of different models on color images when the peak is 1

表3 為3 種模型與所提模型在CBSD68 數據集上的PSNR 和SSIM 比較，由NLSPC、I+VST+BM3D和TRDPD 處理的彩色噪聲圖像在數據指標上明顯低于所提模型，可以看出所提模型在去除彩色圖像的泊松噪聲方面也具有較好的效果。

表3 不同模型在CBSD68數據集上的PSNR和SSIM 結果Table 3 PSNR and SSIM results of different models on the CBSD68 dataset

為了證明所提模型的有效性，利用兩幅實際臨床腦部PET/CT 圖像進行實驗。圖10 展示的是腦部PET/CT 圖像和經4 種模型去噪后的圖像。由圖10可以看出：臨床PET/CT 圖像經過NLSPCA 和I+VST+BM3D 處理后雖然去除了噪聲，但圖片卻很模糊；經過TRDPD 處理后會產生一定程度的偽影；經過所提模型處理后的圖片既去除了噪聲，又避免了偽影的產生，且較好地保持了腦部結構。

圖10 腦部PET/CT 圖像Fig.10 Brain PET/CT image

3.3.3 運行時間比較

不同模型處理單幅圖像的運行時間如表4 所示。由表4 可以看出，通過使用深度神經網絡模型進行去噪的運行時間明顯短于傳統模型去噪的運行時間，表明深度學習方法適合在GPU 上運行，可以極大地提高運行效率。當處理256×256 像素的灰度圖像時，所提模型的運行時間比TRDPD 慢0.08 s，但比NLPCA、VST+BM3D、I+VST+BM3D 分別快9.31 s、0.71 s、0.23 s；當處理512×512 像素的灰度圖像時，所提模型要比TRDPD 慢0.07 s，比NLPCA、VST+BM3D、I+VST+BM3D 分別快62.51 s、3.41 s、1.50 s，說明所提模型具有較高的運行效率。

表4 不同模型處理單幅圖像的運行時間Table 4 Running time of single image processed by different models 單位：s

4 結束語

本文首先設計泊松噪聲去噪變分模型的ADMM 算法，將原優化問題分解為高斯去噪和圖像重建兩個交替優化子問題；然后根據迭代算法與深度神經網絡結構的對應關系將迭代過程展開成端到端的網絡求解。高斯去噪采用先驗驅動的深度卷積神經網絡實現，圖像重建通過解析求解實現?；跇藴蕯祿挠柧毢蜏y試結果表明，在灰度圖像、彩色圖像及臨床PET/CT 圖像的泊松噪聲去除方面，所提模型在客觀評價指標和主觀視覺效果上比傳統模型和現有深度學習模型更具優勢。本文工作主要是對基于深度神經網絡的泊松噪聲去除變分模型的初步探索，如何將其應用于去除其他噪聲以及基于加速的ADMM 算法設計更加高效的變分神經網絡還有待進一步研究。