基于光照模型的細胞內鏡圖像不均勻光照校正算法

鄒鴻博，章 彪，王子川，陳 可，王立強，袁 波

（1.浙江大學 光電科學與工程學院,浙江 杭州 310027；2.之江實驗室類人感知研究中心,浙江 杭州 311100）

1 引言

細胞內鏡是一種具有超高放大倍率的內窺鏡[1-4]，可實現常規倍率到細胞級放大倍率的連續放大觀察。受不均勻照明及雜散光的影響，不同放大倍率下的細胞內鏡圖像均存在光照不均勻現象，這會直接影響圖像的視覺效果及醫生對病灶的分析判斷。

現有不均勻光照校正方法可分為傳統方法和深度學習法兩大類。典型的傳統方法有直方圖均衡化(Histogram Equalization,HE)方法和基于Retinex 理論的算法。直方圖均衡化算法[5-7]簡單，但存在色彩失真、灰階過渡不連續等問題?；赗etinex 理論的算法根據光照-反射模型提取光照分量，包括同態濾波[8,9](Homomorphic Filter,HF)、SSR[10-11](Single Scale Retinex)、MSR[12-13](Multi Scale Retinex)等，但在具體應用中需配合適當參數才能起到最佳效果，特別在細胞內鏡中使用時，不同放大倍率下需設置不同的校正參數，否則容易導致光照校正不足或過度。

深度學習法通過建立“均勻-不均勻”光照圖像對并利用卷積神經網絡自動學習光照校正。如：Mei 等人[14]設計全卷積神經網絡(Full Convolution Network,FCN)模型來進行端到端的學習，將不均勻圖像校正為均勻圖像；Wang 等人[15]設計了特征編/解碼模塊對顯微鏡不均勻照度進行預測，再通過細化網絡逐步恢復光照均勻圖像。深度學習法具有泛化能力強和無需人工設置參數的優勢，但校正圖像會有顏色失真，且不易在純CPU 下實現實時推理。

為此，本文從細胞內鏡的光照模型出發，提出利用輕量級深度學習網絡從圖像中提取光照分布和利用二維Gamma 函數進行校正的細胞內鏡圖像的不均勻光照校正算法。該方法在光照校正的同時，可以更好地保持目標顏色，并且具有更快的推理速度。

2 細胞內鏡圖像去光照算法

基于Retinex 理論，圖像信息可以分解為光照分量和反射分量，如式（1）所示：

其中：f(x,y) 為圖像信息，i(x,y) 為光照分量，r(x,y)為反射分量。光照分量主要影響圖像的亮度，反射分量主要影響圖像細節的紋理信息。因此，只需要從圖像中提取出光照分量，就可以有效地對圖像進行光照校正。

2.1 細胞內鏡光照模型

細胞內鏡采用如圖1 所示的兩路發散光照明，在常規成像模式下，兩路發散光的光軸隨觀察平面靠近鏡體而遠離，從圖像中可以看出由此導致的光照不均勻性情況也是變化的。

圖1 常規成像模式下的照明光路Fig.1 Optical path in conventional imaging mode

在顯微成像時，細胞內鏡的孔徑光闌位置提前，使得視場角變大，由于細胞內鏡鏡體前端存在凸起（如圖2(a)和2(b)所示），以大角度入射的光線會從側面進入，形成雜散光，最終導致成像面出現如圖2(c)所示的條形光斑。

圖2 顯微成像模式下的雜散光產生過程Fig.2 The process of stray light generation in microscopic imaging mode

2.2 細胞內鏡光照提取網絡

在深度學習中，語義分割任務屬于圖像到圖像的變換問題，而圖像光照提取也是類似的。參考經典的語義分割網絡DFAnet，并基于上述細胞內鏡光照模型，本文設計了一個光照提取網絡，可以從原始圖像中提取光照分布。如圖3（彩圖見期刊電子版）所示，其結構主要包含主干網絡、位置編碼模塊、空間金字塔模塊等。

圖3 光照提取網絡結構圖Fig.3 Structure diagram of illumination extraction network

首先，細胞內鏡圖像的光照分布既受到全局光照的影響，又受到局部特征的影響，因此，主干網絡分三個尺度提取圖像特征，每一尺度下的淺層特征與深層特征進行融合，不同尺度下的淺層特征進行融合，得到融合后的特征圖。

其次，將融合后的特征圖輸入位置編碼模塊，以獲得額外的空間位置信息。位置編碼模塊采取的編碼方式如下：

其中PE為位置編碼的特征向量，pos代表位置，i為當前通道維度，dmodel為通道總維度。位置編碼特征和輸入的特征圖結合，可使得網絡包含顯式的位置信息，從而提高對不同區域光照強度的預測能力。

然后，通過空間金字塔模塊將主干網絡的多尺度深層特征與位置編碼后的淺層特征進行融合?？臻g金字塔模塊如圖4 所示，按由深到淺的順序依次進行特征解碼，每次特征解碼包含3 個步驟：上采樣、拼接和卷積融合。

圖4 空間金字塔模塊示意圖Fig.4 Schematic diagram of spatial pyramid module

最后，通過卷積對特征圖進行通道數壓縮，并上采樣到與輸入圖像相同尺寸，得到光照預測結果。

2.3 細胞內鏡光照校正算法

利用上述光照提取網絡提取到光照分布后，采用如圖5 所示的基于二維Gamma 函數的自適應圖像亮度校正方法進行光照不均勻校正。首先，將圖像從RGB 空間轉換為HSV 空間。然后，基于如下的Gamma 函數對圖像亮度進行校正：

圖5 圖像不均勻光照校正算法流程圖Fig.5 Flow chart of non-uniform illumination correction algorithm

其中V(x,y) 為輸入的亮度圖像，VREC(x,y)為校正后的輸出亮度圖像；t(x,y)為用于亮度增強的指數值，其中包含了圖像的光照分量特性；I(x,y)為提取到的光照分布圖像，Im為光照分布圖像的均值。最后，將校正后的V 通道與H 和S 通道重新合成彩色圖像。

3 實驗結果與討論

3.1 細胞內鏡圖像不均勻光照校正數據集

光照提取網絡的訓練需要構建“均勻-不均勻”光照圖像對數據集，WSI-FCN 算法通常的做法是：先拍攝不均勻光照圖像，再拍攝相同位置的均勻光照圖像，以此獲得一組圖像對。但上述方式操作繁瑣，數據集制作較耗時，本文提出了一種仿真數據集制作方法。該方法先采集均勻光照下的細胞內鏡圖像，然后在細胞內鏡的自帶光源照明下，拍攝灰度卡，得到不均勻光照分布圖像。最后將二者進行組合疊加，得到大量的不均勻光照下的細胞內鏡圖像。根據以上方法只需拍攝少量的內鏡圖像和光照圖像，無需嚴格匹配，操作簡單，數據集制作高效。

據此制作了包含750 組圖像的數據集，圖6 (a)（彩圖見期刊電子版）為常規成像數據集，從左到右拍攝距離遞減，可以看出光照對圖像的影響會隨距離而變化；圖6(b)（彩圖見期刊電子版）為顯微成像數據集，從左到右放大倍率依次增加，可以明顯看出顯微成像時圖像中存在條形光斑。

圖6 細胞內鏡不均勻光照數據集展示Fig.6 Images of non-uniform illumination dataset under cytoendoscope

細胞內鏡圖像采集裝置如圖7 所示，細胞內鏡鏡體固定在支架上，可通過手柄自由調節角度，離體動物組織或灰度卡可置于升降架上以方便調節目標到鏡體的距離。

圖7 圖像采集裝置Fig.7 Image acquisition device

實驗所用內鏡的放大倍率是連續可調的，在工作距離約為0 cm 的條件下，其放大倍率可達到500 倍；在工作距離約為15 cm 的條件下，其放大倍率約為1.5 倍。因此，通過調整工作距離，即可得到不同放大倍率的圖像。

首先，使用外部平行光照明動物組織，如圖7(a)所示，拍攝得到均勻光照下的細胞內鏡圖像；然后使用如圖7(b)所示細胞內鏡自帶光源照明灰度卡拍攝得到不均勻光照分布圖像，在0～15 cm 的工作范圍內設置15 個距離，每個距離下設置10 種拍攝角度，每個拍攝角度下設置5 個亮度等級，由此得到750 組光照分布圖像。

3.2 內窺鏡圖像去噪評價指標

選擇AGIC(Average Gradient of Illumination Channel)、DE(Discrete Entropy)兩個指標定量評價不均勻光照的校正效果。AGIC 為光照分量的平均梯度，其表達式為：

其中：M、N分別為圖像沿水平和垂直方向的分塊數；i，j代表圖像塊的位置；g(i,j)為相鄰塊之間的最大差值：

其中：m0(i,j)代表位置為(i,j)的圖像塊的亮度平均值；mk(i,j)代表位置為(i,j)的圖像塊的8 個鄰域塊的亮度平均值；max 表示取最大值。DE 為離散熵，其表達式為：

其中：x代表灰度圖像；i是灰度等級；而pi是灰級i的概率。DE 值越高，代表圖像包含的信息量越大。

3.3 實驗配置

實驗在Ubuntu16.04 系統進行，顯卡為NVIDIA RTX 1080Ti 11G 獨立顯卡，CPU 為Intel Core i7-10700K，代碼在Python 3.7.0 環境下運行，并使用Pytorch 深度學習框架。不同于對分辨率要求較高的圖像分割任務，輸入輸出圖像尺寸的變化不會對光照提取效果產生太大影響，因此在綜合考慮模型精度與推理速度之間的平衡后，統一將輸入圖像大小設置為512×512。為了使模型有更好的泛化能力，將初始學習率設置為0.01，并使其在訓練過程中不斷衰減，最小為0.000 1，考慮到顯存占用的問題，將Batch Size 設置為4，參照DFAnet 的訓練策略，將Epoch 設置為100，并使用Momentum 為0.9、Decay 為0.000 5 的SGD 優化器進行網絡參數優化。

選擇了AHE、HF、SSR 三種傳統方法和WSIFCN 深度學習法的校正效果進行對比。為了確保訓練結果的可靠性，將數據集按6∶ 2∶2 的比例劃分為訓練集、驗證集和測試集。依據驗證集上的結果調優模型，并將訓練好的深度模型在測試集上與其他方法進行效果對比。

3.4 結果分析

3.4.1 定性對比

定性對比結果如圖8（彩圖見期刊電子版）所示。

圖8 不同方法的圖像校正結果Fig.8 Image correction results using different correction methods

其中第一列和第二列為常規倍率下的豬胃圖像，第三列和第四列為顯微觀察下的腺管和細胞圖像，可以看出：

（1）在傳統算法方面，AHE、HF 和SSR 對邊緣區域亮度提升均不明顯，且AHE 和SSR 還存在過曝光的問題；此外，傳統方法往往需要手工調節參數，如從常規倍率切換到細胞級放大倍率時，這3 種方法都需要改變參數才能達到好的處理效果。

（2）基于深度學習的WSI-FCN 方法無須調整參數，邊緣區域亮度有一定提升，但存在明顯的偏色，這主要因為細胞內鏡的應用場景多樣，不同倍率下的圖像色調變化較大，通過卷積神經網絡直接預測校正后的彩色圖像會出現信息雜糅問題，導致當前場景下的色調受其它場景的影響。

（3）本文方法對邊緣暗區的亮度提升效果明顯，且不存在偏色及過曝問題。此外，從顯微倍率下的細胞圖像對比結果可以看出，本文方法對光斑也有很好的去除效果。

3.4.2 定量對比

不同校正方法在測試集上的定量結果如表1所示?？梢钥闯?，本文算法較其他幾種方法中效果最好的HF 方法，AGIC 降低了0.04，DE 提升了0.21。說明本文校正算法在光照校正的同時，能更好地保留圖像細節。

表1 不同方法的定量結果對比Tab.1 Comparison of quantitative results for different correction methods

3.4.3 速度對比

為了對比不同算法的運行速度，本文通過細胞內鏡采集了一段時長為2 分鐘的視頻，計算每種算法處理每幀視頻的平均耗時，結果如表2 所示?？梢钥闯?，無論在CPU 下還是GPU 下，本文算法的每幀耗時都最短，這得益于本文方法在網絡設計時通過小特征尺寸（128 pixel×128pixel）和低通道數（128）有效降低了模型的參數量。本文方法在CPU 為Intel Core i7-10700K 的條件下校正速度能夠達到20 frame/s，能夠滿足細胞內鏡實時使用的需要。

表2 不同方法的速度對比Tab.2 Speed comparison of different correction methods

4 結論

本文實現了一種基于細胞內鏡光照模型的不均勻光照校正算法，它通過卷積神經網絡學習圖像的光照分布，并基于二維Gamma 函數實現不均勻光照校正。實驗結果表明，經本文方法進行不均勻光照校正后，圖像邊緣暗區的亮度提升明顯，圖像光斑去除效果顯著，且不存在偏色及過曝問題。從定量結果來看，圖像的光照分量平均梯 度和離散熵分別為0.22 和7.89，優于AHE、HF和SSR 等傳統方法以及基于深度學習的WSI-FCN 算法。該方法可以有效改善不均勻光照對 細胞內鏡圖像質量的影響，從而更好地輔助醫生 進行診療。