焦炭光學組織離焦顯微圖像去模糊算法研究

劉懷廣， 董 淵， 湯 勃， 黃千穩

（武漢科技大學機械傳動與制造工程湖北省重點實驗室， 武漢 430081 ）

0 引 言

隨著鋼鐵工業的不斷發展，高爐煉鐵也對焦炭的冶金性能提出了更高的要求［1］。 研發提升焦炭質量的新技術是中國焦化科研的長期任務，而尋求快速有效的焦炭質量評判與分析方法是其中重要內容。 現已有研究表明［2］，焦炭的微觀組織結構與其質量有著十分密切的關系。 為觀察到焦炭微觀組織結構，工業上使用偏光顯微鏡放大焦炭光片400 至600 倍后獲得組織圖像。 制備焦炭光片過程中，利用不飽和的樹脂和專用模具將粉焦固化，通過人工磨制拋光后切割獲得焦炭切片［3-4］。 由于這種特殊的制備光片過程，使焦粉不能完全在同一焦平面，顯微鏡觀察時目標對象有不同的景深，并且由于顯微鏡頭的特殊性，造成焦炭光學組織圖像存在局部離焦模糊。 如圖1 所示，圖1（b）中白色為非模糊區域，灰色為模糊區域。 然而焦炭光學組織顯微圖像是分析研究焦炭不同組織成分的重要依據，局部模糊降低了焦炭光學組織圖像的質量，造成主體圖像局部紋理細節缺失，使得人工分析研究困難和成分分割算法的準確性降低。 因此，需要對局部模糊的焦炭光學組織圖像進行局部去模糊處理，對圖像進行修復增加圖像質量。

圖1 焦炭光學組織圖像Fig. 1 Images of coke optical tissue

胡小平等［5］以圓盤函數作為模糊核，通過Laplacian 算子求微分自相關圖像，根據自相關圖像的暗環直徑估計模糊核半徑，然后利用改進的二次Wiener 濾波器對離焦模糊圖像進行修復。 李喆等［6］提出一種基于改進霍夫變換圓檢測的去模糊算法，通過對模糊圖像頻譜預處理，根據霍夫變換圓檢測求出零點暗圓半徑，然后利用混合特征正則化算法對圖像進行迭代復原。 但是這些算法只能解決空間離焦程度相同的全局離焦模糊，對于局部模糊的焦炭圖像的去模糊效果較差。 孫紹祖［7］等提出一種改進的點擴散函數（PSF）模糊估計方法，通過Canny 算法篩選出邊緣信息多的圖像子塊進行倒頻譜變換，然后進行Radom 變換求解PSF 參數，最后使用維納濾波進行復原。 但是，這種方法只對單方向的運動模糊圖像有效。 對于空間變化的離焦圖像去模糊，Xinxin Zhang［8］等利用模糊圖像的邊緣信息，通過KNN 摳圖插值算法估計出模糊程度圖像，根據局部模糊程度求出局部模糊核，采用BM3D［9］反卷積對圖像進行去模糊處理。 該算法雖然考慮了圖像的空間離焦程度，但是對于紋理信息復雜的圖像，在插值形成模糊程度圖時，容易造成錯誤的檢測，導致復原效果差。 汪陳躍等［10］通過使用固定的模糊核組，利用截斷約束最小二乘法算法對圖像進行復原，對復原后的圖像組進行像素級圖像質量評價，然后比較評價參數，將多幅復原圖像中最佳像素組合為最終復原圖像。 由于該方法去模糊效果十分依賴圖像質量評價方法，而質量評價方法對圖像內容十分敏感，影響了最終效果。

焦炭離焦模糊圖像的去模糊修復是一個具有挑戰性的問題。 首先，在修復過程中，基于傳統的模糊模型，在缺少先驗知識時，圓盤（或高斯）模糊核的求解是個復雜的問題；其次，焦炭顯微圖像在空間上模糊程度的不同，若使用統一的模糊核去模糊造成圖像復原效果欠佳；最后，對于局部模糊的焦炭圖像，國內外的相關研究工作較少，應用已有的去模糊方法去模糊效果較差。

綜上所述，為了提升焦炭圖像的圖像質量，本文提出了一種針對焦炭圖像局部變化離焦模糊的分步式去模糊算法。

1 焦炭圖像的分步式去模糊算法

局部模糊圖像進行去模糊處理時，因為圖像中不同區域的模糊程度不同，用整體的去模糊算法會造成清晰區域過處理，導致圖像修復方法不僅沒有提高圖像質量反而失去清晰區域更多的細節。 本章結合局部模糊檢測、模糊分割和圖像去模糊算法的相關知識，對焦炭圖像去模糊進行了相關的研究，提出了一種針對焦炭圖像局部變化離焦模糊的分步式去模糊算法，來復原單幅空間可變化的局部模糊焦炭圖像。

首先，使用LBP 紋理檢測算子，對焦炭光學組織圖像進行模糊檢測，在得到初步模糊程度度量圖像后，利用Alpha-matting 算法進行區域性分割獲得α模板矩陣；然后，通過IFAN 去模糊網絡對圖像進行處理，得到全局處理的去模糊圖像；最后，以α模板矩陣作為融合比列，對原圖和全處理圖像進行線性融合，得到最終的去模糊圖像。 算法流程如圖2所示。

圖2 焦炭圖像去模糊的算法流程Fig. 2 Algorithm flow of coke image deblurring

1.1 焦炭圖像局部模糊分割

由圖1 可見，焦炭顯微圖像主要由組織主體和背景組成，而主體越靠近圖像邊緣模糊程度就會越大，如果按照統一的標準進行去模糊處理，會導致清晰部分的失真，易造成誤判。 因此，本文提出了基于LBP 模糊度量標準的模糊區分割方法，先對模糊部分進行度量和提取。 該方法依據模糊而造成紋理細節的變化，對不同紋理特征進行模糊程度的表征，形成一幅模糊程度的映射圖像，然后應用分割方法對焦炭局部模糊區域進行分割。

1.1.1 基于LBP 的模糊度量

LBP （Local Binary Patterns）［11］是一種用來描述圖像局部紋理特征的算子，已成功用于計算機視覺問題。 如：紋理分割、人臉識別、特征檢測和三維紋理表面識別等等。 原始的LBP 算子定義為：在3×3 的窗口內，以窗口中心像素為閾值，將相鄰的8 個像素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0。這樣，3x3 鄰域內的8 個點經比較可產生8 位二進制數（通常轉換為十進制數即LBP 碼，共256 種），即得到該窗口中心像素點的LBP 值，并用這個值來反映該區域的紋理信息。

在焦炭光學組織圖像中，由于其結構信息復雜，在進行LBP 特征檢測時，模糊區域的一些細微紋理特征會被識別成噪點，不方便統計區分模糊與非模糊區域，使模糊檢測時造成誤檢。 因此，本文在相鄰像素與中心像素比較時加入一個閾值，通過該閾值控制對局部紋理的敏感程度。 所以，在模糊檢測中，中心像素點（xc，yc） 的LBP 值可以用公式表示為：

式中：nc表示中心像素點（xc，yc） 的像素值大小，np是以中心像素點（xc，yc） 為圓心，半徑為R的圓上第P個像素值大小，T是決定中心像素對局部紋理敏感程度的閾值，可以通過該值大小控制基于LBP 模糊度量對模糊區域的敏感性。

為減少局部紋理特征的數量，方便統計模糊區域與非模糊區域的紋理特征差異，采用Uniform Pattern LBP 通過計算循環二進制數的跳轉次數，把跳轉次數大于2 的歸為一類，小于等于2 次的不同紋理特征分為不同的類。 相比于半徑為1 個像素的傳統LBP，Uniform Pattern LBP 把256 種不同的紋理特征減少到了58 種，最后再按照旋轉不變性，將58種紋理特征減少到有1 種非等價模式LBP 和9 種等價模式LBP（如圖3），圖中紅色的點表示該位置像素值與中心像素值的差大于敏感閾值。

圖3 9 種旋轉不變性的等價模式紋理Fig. 3 Nine Uniform Pattern LBP textures with rotation invariance

由于LBP 對噪聲比較敏感，處理后的特征圖有非常多的干擾點（如圖4（a））。 本文通過設置閾值，可以控制對紋理的敏感程度（如圖4（b））。

圖4 基于LBP 模糊檢測Fig. 4 Fuzzy detection based on LBP

有研究證明，LBP 的第6、7、8 和9 種紋理特征數量在模糊區和非模糊區有明顯的差別［12］。 因此，可以通過統計焦炭圖像每個像素點鄰域范圍內的這4 種特征數量，來表征該像素點的模糊程度，用公式表示為

式中：N為中心像素局部區域內的像素點個數，n(LBP8，1i) 是半徑為1 個像素的圓上第i種紋理特征的數量，歸一化后使模糊度量mLBP∈ [0， 1] 。

本文通過對焦炭光學組織圖像進行LBP 特征檢測，篩選標記出第6、7、8 和9 種紋理特征，對其進行公式（3）的計算，得到焦炭光學組織圖像的模糊程度映射圖，如圖5 所示。 由5（b）可知，非模糊區域的度量值大于模糊區域的值，可以用于模糊區域與非模糊區域的檢測。

圖5 焦炭的模糊程度度量圖Fig. 5 The blurred metric map of coke

1.1.2 基于Alpha-matting 的模糊圖像分割

在模糊映射圖中，由于每個像素點的值是LBP特征圖鄰域內特殊紋理的數量，使得模糊映射圖對圖像邊緣十分敏感，導致主體模糊區域與背景的邊緣處度量值偏高，僅僅使用簡單的閾值對模糊映射圖像分割會存在大量前景與背景邊緣誤分且不連續（如圖6）。 因此，本文使用Alpha 摳圖算法對模糊映射圖像分割，區分模糊區域與非模糊區域。

圖6 閾值分割與人工分割對比（紅色方框內為誤分）Fig. 6 Comparison of threshold cut and manual segmentation （red boxes are misclassified）

Alpha-matting 算法是通過把圖片表示成由前景，背景和未知區域組成，所以一張圖片可以由公式表示為

式中：I（x，y） 表示（x，y） 點像素值大小，F（x，y）表示前景像素值，B（x，y） 表示背景像素值，α表示（x，y） 點的前景透明度。 當像素點為圖像前景時α＝1，像素點為背景時α＝0。

通常，為求解摳圖模板矩陣α， 需要通過交互式涂鴉的方法標記圖像。 然而在模糊映射圖中，模糊區域為背景，非模糊區域為前景，并且越模糊像素值越小，因此可以通過雙閾值的方式標記前景、背景和未知區域。 圖7（a）所示為初始涂鴉圖，初始α涂鴉圖可以表示為：

圖7 基于Alpha 摳圖算法的模糊區域分割Fig. 7 Alpha-matting algorithm based fuzzy region segmentation

然后，通過閉合型摳圖（Closed-form matting）的方法［13］擬合模型，最小化代價函數，獲得最優摳圖模板矩陣α：

式中：L是拉普拉斯矩陣（matting Laplacian matrix），α＾是上一步迭代的摳圖模板，初始α＾矩陣為α涂鴉圖。 圖7（b）為摳圖模板矩陣α（α∈ [0，1] ），非模糊區域像素值為1，模糊區域像素值為0。

1.2 基于深度學習的局部離焦圖像去模糊

在局部離焦圖像中，因為離焦模糊在空間上的程度不同，導致傳統的圖像復原方法。 如維納濾波，在模糊核的計算上比較困難，在缺少先驗知識的情況下，傳統方法復原的效果不佳。 目前，深度學習在圖像去模糊方面優勢明顯。 其中，DPDNet（Dual-Pixel Data Network）利用雙像素數據集訓練的精度較高，但是該網絡去模糊時需要兩張圖片作為輸入且容易產生振鈴和偽影現象，因此本文選擇改進型的IFAN（Iterative Filter Adaptive Network）網絡，對離焦焦炭圖像去模糊。

1.2.1 IFAN 網絡

IFAN 網絡是由Junyong Lee 等［14］提出的一種新穎的端到端學習網絡，應用DPDD（Dual-Pixel Data）數據集［15］專門用于離焦圖像的去模糊。 如圖8 所示，該網絡的主體結構由特征提取模塊（Feature Extractor）、特征重建模塊（Reconstructor）和自適應濾波模塊（IFAN）構成。 其中，自適應濾波模塊又由特征提取模塊（Filter Encoder）、視差估計模塊（Disparity Map Estimator） 和去模糊核預測模塊（Filter Predictor）組成。 自適應濾波模塊通過視差估計模塊，對不同的雙像素圖像估計不同的去模糊核，然后經過可迭代的自適應卷積（Iterative Adaptive Convolution）生成去模糊圖像，專門解決離焦圖像空間模糊變化的復雜性，改善了普通網絡對變化的離焦空間的不適應問題，減少了振鈴和偽影現象。

圖8 IFAN 去模糊網絡的主體結構Fig. 8 The main structure of IFAN network

由于IFAN 網絡的自適應濾波模塊對離焦空間的適應性，對于焦炭圖像的局部模糊區域有著不錯的去模糊效果。 但是，對于焦炭圖像的清晰部分，因缺少焦炭圖像數據訓練，存在對清晰部分過度處理的問題，如圖9 所示。 因此，僅僅對局部模糊區域去模糊處理，可以大大減少圖像過處理問題。

圖9 焦炭圖像直接處理前后對比Fig. 9 Comparison before and after direct processing of coke images

1.2.2 基于矩陣α的圖像融合

為解決IFAN 去模糊網絡對局部清晰區域的過處理問題，需要通過圖像模糊程度，確定不同區域的處理程度。 本文提出以摳圖模板矩陣α作為融合比例，對全局處理的焦炭圖像和原圖像融合，獲得以模糊程度生成的模板矩陣決定的去模糊圖像。 這樣，模糊區域就進行了IFAN 網絡去模糊處理，非模糊區域得以保留原有的紋理特征，避免了非模糊區域的過處理問題。 處理的圖像可以通過公式表示為

式中：α為融合矩陣，F（x，y） 為原局部模糊圖像，B（x，y） 為全處理圖像。 處理結果如圖10 所示。

圖10 焦炭處理結果圖Fig. 10 Coke processing results graph

2 實驗結果與分析

本次實驗圖像來自寶武集團中央研究院提供的焦炭光學組織圖像，圖像通過偏光顯微鏡放大500倍拍攝，圖片大小為1 300×1 030。

在局部模糊區域檢測算法中，LBP 算子的半徑R設置為1 個像素，P設置為8，模糊敏感閾值T設置為10，計算特殊紋理數量的局部鄰域設置為21×21。在Alpha-matting 的模糊區域分割中，通過設置T1為0.3，T2為0.01 生成初步迭代的涂鴉圖。

圖11 為原局部模糊焦炭圖像，圖片大小為1 300×1 030。 圖中藍色方框為局部模糊區域，后續將對這些區域進行實驗結果對比。

圖11 拍攝獲得的4 張焦炭圖像Fig. 11 Four images of coke acquired

2.1 處理前后對比

為分析本文算法對焦炭光學組織圖像的復原效果，采用4 種不同評價標準的無參考圖像質量評價方法進行圖像復原效果衡量，驗證本文算法的實用性。

質量評價標準如下：

（1）基于邊緣的評價標準

累加概率（ Cumulative Probability of Blur Detection， CPBD）［16］的評價方法，是通過計算邊緣塊的局部對比度求出恰好可覺察模糊（JNB）寬度，然后與邊緣寬度的比值求出邊緣塊的模糊概率，累加小于JNB 概率的值表示模糊程度。 公式表達為

式中：PBLUR為邊緣塊的模糊概率，PJNB為63%，CPBD 越大圖像越清晰。

（2）基于頻域的評價標準

改進的交流系數平方和（Sum of Squared AC coefficients of DCT， SSAD）［17］的評價方法，通過SIFT 檢測出顯著性邊緣塊，計算出邊緣塊的SSAD。為消除圖像內容的影響，通過局部信息熵和局部標準差進行歸一化求得質量分數。 公式表達為

式中：Ey為SSAD，σx為方差，hx為信息熵，wx為加權系數，r取0.1，score越大圖像越清晰。

（3）基于再模糊的評價標準

再模糊結構相似度（Structural Similarity，SSIM）［18］的評價方法，通過再模糊理論（模糊區域再模糊后特征變化小的原理），對計算圖像再模糊前后的SSIM 進行評價。 公式表達為

式中：I為原圖像，IREblur為再模糊圖像。score越小，模糊前后圖像相似度越小，圖像越清晰。

（4）基于奇異值的評價標準

奇異值（SVD）分布比值［19］的評價方法，是通過計算圖像前k項奇異值所占的比值進行評價。 公式表達為

式中：σ為圖像分解后的奇異值，score越小，圖像越清晰。

為了比較不同算法處理圖像前后模糊區域的差別，本文通過對獲得的4 張焦炭圖像進行不同算法處理，專門針對焦炭局部模糊進行比較，如圖12 所示。

圖12 不同算法模糊區域處理前后對比Fig. 12 Comparison of different algorithms before and after blurred area processing

為了方便數據進行比較，對SSIM 和SVD 進行取倒，通過對8 張處理前后的局部離焦焦炭圖像進行4 種無參考圖像質量評價計算，得到的數據見表1，圖13 為圖11 中4 張圖的柱狀圖比較。 從表1 及圖13 中可以發現，在質量評價上，經本文算法處理后的焦炭圖像，在4 種不同的評價標準上都體現出更好的圖像質量（加粗的數值表示圖像質量更高）。

表1 無參考圖像質量評價對比Tab. 1 Comparison no-reference image quality evaluation

2.2 與不同算法的對比

由圖12 對比結果可知，相比于維納濾波［5］方法和BM3D［8］算法，本文算法去模糊效果更好。 通過比較表2 和圖14 中3 種算法的圖像質量評價數值表明，本文算法的累加概率（CPBD）和交流系數平方和（SSAD）都更高，表明本文算法模糊區域的紋理增強更明顯；其結構相似性（SSIM）和奇異值（SVD）更低，倒數更大，表明本文算法去模糊后模糊區域的相似性更低，結構細節更多，并且在4 種評價方法下都體現出更好的圖像質量，魯棒性更強。

表2 無參考圖像質量評價對比Tab. 2 Comparison no-reference image quality evaluation

圖14 不同算法的柱狀圖對比Fig. 14 Histogram comparison of different algorithms

3 結束語

針對焦炭光學組織圖像拍攝過程造成的局部離焦問題，本文提出一種局部離焦圖像的去模糊算法。為解決焦炭圖像局部離焦模糊，本文采用基于LBP的模糊檢測方法，分割出模糊區域與非模糊區域；對于模糊區域的離焦空間的變化性，應用先進的IFAN去模糊網絡結構，解決了傳統去模糊算法對復雜離焦空間的模糊核估計的困難；通過alpha 摳圖算法得到模板矩陣α，融合原焦炭圖像與全處理圖像，解決了IFAN 網絡對非模糊區域的過處理問題。 經過本文算法的處理，焦炭圖像局部模糊區域結構紋理得到增強，圖像在4 種無參考質量評價下圖像質量分數更好。