基于多尺度LBP 算子的大理石紋理分割算法

鄒智偉， 張戰成， 姚浩男， 徐少康

（蘇州科技大學電子與信息工程學院，江蘇 蘇州 215009）

“源于自然，超越自然”是建筑類人造石材裝飾的價值追求。 人造大理石的圖案通常采集于天然石材，先經設計師修飾出圖，然后經布料系統處理，分成多個顏色通道在模具中噴料制造。 傳統布料系統依賴人工對大理石圖片進行紋理分割，成本高昂，同時分割結果也受個人主觀因素影響，造成了新花色設計周期長、生產效果和原始設計效果偏差大等問題。 利用圖像處理技術對圖片進行智能分割，代替傳統的人工摳圖，實現大理石的智能布料，是智能制造的發展方向。 傳統的圖像分割算法只考慮了像素值信息而忽視圖像中形狀信息和紋理信息[1]，不符合紋理分割的要求。 由于天然大理石紋理具有隨機和不規則的特點，并且大理石紋理很難用高層語義特征描述，基于深度學習的FCN（Fully Convolutional Networks）、APC-Net（Adaptive Pyramid Context Network）等場景分割算法很難直接用于大理石的紋理分割。 目前紋理分割方法主要分為以下幾類：基于灰度共生矩陣（Grey-Level Co-occurrence Matrix，GLCM）的紋理分割算法[2]、基于Gabor 濾波器的紋理分割算法[3]和基于局部二值模式（Local Binary Pattern，LBP）的紋理分割算法[4]等。

大理石圖像紋理的底層視覺特征表示[5]和聚類分割是實現分離的關鍵步驟。 常用的特征描述算子有灰度共生矩陣、Gabor 濾波器、LBP 算子等。 灰度共生矩陣是像素距離和角度的矩陣函數，它通過計算圖像中一定距離和一定方向的兩點灰度之間的相關性，來反映圖像在方向、距離、變化幅度及快慢上的綜合信息，由此代表紋理信息。 Haralick 等人[6]提出了用灰度共生矩陣來描述紋理特征，用灰度和梯度的綜合信息提取紋理特征，將圖像的梯度信息加入到灰度共生矩陣中，使共生矩陣包含圖像的紋理信息及排列信息，但計算過程太過冗余，計算效率低下。 Pratap T 等人[7]使用不同方向的Gabor 濾波器提取紋理特征，圖像通過Gabor 濾波器處理之后，在圖像空間域上，將高斯核函數和正弦平面波相乘得到紋理特征信息。 在頻域上，紋理特征信息反映在不同方向和不同尺度上的多向性特征。 Gabor 能夠提供良好的方向選擇和尺度選擇特性，而且對于光照變化不敏感，對光照變化有良好的適應性。 如上所述，需要構造多尺度、多方向的Gabor 濾波器，這會使圖像尺寸、特征維度成倍增加，產生冗余數據，使特征匹配更加困難。Ojala T 等人[8]則使用LBP 算子提取紋理特征，該算子具有光照不敏感性、灰度不變性和旋轉不變性，且魯棒性強。不同于GLCM 和Gabor 濾波器計算冗余、特征維數高，LBP 算子計算時間快、消耗內存小，LBP 算子的缺點是易受到噪聲影響，為了克服該缺點出現多種LBP 變體，如局部三值模式（Local Ternary Pattern，LTP）[9]、ELBP[10]和CLBP[11]。 但LBP 算子還是受算子尺度的影響，難以捕捉宏觀紋理信息和紋理變化。

常用的聚類算法主要有K 均值聚類（K-means）[12]、模糊C 均值（Fuzzy C-means，FCM）[13]和高斯混合模型（Gaussian Mixture Model，GMM）[14]等。 K-means 算法的優勢在于它的速度非?？?，因為只需要計算點和簇中心之間的距離，它的缺點是必須人工選擇聚類數量且聚類效果很大程度取決于聚類中心的初始位置；對于滿足正態分布的數據，FCM 算法的聚類效果更好， 但對孤立點十分敏感且算法性能同樣依賴初始點；GMM 算法與常見的K-means 聚類方法類似，但K-means 屬于硬聚類，結果中只包含每個像素點屬于某個類的硬劃分。 在此基礎上高斯混合模型則可以給出每個像素點屬于多個類的概率， 其包含的信息量遠高于K-means和FCM 算法，屬于軟聚類。 該模型優點在于，當某元素分配給兩個簇的概率相同或非常接近時，可以通過主觀選擇或者設置可變閾值來獲得更準確的結果。

原始LBP 算子在固定尺度上提取局部信息，存在兩個問題：第一個問題是單一尺度不能有效的獲取大尺寸且連續的紋理，解決該問題的一種方式是增大算子尺度[15]；第二個問題是在構造灰度特征向量時，僅將邊緣像素和中心像素進行比較，而忽視邊緣和中心之間的內部像素，丟失大量信息。 受到深度學習中空洞卷積[16]和特征金字塔[17]的啟發，將多分辨率特征聯結，增大感受野從而捕獲大尺度紋理特征。 筆者提出MLBP（Multiscale Local Binary Pattern）算子解決這兩個問題。 MLBP 是多個子尺度LBP 算子的疊加，不同于傳統方法使用邊緣的連續像素作為采樣點，而使用子尺度采樣點的組合，且選擇大尺度算子的同時保留內部子尺度算子，減少特征丟失。在MLBP 中，不同尺度的紋理特征會被不同的子尺度算子捕捉，不同子尺度算子能提取紋理的不同變化。

1 算法模型

將MLBP 算子提取的大理石圖像紋理信息作為特征向量，通過高斯混合模型對特征向量分布進行分析，使用EM 算法計算GMM 參數， 通過參數計算某個樣本屬于某個聚類的概率， 挑選最大概率作為該樣本的Label，則獲得分割結果。 算法整體流程如圖1 所示。

圖1 算法流程圖

MLBP 算子基于LBP 算子，如圖2 所示，5×5 MLBP 算子由3 個子尺度算子組成，分為外部子尺度算子和內部子尺度算子，不同于LBP 算子使用16 個連續鄰域像素作為采樣點，而是將24 個邊緣采樣點分解成3個鄰域像素的組合，每個組合由8 個采樣點組成，對應3 個子尺度算子。 計算過程如下：

圖2 MLBP 5×5 算子

首先，將圖像轉為灰度矩陣，每個像素點是值為[0，255]的一維向量，子尺度算子在灰度矩陣上對每個像素點進行計算，移動步長為1。 計算公式為

其中k代表像素點，總像素點個數為K，I（*）是指該點的灰度值，p代表的是采樣點（不同子尺度算子的采樣點不同），gt（*）代表門函數。 將中心點和鄰域采樣點進行比較，大于中心點的為1，小于中心點的為0，類似門控邏輯。 將8 位二進制數組合并轉換為10 進制數，即該像素點的新灰度值，計算過程類似卷積操作，最后將多個子尺度算子提取的紋理向量級聯得到最終紋理向量。

5×5 MLBP 是3 個子尺寸算子的組合，7×7 尺度下是6 個（如圖3 所示），這不僅考慮邊界像素，還考慮內部塊的像素來構造特征向量，采用8 個采樣點的組合保證灰度值區間為[0，255]，通過不同大小的子尺度算子能增加感受野，使獲取的特征更加完整連續，即單個子尺度算子提取不到的特征其他子尺度算子能夠提取，領域像素的不同組合可以有效捕捉紋理特征的變化，脫離了原始LBP 算子的局部性。

圖3 MLBP 7×7 算子

2 實驗結果及分析

文中實驗選取廠家提供的彩色大理石樣板圖作為數據集，將原圖RGB 顏色空間轉為YUV 顏色空間，選取Y 通道進行紋理分割，包含兩種像素尺寸規格：3 545×17 618 和1 601×2 015，含有魚肚白和北冰洋等不同風格的大理石圖像。 為了體現文中算法在紋理分割上的優越性，將該算法分割結果與基于LBP 算子的圖像分割算法FCM-LBP、K-means-LBP 和主流語義分割算法FCN 對比，再詳細對比不同紋理描述算子的灰度圖結果來展現MLBP 算子相比普通LBP 算子的優勢。

2.1 實驗結果

如圖4 與圖5 所示，大理石圖像相比普通圖像具有豐富的紋理語義信息和復雜的位置信息。 如圖4（c）和圖5（c），FCN 語義分割算法很難將紋理特征從背景中分離，紋理特征發生錯位，圖像整體信息比較混亂，該語義分割算法不適合大理石紋理分割。LBP 算子受限于固定尺寸，在捕獲小紋理特征的同時會損失大紋理特征，導致提取的紋理特征不完整，如圖4（d）-圖4（h）中FCM+LBP、K-means+LBP 和GMM+LBP 分割算法結果中線條出現斷續，紋理邊緣特征也有一定的損失；當分割目標差異較小時難以區分噪聲和斑點類型紋理的區別，損失了大量的紋理信息；分割復雜紋理的邊界時，在紋理和背景的界限上存在一定的過分割區域，分割時難以區分不同尺寸特征，噪聲點和異常點偏多，魯棒性較差。圖4（f）-圖4（g）受到聚類算法的影響，在數據較大時容易造成局部最優解，對孤立點非常敏感，分割結果存在許多噪聲點，且分割效果非常依賴于聚類中心的初始化。 文中基于MLBP 提取紋理特征并利用GMM 進行聚類，與FCM 和K-means 不同，GMM 受噪聲影響小，抭干擾能力強，如圖4（h）-圖4（i）。而MLBP 加入了子尺度算子，能夠提取不同尺度的紋理特征且捕獲到紋理的變化，從而獲得更加準確的紋理特征，如圖5（i），清楚地將紋理線條和背景區分，紋理線條完整且連續，噪點少，近似標簽圖。

圖4 不同分割算法的分割結果

圖5 不同分割算法的細節對比

如圖6 所示，對比不同子尺度算子提取的紋理特征，可以看出每個子尺度算子捕獲了不同尺度的紋理，大尺度算子獲得較大的紋理信息，小尺度則捕捉小紋理信息。 圖6（a）中，LBP 算子提取的特征局限于固定尺度，捕獲的紋理特征并不完整，且紋理變化單一，而MLBP 中多個子尺度算子的結合完全提取圖像的重要特征。 在同一時刻，某一個子尺度捕獲不到的紋理信息另一個子尺度可以捕獲到，這是多分辨率提取特征的一個重要特性。觀察圖6（b）中各個結果，可以看出背景和前景紋理的變化，不同子尺度算子捕捉到紋理不同方向的變化，而LBP 算子無法捕獲紋理的變化。

圖6 LBP、MLBP 7×7 算子紋理灰度圖對比

2.2 實驗分析

為了更好地定量評價每個方法的分割效果，文中使用像素精度（Pixel Accuracy，PA）、均像素精度（Mean Pixel Accuracy，MPA）、平均交并比（Mean Intersection over Union，MIoU）作為分割結果的評估標準。 PA 是計算標記正確的像素占總像素的比例；MPA 是一種逐像素標記的精度標準， 它是PA 像素精度的簡單提升，計算每個類中被正確分類像素數的比例，之后求所有類的平均；MIoU 指在每個類別上計算IoU 值（真實值與預測值的交集/真實值與預測值的并集），最后進行平均操作。

從表1 中可以看出，在大理石樣板數據集的實驗中，FCN 語義分割算法精度較低，且空間位置上特征錯位嚴重，不適合大理石紋理分割；將LBP 算子和FCM、K-means、GMM 結合的算法優于FCN 算法，但在細小紋理上分割上不夠精確，難以將復雜的紋理從背景中分離出，導致紋理分割結果出現雜亂、斷續等問題；文中提出的MLBP 算子將多尺度紋理特征融合起來，能清晰、完整地將連續紋理特征提取，在不同紋理風格的大理石數據集中平均分割精度均是最優， 基于MLBP 的算法相比FCN 分割算法均像素精度 （MPA） 提高了7.6%、8.1%、14%，對比基于LBP 的算法提高了6.6%、6.4%、3.1%。 最終文中算法比FCM-MLBP 提高6.4%，比K-means-MLBP 提高5.9%，均值正交比（MIoU）提高了8.6%、8%。

3 結語

面向大理石圖像的紋理特征提取，設計了改進的LBP 算子MLBP，該算子通過融合多個子尺度算子提取的紋理信息，提高了LBP 算子對紋理的描述性，同時保留LBP 算子不受圖片的光照、角度等因素影響的優點。 基于GMM 對紋理圖片的MLBP 特征進行無監督聚類，實現了大理石紋理的自動分割。 在真實的大理石圖片上進行紋理分割實驗，實驗結果表明，基于MLBP 方法結合GMM 相比FCN、FCM 和K-means 分割算法更加接近于標簽分割結果，滿足了工業生產的需求。 文中算法僅在魚肚花紋和麻石花紋上進行了實驗，更多風格的紋理圖像分割的效果有待進一步驗證。