基于全局劃分與局部劃分的自適應活動輪廓模型

熊點華,張守成,唐利明,方 壯,嚴俊瀟

(1.廣西民族師范學院 數理與電子信息工程學院,廣西 崇左 532200;2.湖北民族大學 數學與統計學院,湖北 恩施 445000;3.塔里木大學 信息工程學院,新疆 阿拉爾 843300)

0 引言

為了對圖像進行更好的分析和理解,需要把圖像分成幾個區域,這是圖像分割的主要任務.近年來隨著人工智能的發展,基于深度學習的圖像分割方法[1-4]相繼提出.基于深度學習的圖像分割的方法效率高,但需要大量的實驗樣本進行訓練,因此相關理論的可解釋性還有待完善.傳統的圖像分割方法主要有聚類分析、閾值分割、活動輪廓 (Active Contour Method,ACM)等,其中基于ACM的變分水平集[5-6]具有良好的實驗效果和完備的數學理論,受到研究者的關注,并在人臉識別[7-8]、衛星定位[9]等領域得到了廣泛應用.

活動輪廓模型分為全局活動輪廓和局部活動輪廓.經典的全局活動輪廓模型是Chan和Vese[10]提出的Active contour without edge model模型,又稱CV模型,其分割結果不受梯度影響,但對灰度不均圖像的分割結果較差.Li等[11]提出局部二值擬合能量(Local binary fitting energy,LBF)模型.LBF模型中的局部能量項可以很好地捕捉圖像的局部信息,但它對初始輪廓線位置和圖像中的噪聲敏感.全局和局部活動輪廓模型各有優點,Wang等[12]結合CV模型與LBF模型的優點,提出了由局部和全局強度擬合能量驅動的活動輪廓(local and global intensity fitting,LGIF)模型.LGIF模型能分割灰度不均圖像,但不同的初始輪廓所對應的權重系數不同.Han等[13]建立了基于迭代次數的自適應權重函數,提出基于Jeffreys 散度的活動輪廓(Active contour model on Jeffreys divergence,JD-ACM)模型,JD-ACM模型對權重系數和初始輪廓魯棒,但未考慮圖像的形狀、紋理等特征.

在全局和局部活動輪廓的框架下,研究者基于不同的理論建立了諸多活動輪廓,并得到了良好的實驗效果.Min等[14]結合圖像的紋理特征,提出了基于強度-紋理模型的圖像分割水平集方法(An Intensity-Texture model based level set method,ITLSM)模型,將目標和背景內部區域分為灰度值比平均灰度值大和比平均灰度值小的兩個部分,用于分割復雜兩相圖像.該模型對模糊邊界的擬合能力較差.Ding等[15]在用局部計算圖像的平均灰度定義兩個預擬函數,提出了局部擬合能量驅動的活動輪廓快速圖像分割(Active contours driven by local pre-fitting energy,ACM_LPF)模型,縮短了基于圖像擬合活動輪廓模型分割圖像的時間.ACM_LPF模型只適用于兩相圖像的分割.Zhang等[16]基于圖像恢復(Total Variation[17],TV)模型,引入多尺度項,提出了用于多尺度圖像分割的圖像分割(A Variational level set model for Multi-scale,MCV)模型,增大尺度參數,可將噪聲、紋理去掉,但邊界提取項為CV模型中的能量項,不適用于多相圖.上述活動輪廓模型雖然能分割灰度不均圖像,但對邊界模糊圖像的分割結果較差.Fang等[18]構建區域能量,加入邊緣能量對水平集函數進行正則化,提出了基于混合和局部模糊區域能量驅動的邊緣區域活動輪廓(Hybrid and local fuzzy region-based energy,HLFRA)模型,HLFRA模型可分割高噪聲、高灰度不均圖像,但對低對比度圖像的邊界擬合能力較弱.Fang等[19]提出基于模糊區域的由全局和局部擬合能量驅動活動輪廓 (Fuzzy region-based by global and local fitting energy,GLFIF)模型,GLFIF模型能快速分割邊界模糊圖像,但會提取到圖像中一些非必要的細節.

為了分割邊界模糊的圖像以及遙感圖像,文中提出了基于全局劃分與局部劃分的活動輪廓模型.DGDL模型中的全局劃分能量項用于捕捉圖像的整體目標,局部劃分能量項用于捕捉圖像灰度的局部變化,自適應函數自動調節全局與局部能量項的比重.DGDL模型用自適應函數對全局能量與局部能量進行自動選擇,并且DGDL模型的分割結果不受初始輪廓位置影響.此外,模型中的全局劃分能量項可以很好地捕捉圖像的整體目標,局部劃分能量項可以捕捉圖像灰度的局部變化,采用自適應函數自動調節全局與局部能量項的比重.

1 背景回顧

1.1 LGIF模型

在LGIF模型[12]中,考慮局部與全局強度信息, CV模型和LBF模型中能量項中的能量項分別作為全局和局部能量,將二者線性組合.LGIF模型中的能量泛函定義如下:

ELGIF=(1-w)ELIF(f1,f2,φ)+wEGIF(c1,c1,φ)+ER(φ)

(1)

式(1)中,w∈(0,1)為權重系數.

ELIF為局部能量項,定義如下:

(2)

其中I(y)是圖像,Kσ(x-y)為高斯窗口,f1(x)和f2(x)是LBF模型中局部目標和背景內的灰度均值,φ作為水平集函數.H(·)是Heaviside函數[10], Dirac函數是H(·)的光滑導數,分別定義如下:

EGIF為全局能量項,定義如下:

(3)

其中,c1和c2分別是CV模型中目標和背景內的灰度均值.

為了精確計算水平集函數及演化,我們需要對水平集函數進行正則化,懲罰偏離帶符號的距離函數,定義如下:

(4)

這里μ和υ是大于0的常數.

采用梯度下降法[20-21],構建歐拉-拉格朗日方程[22],求解式(1)得c1、c2和f1(x)、f2(x)的極小值:

(5)

(6)

另外,得出水平集的演化公式:

(7)

在式(8)中,F1與F2的定義分別如下:

F1=w[-λ21|I(x)-c1|2+λ22|I(x)-c2|2]

(8)

(9)

LGIF模型對初始輪廓魯棒,能分割灰度不均圖像,但很難將不同的權重系數與圖像信息進行關聯,權重系數受初始輪廓位置的影響,限制了LGIF模型的應用.

1.2 ITLSM模型

在ITLSM模型中,通過引入劃分函數,將每個區域劃分為兩個部分:一個區域灰度值比平均灰度值大,一個區域灰度值比平均灰度值小.劃分函數定義如下:

(10)

分別用CV模型中的c1和c2作為目標與背景的灰度均值,定義如下:

(11)

ITLSM模型中的能量項定義為:

(12)

(13)

(14)

全局劃分能量項用于擬合復雜圖像的整體目標輪廓,并降低了模糊邊界對圖像分割結果帶來的影響,此外,還保持了初始輪廓在演化過程中的魯棒性.但ITLSM模型易受圖像灰度的影響,ITLSM對灰度值較大區域的擬合能力較差.在本文模型中,ITLSM模型中的能量泛函被用作全局劃分能量項.

2 DGDL模型與算法

為了分割邊界模糊圖像,降低基于劃分函數的活動輪廓模型對圖像中低對比度邊界的干擾,建立基于全局與局部劃分的自適應活動輪廓(DGDL)模型.DGDL模型由三部分組成,分別為全局劃分能量項、局部劃分能量項、自適應函數和正則項.

2.1 局部劃分能量項

為了增強基于劃分活動輪廓圖像對邊界模糊圖像邊界的提取能力,并捕捉圖像的局部灰度變化,我們提出了一個基于局部均值的局部劃分函數,定義為:

(15)

(16)

局部劃分能量項定義為:

(17)

在式(17)中,DL1(x)=H(I(y)-f1(x)),DL2(x)=H(I(y)-f2(x)),ρ11、ρ12、ρ21、ρ22為常數,b11(x)為局部目標區域內大于局部目標區域均值的劃分區域灰度均值,b12(x)為局部目標區域內小于局部目標區域均值的劃分區域灰度均值,b21(x)為局部背景區域內大于局部目標區域均值的劃分區域灰度均值,b22(x)為局部背景區域內小于局部目標區域均值的劃分區域灰度均值.另有:

分別求解關于b11(x),b12(x),b21(x),b22(x)的極小值,得:

(18)

(19)

(20)

(21)

局部劃分能量項用于捕捉圖像灰度的局部變化,并且能精準捕捉邊界模糊圖像中的關鍵目標,對邊界模糊圖像進行分割,不會造成邊界泄露或欠分割.

2.2 DGDL模型

本文將ITLSM模型中的全局劃分能量項與局部劃分能量線性組合,將自適應函數作為權重系數,加入正則項約束水平集的演化,得到DGDL模型,定義如下:

EDGDL=w(n)EDG+(1-w(n))EDL+ER

(22)

-λ21(I(x)-d21)2+λ22(I(x)-d22)2)-(1-w(n))δ(φ)(ρ11e11-ρ12e12+ρ21e21-ρ22e22)

(23)

上式中,d11、d12、d21、d22為全局劃分能量項給出,另有:

采用交替迭代算法實現仿真實驗,DGDL模型的主要算法步驟如下:

Step1: 輸入圖像并設置初始輪廓;

Step2:設置最大迭代次數N,參數μ、υ、w(n);

Step3:通過公式(13)～(14)計算d11、d12、d21、d22;

Step4:由式(18)～(21)計算b11(x)、b12(x)、b21(x)、b22(x);

Step5:通過公式(23)更新水平集函數;

Step6:當n

3 數值模擬實驗

實驗仿真環境為LAPTOP-RETV7IRD Aspire A515-516Intel(R) Core(TM) i5-7200U CPU ? 2.50GHz 2.71 GHz RAM4.0G matlab2014a.對比模型為LGIF、ITLSM、MCV、ACM_LPF、HLFRA和GLFIF模型.其中,LGIF為經典的混合活動輪廓模型, ITLSM模型中含有劃分函數,MCV、ACM_LPF、HLFRA和GLFIF模型為近年的活動輪廓模型,其中MCV和GLFIF模型能分割噪聲圖像,HLFRA和ACM_LPF對邊界模糊和灰度不均圖像有較好的分割效果.此外,上述活動輪廓模型都對初始輪廓魯棒,因此,選取各個模型初始輪廓固定為(63∶103,69∶99),各模型的參數均為模型所給出.DGDL模型的參數為μ=0.01×255×255,t=0.1,ε=1.為更好地驗證DGDL模型與其他模型的分割能力對比,采用Jaccard系數[23](Jaccard similarity Coefficient,JSC),DSC系數[24](Dice Similarity Coefficient,DSC),體素重疊誤差[25](Volumetric overlap error,VOE)對分割結果進行度量.

3.1 DGDL對初始輪廓的魯棒性

在圖像分割模型中常用多孔扳手圖驗證模型對活動輪廓模型初始輪廓的魯棒性(見圖1).初始輪廓位于圖像中不同的位置(a1～a7)以及對應的結果(b1～b7).在不同初始輪廓條件下,DGDL模型都能很好地把扳手的輪廓擬合出來,且在不同初始輪廓下DGDL模型對扳手圖的分割結果一致,對初始輪廓魯棒提高了實驗效率.

圖1 DGDL模型在不同初始輪廓下的分割結果

3.2 DGDL的分割性能

選取多目標且含有低噪聲的合成圖像,分別驗證不同模型分割合成圖像所用的時間與分割結果的DSC值.由圖2可見,DGDL模型在迭代5次以后就能穩定地提取到不同圖像的目標, 各模型在迭代次數為30次以后輪廓的演化趨勢較為平穩.而ACM_LPF模型卻不能很好地分割低噪圖像,但該模型分割結果的DSC值變化不大,說明結果平穩,因此實驗中各模型的迭代次數均設置為30.由表1可知,各模型在迭代次數大于20以后分割結果的DSC系數就趨于穩定,但DGDL模型時耗短且DSC系數較高,說明DGDL模型具有較高的分割效率.

表1 各模型在不同迭代次數的耗時與DSC系數對比 (時間(秒)/DSC系數值)

圖2 各模型在不同迭代次數下的分割結果

3.3 分割合成圖像

選取含有灰度不均區域的多目標圖像(Image A,B,C)和含低噪聲(Image D)圖像作為分割對象,驗證各模型分割合成圖像的能力.在圖3中,分割Image A時,各模型都能有較好的分割結果,各對比模型的分割結果DSC系數都較高.由于Image B背景區域的灰度分布不均勻,僅有ITLSM和DGDL模型取得較好的分割結果.由表2可知,DGDL模型分割Image B的評價系數優于其他模型.在分割Image C時,DGDL模型中的能量泛函可以很好地提取圖像目標,從而取得良好的分割結果.DGDL分割Image C的評價指標優于文中其他對比模型在分割Image D時,ITLSM模型和ACM_LPF模型會產生較大誤差,而其他對比模型都能較好地分割噪聲圖像,說明這兩個模型對噪聲圖像的分割能力較弱.另外,綜合表2來看,DGDL模型分割結果的DSC系數、JSC系數和VOE系數都較高.

表2 各模型對合成圖像分割結果的指標對比

圖3 各模型對合成圖像的分割結果對比

3.4 分割醫學圖像

選取3幅CT圖(Image A,B,C)和1幅皮膚病變圖(Image D),驗證各對比模型對醫學圖像的分割能力,第一列為初始輪廓線所在位置.從圖4可看出,在分割Image A和Image B時,ACM_LPF和GLFIF模型的分割能力較弱.表3中對分割結果的評價系數也很好地驗證了這點.在分割Image C時,由于ITLSM模型對圖像灰度較高區域目標的擬合能力較弱,導致ITLSM模型分割Image C時產生了較大失誤.在分割皮膚病變Image D時,由于在模型中引入了劃分能量項,僅有ITLSM和DGDL模型能較好地分割出Image D中的目標.這兩個模型分割Image D時的評價系數明顯優于其他對比模型,驗證了基于劃分函數模型的分割能力.另外,在評價指標的對比上,DGDL分割醫學圖像時都有良好的結果,說明DGDL模型對醫學圖像有良好的分割能力.

表3 各模型對醫學圖像分割結果的評價指標對比

圖4 各模型對醫學圖像的分割結果對比

3.5 Weizmann數據集上的測試

在Weizmann數據集[26]上進行測試,并選取Weizmann數據集上的圖像作為分割對象,分割結果的指標均值如表4.圖5展示了三幅圖像(Image A,B,C)的分割結果.這三幅圖像都具有模糊的邊界,同時背景與目標區域灰度分布不均勻.結果顯示,僅有ITLSM和DGDL模型能取得良好的分割結果,其他模型易受圖像中灰度不均區域和模糊邊界的影響.如圖像A,背景區域會對分割結果產生干擾,只有ITLSM和DGDL模型能將圖像中的目標區域提取出來.圖像B,C中目標區域灰度分布不均勻,ITLSM模型會對圖像產生過分割.結合表4可知,DGDL模型的指標優于ITLSM模型.

表4 各模型在Weizmann數據集中分割結果的評價指標對比

圖5 各模型對自然圖像的分割結果對比

4 結論

本文采用全局劃分能量項捕捉圖像的整體輪廓,局部劃分能量項捕捉邊界模糊圖像的邊界,提出了DGDL模型,引入一個基于迭代次數的自適應函數作為權重系數.自適應函數實現了全局劃分能量和局部劃分能量的自動選擇,保持了DGDL模型對初始輪廓的魯棒性.分割結果顯示,DGDL模型對初始輪廓魯棒,并且對醫學圖像和邊界模糊圖像有良好的分割結果.另外,DGDL模型分割邊界模糊圖像的DSC、JSC和VOE系數都較優,驗證了DGDL模型的分割能力.需要注意的是,由于基于全局劃分的能量項對圖像的灰度要求較高,導致DGDL模型在分割灰度值較高的圖像時,會產生過分割.