基于可拓展機器學習的失真圖像視覺復原仿真

孫國嬌,李長碩

(1. 吉林建筑科技學院 藝術設計學院,吉林 長春 130000;2. 長春大學,吉林 長春 130000)

1 引言

圖像在傳遞與轉換過程中有較大概率造成圖像質量下降[1,2],也就是圖像產生失真問題。圖像的清晰度對于圖像對于應用具有重要意義[3],因此失真圖像復原問題的研究十分必要。

以往普遍使用的失真圖像復原方法多以頭腦風暴優化算法或深度強化學習算法為核心[4,5],前者通過頭腦風暴優化算法處理多峰高維函數問題,獲取BP神經網絡初始權值與閾值,提升收斂速度并降低誤差,實現失真圖像復原。后者將強化學習算法與對抗網絡相結合,實現失真圖像復原。但上述方法在實際應用過程中需設定正約束條件,或者圖像的復原過程需符合廣義平穩過程假設,導致上述算法運行過程中需進行海量計算,導致實際應用價值受到約束。針對這一問題,研究基于可拓展機器學習的失真圖像視覺復原方法,通過研究機器學習算法的可拓展性,提升機器學習算法的處理效率,實現高效、高質的失真圖像視覺復原。

2 基于可拓展機器學習的失真圖像視覺復原方法

2.1 基于最小二乘支持向量機的失真圖像復原

以s(x,y)表示物體u(x,y)經過光學系統獲取的圖像,利用式(1)描述s(x,y)失真模型:

s(x,y)=n(x,y)×δ+u(x,y)d(x,y)

(1)

采用最小二乘支持向量機對s(x,y)進行復原,在此過程中選取大量的s(x,y)與初始圖像u(x,y)樣本實施學習訓練,將s(x,y)和u(x,y)分別作為用于失真圖像復原的回歸模型的輸入與目標輸出,由此構建兩者間的非線性映射關系f(·)

u(x,y)=f(s(x,y)×φ)

(2)

式(2)內,φ表示映射系數。

基于非線性映射關系構建用于失真圖像復原的回歸模型,通過訓練后的回歸模型復原s(x,y)。f(·)的構建無需獲取圖像失真的詳細模型,僅僅由學習訓練即可實現。值得關注的一點內容為:用于學習訓練的s(x,y)與待復原的s(x,y)是在同一狀態下獲取的[6],也就是兩者的d(x,y)和n(x,y)一致。

在構建f(·)時選取鄰域對像素方法[7],定義用于失真圖像復原的回歸模型中u(x,y)內各像素值僅受s(x,y)相應鄰域像素值影響。以256×256像素的圖像進行說明,以3×3像素的鄰域對s(x,y)依行或列的順序逐點滑動,獲取(256-3+1)2=2542=64516個鄰域,同時將這些鄰域中心作為采樣點對u(x,y)實施采樣處理,由此獲取64156個像素值,也就是對s(x,y)和u(x,y)構建64156個3×3像素對1個像素的映射。依照行或列的順序配列鄰域像素產生9維輸入對1維輸出的非線性映射,訓練數據對為64156。

上述構建f(·)的方法不僅與圖像失真的物理過程更加匹配,且在鄰域大小為3×3像素的條件下,該方法組建的輸出節點顯著降低,而訓練數據對數大幅提升,也就是利用較多的訓練數據訓練簡單的非線性映射,由此可提升映射性能。

在失真圖像復原過程中,利用機器學習算法中的最小二乘支持向量機構建64156個9維輸入對1維輸出。最小二乘支持向量機就是在支持向量機理論中引入最小二乘原理,構建一個可令間隔達到上限的超平面,令不同類別內距分類線最近的樣本間距離達到上限[8,9]。最小二乘支持向量機對各數據點均添加一個令不等式約束轉換為等式約束的修正值zi,因此僅計算線性等式方程組即可,由此降低計算量,并無需進行支持向量機內選取懲罰因子的過程。

失真圖像復原過程中,對最小二乘支持向量機優化超平面的計算就是對式(3)所示的凸優化問題進行計算

(3)

式(3)內,(w,b)和η分別表示超平面和可調參數。φ(xi)表示第i個樣本的輸入模式,hi表示類別標簽。

利用式(4)描述Lagrange函數:

(4)

式(4)內,ci表示Lagrange乘子。依照KKT條件:忽略不需要計算的w和b,并進行展開處理,得到線性方程組

(5)

將式(6)帶入KKT條件內并進行分析能夠得到,失真圖像復原過程中,樣本點的數量對矩陣方程的系數矩陣產生直接影響[11]。由此能夠獲取最小二乘支持向量機分類器:

h(x)=sign(∑cihiK(x,xi))+sign(b)

(6)

式(6)內,K(·)表示核函數。

2.2 并行化失真圖像視覺復原

通過基于映射—規約模型的最小二乘支持向量機可拓展架構,實現并行化失真圖像視覺復原,解決失真圖像視覺復原的可擴展性。作為一種并行計算模型,利用映射—規約模型可處理基于機器學習中,最小二乘支持向量機的失真圖像復原并行化問題及拓展性問題等。此模型通過映射與規約的處理過程體現相關算法[12]。映射處理過程中,基于各輸入失真圖像能夠生成一個對應的輸出初始圖像,直接完成失真圖像復原過程的并行處理;規約處理過程需統計全部輸入元素獲取輸出結果,同時失真圖像復原的并行處理過程中選規約處理不同數據塊,在此基礎上整合不同數據塊的結果。通過映射—規約模型描述失真圖像復原過程中所使用的最小二乘支持向量機算法,能夠自然地獲取算法的并行性,將映射至并行架構內。

基于最小二乘支持向量機算法的失真圖像復原訓練過程采用SMO訓練算法[13],訓練過程集中在更新修正值zi和參數η與ci,同時在圖像樣本數量提升的條件下,這兩部分的更新運算所占比重越高。為提升失真圖像復原的運算效率需對上述兩部分更新過程實施并行化處理。利用映射—規約模型描述上述兩部分更新過程,通過各訓練樣本獨立更新zi,對映射處理相對應;通過對比整個zi數組內的元素更新參數η與ci,這與規約處理相對應。

針對失真圖像復原過程中所使用的最小二乘支持向量機,分析式(6)能夠發現核函數與系數相乘的運算針對各支持向量獨立實施,與映射處理相對應,相對之下最小二乘支持向量機的求和過程與規約處理相對應。由此最小二乘支持向量機分類過程同樣可通過映射—規約模型而完成并行處理。

基于上述分析能夠得到采用映射—規約模型能夠實現最小二乘支持向量機分類器的可拓展硬件架構,如圖1所示。

圖1 最小二乘支持向量機分類器的可拓展硬件架構

圖1所示的整體結構由一個主控模塊和若干個執行映射與規約處理的并行失真圖像復原處理模塊,各模塊間利用具有廣播功能的總線結構進行連接[14]?？偩€上僅存在主設備—主控模塊,因此其結構較為簡單,易于拓展。硬件的整體運行分為設備配置環節、數據加載環節、訓練環節和分類環節等。

主控模塊的主要功能為控制失真圖像復原過程中最小二乘支持向量機的訓練過程,同時發送數據、整合結果與除映射與規約外的剩余運算過程。其中的內存單元能夠存儲用于訓練的64156個失真圖像9維輸入與Lagrange乘數數組。并行失真圖像復原處理模塊的主要功能為完成映射與規約處理,在訓練環節中若干個并行失真圖像復原處理模塊共同實現更新值與參數的更新。以最大限度利用數據的局部性防止循環傳輸數據導致的性能下降,各并行失真圖像復原處理模塊均在本地存儲部分失真圖像9維輸入樣本和與之相對的修正值和相關數組。

訓練環節中,進行映射處理前主控模塊向不同并行失真圖像復原處理模塊同時寫入對應的圖像樣本數據與相關信息,并在不同并行失真圖像復原處理模塊內的輸入向量更新修正值[15]。在完成規約處理過程中,不同并行失真圖像復原處理模塊依照本模塊內的修正值與圖像相關數據確定各參數中間值,在此基礎上主控模塊統計不同并行失真圖像復原處理模塊的結果確定各參數最終結果,并確定是否需要繼續更新。

分類環節中,主控模塊將圖像相關數據傳輸至各并行失真圖像復原處理模塊內,在此基礎上實施映射與規約處理進行式(6)的運算。主控模塊統計各并行失真圖像復原處理模塊的結果實現失真樣本復原過程中最小二乘支持向量機構建64156個9維輸入對1維輸出,完整輸出分類。

3 仿真結果與分析

實驗為驗證本文所研究的基于可拓展機器學習的失真圖像視覺復原方法在實際失真圖像復原過程中的應用效果,以某實驗室圖像數據庫為實驗對象,該實驗對象內包含人像、動物圖像和建筑圖像三個數據集。針對該實驗對象,在FPGA平臺中采用本文方法進行仿真測試,所得結果如下。

3.1 主觀圖像視覺復原結果

在實驗對象的三個數據集內分別隨機選取一幅圖像進行圖像視覺復原測試。所選三幅圖像的像素均為256×256像素,以方差為3的高斯函數在頻域上對所選三幅圖像進行失真處理,所得失真圖像如圖2所示。采用本文方法對三幅失真圖像進行視覺復原處理,所得結果如圖3所示。

圖2 失真圖像

圖3 本文方法復原圖像

分析圖2和圖3能夠得到,在視覺傳達效果上,采用本文方法對失真圖像進行復原能夠顯著提升失真圖像的清晰度,由此說明采用本文方法對失真圖像進行復原是有效的,這是由于本文方法利用最小二乘支持向量機的非線性映射能力構建失真圖像與初始圖像間的映射關系,由此實現失真圖像視覺復原。

3.2 基于視覺傳達均方誤差的圖像失真復原性能判斷

參考均方誤差與峰值信噪比的定義,結合視覺傳達函數,通過二范數計算視覺傳達均方誤差,以此實現圖像失真復原測量。視覺傳達均方誤差與均方誤差相比,主要區別為前者內結合了視覺傳達函數,通過視覺傳達函數能夠體現人眼視覺感知特征對于圖像質量分析的影響。通過計算視覺傳達均方誤差能夠客觀準確地測量復原后圖像質量。

視覺傳達函數所描述的是基于人類視覺模型的測量函數?？紤]人眼視覺系統的復雜性,當前尚未研究出較為準確的視覺傳達函數表達式。根據人眼視覺系統理論框架能夠得到人眼視覺系統中模擬了與圖像質量相關的視覺傳達三大特性:幅度非線性衰減、視覺敏感度帶通與視覺檢測,由此能夠證明視覺傳達函數能夠描述二維隨機域上的視覺傳達三大特性?？紤]視覺心理生理學的影響,在視覺傳達函數的描述種需添加心理生理學函數,其主要功能為計算視覺傳達函數時調節部分參數與閾值。將視覺傳達函數轉換為與圖像質量相關的視覺傳達三大特性函數,由此提升視覺傳達均方誤差計算過程中視覺傳達函數的應用性。

視覺傳達均方誤差的取值范圍為[0,5],其取值越小說明復原后的圖像視覺傳達效果越接近原始圖像。

基于圖2的真實圖像和圖3本文方法的復原結果,利用視覺傳達均方誤差判斷本文方法圖像失真復原性能,所得結果如圖4所示。同時為進一步說明本文方法的視覺復原性能,以文獻[4]中基于頭腦風暴優化算法的方法和文獻[5]中基于深度強化學習的方法為對比方法,分析兩種對比方法的圖像復原結果,所得結果如圖4所示。

圖4 圖像失真復原性能

分析圖4得到,采用本文方法進行失真圖像復原所得的視覺傳達均方誤差值均低于1.2,均值低于1.0。而兩種對比方法的視覺傳達均方誤差值均高于本文方法,文獻[4]方法視覺傳達均方誤差值均值約為1.8和1.6。由此說明本文方法的失真圖像復原效果優于兩種對比方法。

3.3 可拓展架構性能分析

為了分析本文方法中可拓展架構的有效性,利用Verilog硬件描述語言搭建可拓展架構。以實驗對象內三個數據集為對象,進行可拓展架構性能分析。圖5所示分別為針對三個數據集,并行失真圖像復原處理模塊數量條件下本文方法訓練和分類運算的加速比。

圖5 不同并行失真圖像復原處理模塊數量條件下的加速比

4 結論

本文研究基于可拓展機器學習的失真圖像視覺復原方法,采用機器學習中的最小二乘支持向量機方法實現失真圖像視覺復原,并利用映射—規約模型實現最小二乘支持向量機的可拓展架構。仿真結果顯示本文方法能夠實現高質量的失真圖像復原。