基于深度學習的圖像處理引擎設計

楊婷婷

(安徽文達信息工程學院 計算機工程學院，合肥 231201)

隨著計算機芯片、數字圖像等的發展，圖像處理技術迎來了巨大的突破，在多個領域都有適合的應用[1].當今時代是科技碰撞的時代，人工智能集信息科技發展成果之大成[2]，深刻地改變著人們的日常生活方式和思考問題的角度.深度學習作為人工智能的核心，以培養機器的學習能力為目的，在不斷的應用實踐中提升著機器解決復雜問題的能力.深度圖像處理引擎設計正是從這一角度起步，探尋圖像處理實時性與質量之間的聯系，尋求克服現有圖像處理引擎所存在的缺陷與弊端的方法，涉及生產生活中的許多方面，小到家庭電視機，大到監控圖像傳輸，對于提高人們的生活質量具有重大意義.

1 深度學習在圖像處理中的應用

1.1 深度學習與圖像處理

大部分傳統的圖像處理算法在圖像去噪上能達到好的效果，但它們的缺點也在長年累月的應用中被放大[3].一個圖像處理算法在試驗時的結構較為固定因此很難進行性能提升和優化，并且因為其固定性，對不同環境的自適應性較差，每到一處新環境就需要手動更改參數.而且，優良的傳統算法犧牲的是其功能的全面性，一個固定的模型往往是針對一個固定的任務而設計的，所以難以應付真實情況下更為復雜多變的噪聲，這些噪聲稱為真實噪聲或盲噪聲.傳統的濾波算法在具有此類噪點的圖像上表現通常不是很好.因此，濾除真實噪聲就顯得非常必要.濾除真實噪聲的核心要義是在合理的時間范圍內盡可能保證濾除噪聲情況的真實性.為了保證這樣的真實性，最有效且合理的辦法就是讓計算機去學習噪聲分布的一般規律，就是去利用深度學習[3-4].

1.2 用于去噪的神經網絡模型

為了將深度學習更好地應用在圖像處理引擎中，模型與神經網絡的構建是核心部分[5]，搭建好的模型在對海量的圖片進行特征學習之后能夠掌握圖片噪聲的大體分布規律，進而得到更加貼合實際的去噪方法，這就是深度學習(Deep Learning,DL)的基本工作原理.神經模型借助機器學習高速發展的東風，運算效能和學習能力得到爆發式的提升，在資源配置和應用能力方面更上一層樓，為建立和訓練用于去噪和圖像邊緣檢測的深度神經網絡提供了技術基礎.神經網絡(ANN)，是數學建模和計算機學習算法編程相結合的產物[6].通過特定的程序算法和數學思想進行一定層次的建模，可以給予圖像處理引擎像人腦一樣學習的能力，使其通過大規模的圖像處理訓練，利用學到的規律獲取參數，不斷優化內部結構，最終解決現實中的各種復雜問題.

在圖像處理的去噪領域，圖像的卷積是這個領域的核心算法，因為卷積本身就是圖像處理過程的一種數學體現，圖像濾波中所用到的一切比如窗口，濾波算法等，本質上也與卷積算法中的一些運算有關聯之處，圖像的卷積算法示意圖如圖1所示.

圖1 圖像的卷積算法示意圖

1.3 圖像邊緣檢測

基于卷積神經網絡的邊緣檢測的實質是將邊緣的提取過程視為邊緣模式識別的過程，在算法實現上利用了神經網絡所具有的自學習性、自組織性及自適應性，這些性質使神經網絡用于邊緣檢測成為可能.相比之下，傳統的圖像邊緣檢測算子中的閾值只能人為地去估計和設置，定的太高或者太低都會極大地損害邊緣提取結果的準確性.基于卷積神經網絡的邊緣檢測不需要考慮這一點，只要給予足夠的樣本進行學習，就能獲得足量的特征用于邊緣檢測.但問題也就在這里，機器學習的質量受樣本的質量影響比較深，如果樣本質量不好，那么學習的結果也不會好；另一方面，神經網絡本身就是需要人為去設計的.邊緣檢測的主要步驟包括四個：濾波、增強、檢測、定位.其中圖像增強包括圖像平滑和銳化，圖像定位是邊緣檢測中最重要的一步，在深度學習中，圖像定位的實現，本質就是在原有圖像分類的基礎上加以改進.在圖像分類中，原本要輸出的結果只是經過softmax函數得到的某類圖像的概率值，然而在目標檢測中，輸出的結果除了有softmax函數值外，還會有一個是否檢測到物體的標簽.如果檢測到了物體，就會用四個參數分別表示矩陣的左上角坐標的x,y值，及矩陣的長和寬.通過這樣的一個矩陣將目標定位出來.目前圖像定位大概分為基于灰度，基于特征，基于幾何形狀三種.

2 基于MATLAB的軟件設計

2.1 基本設計思路

要想對圖像進行便捷而高效的去噪和邊緣提取，第一步是要建立神經網絡模型，然后先對該模型在指定的數據集中進行多次的迭代訓練，從而獲得合適的權重參數.有了這些參數后模型才可以使用并在此基礎上做出正確的操作.卷積算法是模型進行圖像濾波和邊緣提取的核心.在操作完成后，圖片處理的質量高低取決圖像處理程序算法的各項參數選取是否合適.因此，模型的事先訓練在整個實驗過程中處于最為緊要且核心的位置.軟件基本設計思路如圖2所示.

圖2 軟件基本設計思路

2.2 模型訓練

2.2.1 模型構建

深度學習的構建通常分為四步.(1)定義架構：構建深度神經模型的首要任務就是確立任務目標和網絡架構，根據任務需求選定合適的網絡體系結構.這里是要對圖像進行先濾波再檢測邊緣的操作，所以選擇卷積神經網絡(CNNs).除此之外，還可以決定整個深度學習架構的模型結構的類型.(2)編譯模型：完成架構定義后，繼續進行模型構建的第二步——編譯模型.這里采用的是TensorFlow深度學習框架，使用函數進行編譯.(3)擬合模型：在模型的基礎框架被確立之后，下面就是擬合模型以使其可在固定數的周期(或數據集的迭代)內訓練模型.(4)評估和預測：評估和預測是對已訓練模型進行功能判斷和效果預估的重要一步.其主要方法是確保模型的預處理步驟.剛開始時，將分割測試數據的預測也考慮在內以證明這個模型在處理特定問題上是有效果的.

2.2.2 迭代訓練

模型迭代訓練的要點是首先對權重和偏差進行初始配置，賦予模型一組初始值，然后讓模型以這組初始值為起點不斷運行，并由運行所獲得的結果提取對應參數再返回模型中.如此循環往復，不斷更換著由初始值變換而來的參數和優化著自身架構，直到獲取能產生最多理想結果的權重參數和損失系數為止.神經網絡模型的迭代訓練就是這么一個收斂的過程，因此，模型初始參數的設置顯得尤為重要，如果設置不當，極有可能導致模型訓練時間指數級延長或模型發散,模型迭代訓練的基本原理如圖3所示.

圖3 模型迭代訓練的基本原理

2.3 系統性能評價標準

本文的圖像增強引擎包含去噪、圖像邊緣提取兩種功能，評價增強后的圖像需要用衡量指標來評定.圖像質量的評價從方法上分為主觀評價和客觀評價.本次實驗使用的是客觀評價方法的三個重要指標，它們是峰值信噪比(PSNR，Peak Signal to Noise Rate)、均方誤差(MSE，Mean Squared Error)以及結構相似性(SSIM，Structural Similarity).其中峰值信噪比如式(1)所示：

(1)

其中：MAX的平方為原始圖像的最大像素值，一般針對uint8圖像，最大像素值為255.均方誤差假設原始圖像I大小為M × N的以及經過處理的圖像K，則均方誤差如式(2)所示：

(2)

均方誤差所衡量的是原始圖像和處理后圖像像素差的均方值，再通過均方值的大小確定兩個圖像的差異.MSE越大，兩者差異越大；MSE越小，兩者差異越小.最后一種標準是結構相似性，是基于兩個圖像三個指標來進行比較的，指標包括亮度、對比度和結構.這些指標和SSIM如式(3)—式(6)所示：

(3)

(4)

(5)

SSIM(x,y)=[l(x,y)αc(x,y)βs(x,y)γ]

(6)

計算時要用到x,y的均值、方差和協方差，并且每次計算時都會從圖片上取一個N×N的窗口，然后不斷滑動窗口計算，最后取均值作為全圖的SSIM.

3 系統測試

3.1 圖片的輸入及預處理

在深度學習中，進行模型的迭代訓練之前，為了獲得更多數據對，需要先對既定的圖像數據進行預處理操作.具體操作包括圖像二值化，壓縮，旋轉；取反，加入高斯噪聲.目的是為了獲取更多訓練值.

3.2 圖像處理結果及分析

為了驗證模型的訓練成效及其在圖像去噪和邊緣檢測方面的適用性，隨機在數據集中選取了兩張不同的圖片，分別對其進行圖像濾波和邊緣提取，運行結果分別如圖4和圖5所示：

圖4 去噪模型運行結果

圖5 邊緣檢測模型運行結果

由圖4可以看出，該神經網絡在圖像去噪方面效果很好.噪點有明顯的減少，并且可以看到圖像正嘗試針對損壞的像素以適應圖像原始顏色.最終的PSNR得分為30.605 8，SSIM得分為0.819 2.

通過傳統邊緣檢測算子與本文的基于深度學習邊緣檢測相結合的方法，在加入一定噪聲情況下的卷積神經網絡，通過實驗驗證，邊緣檢測效果明顯比傳統經典算子更優秀，不僅可以濾除圖像中的干擾噪聲，并且檢測出的圖像細節基本得以保留完整.在實際應用中可以針對不同的環境條件和檢測要求對圖像進行邊緣檢測，以求達到最好的檢測效果.

4 結語

圖像處理技術在日常生活中的重要性已不言而喻.基于深度學習的圖像去噪方法更關注真實圖像的去噪，對實際應用環境的適應性更強.如何在獲取更加高效和便捷濾波去噪方法的同時盡可能保留圖像的原始特征，是去噪模型需要不斷自我完善以達到的目標.

邊緣檢測則是在提高檢測效率的同時追求的魯棒性的提高.當真正想檢測出復雜圖像的邊緣時，不一定要去采用絕對固定的算子模板，無論是程序編寫還是模型訓練，思想一定都不能固化，將固定值轉化為可變的參數以去適應不同環境不失為一種很好的解決問題切入角度，在不同的環境中提取共性能夠幫助提高圖像處理實時性.正是卷積計算使深度模型具備了提取特征的能力.將這矩陣中數字當成參數的思想，已經成為計算機視覺中最有效的思想之一.