基于CNN與RoELM的圖像分類算法研究?

王 攀

（南昌航空大學信息工程學院 南昌 330063）

1 引言

極限學習機（ELM）最初由黃建華等提出［1］。由于其高效和快速的學習速度而越來越受到廣泛的關注。但ELM是在經驗風險最小化思想的基礎上所構建的模型，所以容易發生過擬合現象［2］。此外，ELM并沒計算權重偏差，所以當數據集出現異常值時，ELM算法便會出現較大的偏差。為克服這些缺點，鄧等［3］將加權最小二乘算法和風險最小化理論相結合，提出正則化極限學習機（RELM）。然后黃等［4］提出帶內核的極限學習機（KELM）將內核功能引入ELM，并取得了更好的效果。ELM，RELM和KELM都是單獨隱層網絡結構，所以它們在提取圖像特征方面存在不足。但是，特征提取是圖像識別的核心部分，所以我們試圖找到一種不僅可以提取精確提取圖像特征，同時也包含ELM高效易用等優點的方法。

深度學習（DL）是一種通過建立和模仿人類大腦的分層結構來提取外部輸入數據特征的多層網絡結構，所以DL在提取特征方面很適用。其中，卷積神經網絡（CNN）作為一種典型的DL方法，能夠自動從圖像提取重要特征，已經廣泛應用于圖像識別領域中并取得了很好的效果。在訓練CNN網絡過程時，采用BP算法調整參數浪費了大量時間。研究表明，網絡的效果主要是由其模型結構所決定［5］。所以我們需要根據不同的數據庫選擇對應最優的模型。

為解決上述問題，本文提出了一個基于DL和ELM的新型卷積混合模型極限學習機（CNN-Ro-ELM）。在改進算法中，我們使用CNN提取特征；在訓練CNN時，使用隨機權重來減少特征提取時間；然后在RoELM中引入加權值最小二乘法概念計算輸出權值，從而實現圖像分類。CNN-RoELM不但改善了RoELM在提取特征方面的不足，并且也有效解決了DL的學習時間過長的問題，并具有很好的分類效果以及穩健性。

2 相關理論知識

2.1 極限學習機

極限學習機（ELM）的模型包含輸入層，隱含層和輸出層，如圖1所示。ELM只需初始設置模型隱層節點的個數即可，在計算過程中不用調整模型的隱元的偏置以及輸入權值，并且產生唯一的全局最優解，所以具有高效簡便，良好泛化性等優點［6］。

圖1 ELM結構圖

對于N個不同的學習樣本 （xi，yi）∈Rn×Rm，（i=1，2，3，…，N），隱層的輸出如式（1）所示，輸出層的神經元輸出如式（2）所示。

其中g（x）表示ELM隱層激活函數，β表示輸出權值，w表示輸入權重，b是隱層節點所對應的偏置。

使用矩陣H表示隱層的輸出結果，Y表示訓練數據的目標矩陣，則式（2）可以簡寫為

2.2 穩健回歸理論

當待估參數存在大量隨機誤差或奇異值時，可以通過穩健回歸理論方法來進行處理。穩健估計法的基本思想是充分利用有效數據，選擇利用一般性數據，同時盡量避免受到有害性數據的影響。當誤差數據呈現正態分布時，則穩健回歸法和最小二乘估計法（LSE）的估計精度相似，但當誤差數據呈現非正態分布時，穩健估計法的估計精度要比最小二乘法好［9］。本文采用M估計作為穩健估計，它的線性回歸模型如下式：

式中：ρ是影響函數，令ψ=ρ′表示 ρ的求導數，由目標函數對β求偏導得

此時參數β就變成了加權最小二乘估計。根據實際情況，對于異常數據賦予較小的權重，而正常數據則賦予較大的權重，從而構建出加權最小二乘法模型。然后再進行重復迭代計算更改各部分權重系數，直到權重系數變化在允許范圍內。這樣就降低了誤差數據干擾，提高了模型魯棒性［10］。

2.3 魯棒極限學習機

魯棒極限學習機（RoELM）將ELM和加權最小二乘法相結合，通過加權最小二乘法來處理輸出權重，可有效抑制異常數據的影響，提高模型的魯棒性。本文采用的穩健估計影響函數如下：

將式（4）代入式（7）中求得

其中：k表示調和常數，默認值取k=1.345。

此時殘差的目標函數為

式中：H表示一個N×L型的矩陣；β表示一個L×1型的矩陣；N表示樣本個數；ei表示殘差，此時用目標函數對參數β求取偏導，并令偏導數為零，則：

式中：ψ（x）為 ρ（x）的導函數。為了提高M估計的穩健性，將穩健尺度估計s引入，使權重函數的殘差標準化，即eis。其中s=med（ ||ei）/0.6745，得到標準化殘差為

ui=ei/s=0.6745ei/med（ ||ei），式中med代表中位數計算。則由式（12）可得

于是，魯棒極限學習機的算法步驟為

2）隨機選取輸入權值w與隱層節點的偏置b。

3）求出隱層節點的輸出矩陣H。

5）標準化殘差得到u，由式Wi=求出各樣本的權重矩陣的初值。

7）返回5）中，依次迭代，求出穩健估計值 β?。當迭代步數達到最大次數或者相鄰兩次回歸系數的差值取絕對值小于預設標準誤差時，迭代結束，即

2.4 卷積神經網絡

卷積神經網絡（CNN）是一種在多層感知器基礎上演變來的人工神經網絡，其機構如圖2所示。CNN通常用于二維圖像識別，并且具有對傾斜、平移、比例放縮及其它變形保持高度不變的特性［11］?，F在，CNN在圖像識別領域，以及人臉識別、文字識別等方向具有廣闊運用。

圖2 CNN結構圖

其中，Ci表示卷積層，Si表示降采樣層。CNN采用卷積層與降采樣層相互反復交替來實現特征提取目的，并通過BP神經網絡算法來調整網絡結構，最后采用多次迭代訓練的方法使網絡達到收斂狀態以提高泛化性能。

3CNN-RoELM模型

ELM是根據經驗風險最小化理論所構建的模型，導致易出現魯棒性差，過擬合等現象。本文結合CNN和RoELM模型，提出一種CNN-RoELM混合深度模型。與傳統的ELM模型相比，新模型可以有效地提圖像高分類精度，防止陷入局部最小化，具有更好的逼近能力，高效的學習速率以及優秀的抗差性能。如圖3所示，我們采用卷積神經網絡最常見的結構（包含2個卷積層，2個子采樣層，卷積核大小為5×5，池化層特征核尺寸為2×2）來進行介紹。簡單來說，CNN-RoELM和ELM的結構類似，都由輸入層，隱含層以及輸出層構成，區別在于CNN-RoELM的隱含層不是單層，而是添加了卷積層和子采樣層。

傳統CNN在訓練時多使用梯度下降法進行調參，由于梯度下降法本身的缺陷也使CNN的發展具有局限性。例如1）訓練過程容易陷入局部最小化。2）訓練速度慢。3）對學習率的選擇敏感［12］。學習率較高會導致整個訓練過程不穩定，學習率較小會減慢收斂速度，增加訓練時間。而CNN-Ro-ELM則不需要調整網絡權值參數，只需要一次學習就能獲得最優解，所以CNN-RoELM具有學習速率快的優點。

圖3 CNN-RoELM結構圖

特征提取是圖像識別的關鍵環節，由于Ro-ELM采用一個單隱層網絡結構，所以它在圖像顯著特征提取方面存在缺陷。本文提出的CNN-Ro-ELM模型利用CNN的卷積層和子采樣層提取特征，再將特征值傳給RoELM，彌補了RoELM在特征提取方面存在的缺陷。CNN-RoELM混合模型不但解決了梯度算法訓練時間過長，學習率選擇敏感等問題，又結合了RBEIM高效便捷，抗差能力強的優點，所以有很好的使用前景。

4 實驗結果與分析

為了評估CNN-RoELM混合模型的性能，本文采用在MNIST數據庫上進行實驗，并分別與ELM，RoELM和RELM等算法進行對比。實驗環境為Intel Corei7 3.6 GHz處理器，16G內存，Matlab 2012b。

4.1 MNIST數據集

手寫數字MNIST數據集包含有6萬個用于訓練的圖像，1萬個測試圖像，它是NIST數據集的子集。MNIST中的圖像已經處理成了固定大小為28×28像素值。實驗時，從訓練樣本中隨機選擇6000個樣本做訓練，從測試樣本圖像中隨機選1000個樣本做測試。

由于采用隨機權值的網絡結構，所以我們要選擇對應于MNIST數據庫最優的網絡結構。為了保證最優分類性能，卷積層，池化尺寸和各卷積層過濾器個數都必須選取最優值。經過多次實驗，最終確定的最優網絡結構采用2個卷積層，2個降采樣層，池化尺寸2×2，卷積核5×5，卷積層過濾器的個數為n1=10，n2=20。

圖4給出了CNN-RoELM算法精度和各參數之間的關系圖。其中k是調和參數，其受到樣本目，影響函數形式，待估樣本分布的影響。由圖可知，最優隱層節點數為2500，最優調和參數k取2.5。

圖4 CNN-RoELM算法在MINST數據集上實驗結果圖

表1列出了各算法在MNIST數據庫上所得實驗結果精度對比。由表可知CNN-RoELM的準確率為98.83%，顯著高于其他方法。實驗結果證明CNN-RoELM混合模型在MNIST數據庫上分類的有效性。

表1 MNIST數據集實驗結果對比

表2 MNIST數據集時間對比

表2列出了MNIST數據庫上的時間對比，由表可知，CNN-RoELM的訓練時長遠小于ELM和RELM。由于CNN-RoELM增加了隱層，所以訓練時間相比于RoELM有所增加。

4.2 比較結果

為了使本文算法更具有說服力，我們與其他基于ELM的算法（如SVM-ELM［13］和 PCA-ELM［14］）進行比較。此外，考慮到CNN-RoELM是基于深度模型的算法，所以我們也加入一些經典深度學習算法作比較，如深度置信網 DBN［15～16］，堆疊自動編碼器SAE等。同樣在MNIST數據庫上進行實驗，在6萬張圖像中隨機抽取6000張作為訓練，從1萬張圖像中隨機抽取1000張作為測試。實驗對比結果如表3所示。

表3 各種算法在MNIST子集的對比結果

從以上的實驗可知，CNN-RoELM算法在MNIST數據集上的識別精確度要高于ELM，RELM，RoELM等算法，并且相比SVM-ELM，PCA-ELM等算法精度也提升不少，證明CNN-Ro-ELM模型的有效性。另外，由于我們采用了隨機權值網絡結構，所以相比于深度學習算法，能節約大量時間。

5 結語

本文提結合傳統CNN和RoELM模型，提出一種CNN-RoELM混合深度模型。該算法使用卷積神經網絡提取特征，通過把多個卷積層與降采樣層作為隱層來實現圖像特征提取，并采用隨機權值，從而極大地減少了提取特征過程中的時間；然后利用加權最小二乘法來計算魯棒極限學習機的輸出權值，有效抑制異常值的影響提高模型魯棒性，實現圖像快速分類。實驗表明，與傳統的ELM模型相比，新模型可以有效地提高圖像分類精度，防止陷入局部最小化，具有更好的逼近能力，更高效的學習速率以及良好的抗差性能。