基于卷積神經網絡的Gray-Scott 模型圖像分類算法

李艷秋， 朱魯帥

（1.上海應用技術大學 理學院, 上海 201418；2.南京工業大學 數理科學學院, 南京 211816）

圖靈發現不均勻的圖案或空間非均勻性可能來自擴散，稱為圖靈不穩定性[1]。從生物學角度看，生物體呈現的斑圖是由基因和體內的化學反應決定的，對斑圖分類的研究有利于探索斑圖形成的理論機制和生物學根源，甚至可以揭示某些疾病產生的原因和基因的異常表達，作為預防疾病的手段。圖靈斑圖是從理論上研究自然界存在的真實斑圖，從計算機或人工智能角度來講，計算機認識世界的基礎就是對這些斑圖進行分類，有了分類之后才可能進一步做更細致的視覺任務。那么，斑圖的分類是非常有必要的。

斑圖分類依賴于圖像分類技術。圖像分類領域的較快發展是由于深度學習的發展。在圖像分類問題上，深度學習算法比傳統的機器學習算法有更大的優勢。特別是，卷積神經網絡在圖像分類問題上模仿了人類大腦中神經元識別斑圖的方式，神經網絡通過訓練數據，然后通過迭代學習權重的最佳值，并在訓練數據中提取重要的特征，從而確定規則。經過大量的研究表明，神經網絡是圖像分類的有效方法[2-4]。此外，聚類分析也是圖像分類的重要方法，它是一類無監督的學習算法[5-7]。使用聚類算法可以提高圖像分類的準確性和效率[8]。由于數據本身具有定性或定量的特征，可以通過聚類分析對大量的數據進行分類和分組以了解數據集的內在結構。

1 文獻綜述

圖像分類是使用計算機將圖像內容分成不同的目標區域并描述分類。由于計算機技術的飛速發展，圖像分類作為計算機視覺的核心問題之一，是人工視覺判讀的延續和發展，計算機圖像分類比人工圖像分類要快得多，分類精度也達到了很高的水平。在“信息爆炸”的今天，圖像信息的獲取和使用越來越方便，圖像文件的交換和傳輸越來越頻繁[9]。

隨著圖像分類領域研究的不斷深入，很多學者提出了不同的圖像分類算法。Kekatos[10]于1993年提出了支持向量機（support vector machine，SVM）算法，該算法可以通過核函數將輸入空間中的非線性可分離數據映射到高維特征空間。然而，支持向量機算法不能很好地處理大量、多樣的圖像。K 近鄰算法具有較高的精度和穩定性，但容錯性較差，效率較低。傳統的圖像分類方法對于一些簡單的圖像分類是有效的，但它們被實際情況的復雜性所淹沒。經過近幾年人工智能領域的快速發展，深度學習已廣泛應用于金融業、工業制造、智能駕駛等領域，并取得了顯著的成果。卷積神經網絡（convolutional neural network，CNN）作為深度學習的代表算法，可以有效地處理高維數據。LeNet5 是Lecun 等[11]于1998 年為手寫數字設計的卷積神經網絡，出現在2010 年開始的ImageNet挑戰賽中，在目標檢測和識別方面取得了良好的結果。此后，學者們優化了CNN 結構的輸入和特征提取，提高了模型的泛化性能。

本文對圖像分類進行了深入研究，通過對斑圖的分類可以更好地了解環境因素的變化對生態系統的影響以及形成生態現象的機制[12-24]。然后，利用機器學習中的特征工程方法獲得更好的圖像訓練特征。使用人工神經網絡和聚類算法對系統生成的點、線狀圖數據進行了更詳細的討論和分析。眾所周知，深度學習框架只能被視為提供非線性回歸[15]，但本文所討論的特征工程與其相反，允許通過單層神經網絡對具有非線性的數據特征進行有效分類和聚類。

2 圖像分類算法的基本原理

由于受到哺乳動物視覺過程的啟發，CNN 的工作原理更接近于生物意義上的神經網絡，可以有效處理二維圖像數據，是深度學習快速發展的重要推動力之一。CNN 最大的創新是采用了局部連接和權重共享的思想，改進了層與層之間的連接形式，用局部連接代替了多層感知器（multilayer perceptron，MLP）的全連接，因此，CNN 可以看作是MLP 的一個變種。

目前，卷積神經網絡被廣泛應用于目標檢測、圖像分割和自然語言處理等領域，由于其強大的特征表示能力，越來越多的學者開始探索和研究它的學習能力?；镜木W絡運行過程主要是通過從大規模樣本中學習相關特征，并在測試過程中能夠評估性質相似的測試數據。因此，卷積神經網絡有3種主要網絡結構：卷積層、池化層和全連接層。

卷積層主要對輸入數據進行特征提取，并對輸入數據中的隱含關聯性進行采樣，類似于圖像過濾操作。卷積過程通?？梢钥闯墒菣嘀鼐仃嚺c圖像矩陣的乘法。在操作過程中，圖像上的每一層像素矩陣被卷積核以指定的像素距離掃描，掃描的圖像區域所對應的數值被相乘，然后相加，得到卷積操作后尺寸較小且失去邊緣信息的特征圖。卷積后的輸出圖像大小為：

式中：Oh和Ow分別表示卷積操作后特征圖的高度和寬度；M為卷積操作前的輸入圖像；Mh和Mw分別為輸入圖像的高度和寬度；Kh和Kw分別為卷積核的高度和寬度；P為卷積操作時輸入圖像邊緣的像素點填充；S為卷積核每次移動的像素距離，也叫步長。

卷積的計算過程有2 個主要步驟：①矩陣內積乘法；②內積乘法結果的求和。2 個元素在同一位置的矩陣的乘法，得到1 個新的矩陣。這個新矩陣的所有數值求和，得到1 個數值，就是卷積運算的結果。

池化層是基于局部相關的思想，通過對1 組局部相關的元素進行抽樣或信息聚合，得到新的元素值，本質上屬于降維采樣的過程。其主要目的是為了神經網絡在訓練和學習過程中去除冗余信息、壓縮特征、簡化網絡的復雜性，一般理解為減少參數數量，在一定程度上可以避免過擬合的發生。

全連接層（fully connected layer，FC）在整個卷積神經網絡中充當“分類器”。當卷積層和集合層將原始數據映射到隱藏的特征空間，全連接層則起到將學到的“分布式特征表示”映射到樣本標記空間的作用。

在卷積神經網絡中，卷積和池化這2 個線性網絡層構成了整個模型，所以模型的多層網絡級聯仍然是線性的，這種線性關系只能處理線性可分的問題，但通常遇到的問題是非線性的，所以需要使用激活函數來增強網絡的非線性表達。常見的非線性激活函數有Sigmoid、ReLU 和Tanh。Sigmoid是1 個常用的非線性激活函數，其數學表達式為

式（3）能夠不斷地將輸入的實值轉化為0～1的輸出。若為非常大的負數，輸出就是0；若為非常大的正數，輸出就是1。然而，梯度消失問題往往發生在反向傳播過程中，模型不能正常收斂。

Tanh 部分解決了Sigmoid 關于零中心化（Zero-Centered）的輸出問題。導數范圍在(0,1)之間變得更大，而Sigmoid 在(0,0.25)之間，梯度消失的問題得到了緩解。Tanh 函數的數學表達式為

ReLU 函數使一部分神經元的輸出為零，這就造成了網絡的稀疏性，減少了參數的相互依賴性，緩解了過擬合問題。ReLU 函數的數學表達式為

3 斑圖的產生機制

探索斑圖的存在需要討論穩態問題[16-17]。在這項工作的研究中，選擇了Gray-Scott 模型來描述浮游生態系統[18]中斑圖的形成：

式中：u、v分別代表t時刻浮游動物和浮游植物的種群密度；du和dv分別為2 種群的擴散系數；k和f分別代表由毒素釋放造成的浮游動物死亡率和浮游動物有額外的食物維持種群的增長率[19-20]。?∈R2為有限區域，文中模擬時設定尺寸為10×10，模型具有周期性邊界條件。

求解方程組

當然，對于種群模型[23-24]，正平衡點處的動力學行為更值得關注。當T0＜0,D0＞0時，系統式(6)對應常微分方程的平衡點局部漸近穩定，若加入擴散項之后，式(6)的平衡點變為不穩定狀態，此時會出現圖靈斑圖。

圖1 顯示了在du=1 和dv= 0.5 時，基于系統參數k和f的相位圖。圖1 中的灰色區域代表正平衡點穩定狀態。在不穩定區域，Gray-Scott 反應擴散模型產生各種形狀的圖案，包括“條紋狀”“斑點狀”“倒斑點狀”和混合形狀圖案。不同字母代表不同模式斑圖。

圖1 du=1 和 dv=0.5 時，相位圖隨系統參數 k和 f的變化Fig.1 When du =1 and dv =5, the phase diagram changes with the system parameters k andf

圖2 顯示了在固定擴散系數du=1 和dv= 0.5 的情況下，通過改變參數k和f產生的圖案。定義了5 000個模擬秒，其中每個模擬秒4 步。

圖2 系統(6)斑圖隨k-f的變化Fig.2 Describe the changes in the system’s (6) pattern with respect tok-f

4 斑圖分類過程

選擇了4 組不同模式的斑圖，見圖3。對應參數：(a)f=0.021，k=0.052；(b)f=0.023，k=0.060；(c)f=0.027，k=0.056；(d)f=0.029，k=0.060。利用神經網絡框架對這4 組斑圖進行分類。所有生成的4 組斑圖的訓練集和測試集按7∶3 的比例進行訓練，并將其送入位于64×64 的像素矩陣中。

圖3 Gray-Scott 反應擴散模型生成的4 種斑圖Fig.3 Four plaque plots generated by the Gray-Scott reaction diffusion model

使用單層神經網絡對圖像進行分類，為了將神經網絡應用于4 類別分類，使用包含4 個輸出節點的輸出層對神經網絡進行訓練。上述結構的所有訓練過程如下：

（1） 隨機初始化網絡中的所有權重。

（2） 使用梯度下降（gradient descent，GD）和Adam 優化器對672 幅圖像進行了2 000 次迭代訓練。

（3） 使用288 張圖像驗證分類的準確性。

在訓練前確定適當的樣本特征可以提高分類的準確性，利用斑圖的特征而不增加神經網絡的層數來提高分類準確率。

利用先驗知識將神經網絡轉化為一種特殊形式。由于輸入圖像是非線性的，傳統的層次結構Z=WX+b（其中X表示特征，W、b分別表示訓練權重和偏置項）計算精度不高，因此，在本文中，將傳統層結構的模型定義為基線模型。由于區域、層界面位置和分布可以用于區分球形、條紋和斑點以及混合斑圖。所以，修改后的模型與基線模型進行比較，使用非線性函數、梯度、拉普拉斯等修改后的特征能夠更好地反映?？紤]以下Ginzburg-Landau 自由能的泛化[25]，

式中，d1、d2為系數。式(9)可以通過模擬相位分離產生復雜的圖案，而形成的圖案是由條紋狀和斑點狀圖案組成。如果式(9)可以生成各種復雜圖案，那么生成的圖案就可以按照這樣的方法進行分類。在文獻[14]中，給出了2 種不同的圖像數據下X，(1-X2)2和?X的網格圖。提出對于給定的圖像數據，?X和(1-X2)2可以呈現條形或圓形的體積和界面區域。

通過式(9)的變分求導來推導出以下廣義函數的最小點：

式中：Y是非零固定變量；〈,〉是內積?；谏鲜鼋Y論，神經網絡前向傳播如下:

式中：σ表示激活函數；b表示誤差項；?X和X-X3為特征；對應的權重分別為W1和W2，如果在同一個單層神經網絡中有2 個特征，則應該使用2 個權重，以防止數據集擬合不充分。

在本文中，使用具有2 個輸入特征的單層神經網絡分類器，對2 個輸入特征分別進行加權，與1個偏置項相加，通過激活函數獲得輸出，然后使用反向傳播算法訓練神經網絡。反向傳播算法是一種迭代算法，在該算法中，對于每個輸入特征，在單個網絡層中分別訓練2 個權重，每個權重通過獨立的反向傳播進行更新，以使目標的誤差更小。最后，重復前面的步驟，直到停止訓練。圖4 是1 個具有上述2 個輸入特征的單層神經網絡的結構示意圖。

圖4 2 個輸入特征的前向傳播神經網絡結構Fig.4 Forward propagation neural network structure for two input features

表1 展示了通過上述分析得到的在GD 和Adam 優化器下，單特征和雙特征神經網絡的訓練精度。由表1 可見，本文提出的模型與基線和其他模型，在GD 和Adam 優化器下都取得了明顯的改進。此外，不同的特征對神經網絡的收斂速度也有很大影響。與其他模型相比，雙特征模型可以用較少的迭代次數（600 次）收斂分類，而單特征模型則需要2 000 次的迭代才能收斂。

表1 單特征和雙特征GD 和Adam 優化器測試精度對比Tab.1 Comparison of test accuracy among single-feature, dualfeature GD and Adam optimizer

5 實例分析結果

聚類就是把1 個給定的數據集按照某個特定的標準進行分割，通過將其分割成不同的類或者簇，使得同一類的數據對象的相似性盡可能大，同時不在同一類的數據對象之間的差異性也要盡可能大[26-27]。為了更加深入地去了解聚類算法，使用上面討論過的特征和圖2 中的所有斑圖來對數據進行聚類。對于聚類的好壞，可以通過聚類結果進行驗證。簇間距離越大，聚類效果越好；簇內距離越小，聚類效果越理想。

圖5 表示的是二維空間中36 種斑圖的可視化。相同顏色的點代表相同類型的斑圖。通過使用每個特征的均值和方差，在二維空間中以每個斑圖20 個點來可視化所有斑圖。其中，圖5(a)是使用?X和X-X3的平均值進行聚類。從圖中很容易看出它是8 個聚類，這將是一個好的聚類。當然，聚類的數量最初是未知的，主要是由于斑圖的復雜程度決定。圖5(b)是使用?X和X-X3的方差的聚類結果，與圖5(a)相比，使用方差的聚類效果遠不如使用均值的聚類。圖5(c)是使用?X的均值和X-X3的方差進行聚類的結果。圖5(d)是使用X的均值和X-X3的方差進行聚類的結果。通過對上述4 種聚類結果可以看出，圖5(c)和(d)的聚類結果差別很大，聚類標準比較模糊。

圖5 二維空間中36 種圖案的可視化Fig.5 Visualization of 36 patterns in two-dimensional space

為了更加直觀的看出聚類的效果，使用圖5(c)、(d)中X、?X的平均值和X-X3的方差這3 個特征在三維空間中對所有圖案可視化，其中，每個圖案代表40 個點。結果如圖6(a)所示。通過肉眼可以看出，聚類效果比以前要好。

圖6 將總共36 個圖案且每個圖案40 個點在三維空間(a)中進行可視化，可視化三維空間(b)中的每個圖案上的點都代表相同顏色的相同簇中的點Fig.6 Visualization of a total of 36 patterns with 40 points per pattern in 3D space (a), where the points on each pattern in 3D space(b) represent points in the same cluster of the same color

最后，使用120 個數據點的平均值在三維空間中進行聚類分析，將集群的數量設置為5，用相同的字母來代表每個聚類的斑圖。

根據之前的聚類，通過圖7 來表示每個聚類的斑圖。其中，圖7（a）～(d)是圖3 選擇的斑圖，圖7（d）是復雜斑圖，圖7（e）表示穩定狀態。實線以內的區域滿足穩定性條件。它與圖2 有很好的一致性。

圖7 用字母表示每個簇的圖案Fig.7 The representation of the pattern of each cluster with different letters

6 結 語

本文以毒素作用下浮游動物和植物生態反應擴散模型為媒介，分析了系統共存平衡的圖靈不穩定性是產生斑圖的先決條件。然后利用機器學習方法中的特征工程對圖像進行分類。通過可視化結果可以看出，特征?X和X-X3比單一特征具有更好的分類和聚類效果?？紤]到所用斑圖的高度非線性，訓練的高精度和低迭代速度仍需在未來改進，神經網絡在反應擴散動力系統中的應用將一直是學者們關注的熱點問題。同時，對所有高度相似的斑圖進行更精確的分類和聚類是一個非常具有挑戰性的問題。這將是非線性偏微分方程演變和圖像分類技術的重要部分。