一種膠質細胞偶聯人工神經網絡模型

陳魏紅 ,麥 可 ,許 璇 ,劉子玄 ,張紅雨 ,彭 輝

1(華中農業大學 信息學院,武漢 430070)

2(重慶大學 計算機學院,重慶 400030)

3(武漢郵電科學研究院,武漢 430074)

0 引 言

為不斷提升深度學習性能,人們一直熱衷于調參技巧、優化算法等方面的研究,但Zador在nature子刊上發表的論文批判了當前人工神經網絡的研究思路,他認為動物大腦通過進化而來的先天結構比后天訓練更重要,人工神經網絡應該借鑒動物大腦結構以獲得更強的學習能力[1].該觀點也促使本文從大腦結構出發,創新神經網絡模型.當前的人工神經網絡模型只針對大腦中神經元細胞的信息處理和傳遞過程進行簡單抽象.然而,越來越多的證據表明,數量巨大的膠質細胞在大腦活動中同樣起到重要的調控作用[2-4],它與神經元之間存在信號交流和雙向通訊[5,6],能參與大腦學習和記憶等活動[7-9].因此,活躍的大腦不應再被視為僅是神經元接觸的回路,而是神經元和膠質細胞相互作用的綜合網絡.

Postnov針對神經元和膠質細胞的相互作用提出“三方突觸模型”[10],該模型反映了突觸前神經元激活膠質細胞后膠質細胞對突觸后神經元行為的調節過程.圖1顯示了模型基本過程[11].在該模型基礎上,Abed等人[12]構建了基于雙態動力學模型的三方突觸模型(TSM);Abrego L等人[13]更著重強調膠質細胞通過動態協調在信息處理中的整合作用;Verveyko等人[14]不僅描述了Ca2+的動力學特征,還描述了星形膠質細胞的空間形態特征;曹陽[15]則依照真實的神經沖動傳遞過程構建了更為系統的三方突觸STDP可塑性動力學模型.這些模型都在一定程度上表達了神經元和膠質細胞之間的信息傳遞,但仍屬于生物學模型,方程復雜、計算過程繁瑣,不利于硬件實現.

圖1 三方突觸模型Fig.1 Tripartite synaptic model

在“三方突觸”的啟發下,連接主義構建了加入膠質細胞的人工神經網絡.Ana等人[16]搭建了3～5層的該類型網絡,并在心臟病、乳腺癌、Iris Flower(IF)、Ionosphere(IS)數據集上驗證了其在解決分類問題上的性能更優于傳統人工神經網絡(Artificial Neuron Networks,ANNs).Ikuta等人[17]將一個神經元與兩個具有不同激發閾值和反饋輸出值的膠質細胞連接.當神經元的輸出量大于某膠質細胞激發閾值時,相應的膠質細胞就會被激發并導致神經元的輸出量發生變化.實驗證實了加入膠質細胞后網絡具有更好的學習性能.耿志強等人[18]提出了一種基于膠質細胞鏈和神經元交互機制的改進深度信念網絡(Deep Belief Nets,DBN)模型,實驗結果顯示改進的 DBN 能夠提取更加適于圖像分類任務的特征,提高圖像分類準確率.此外,由于星形膠質細胞對神經網絡功能的實際影響復雜而未知,現有的計算模型含有不確定的參數,因此lvarellos-González等人[19]、Mesejo等人[20]、Cedron等人[21]使用進化算法自適應獲得針對某個特定問題的最優模型參數配置.

盡管上述加入膠質細胞后的人工神經網絡相對ANNs表現出更好的學習能力和分類性能,但它們均使用1∶1的數量比對膠質細胞和神經元進行組合連接,這與實際的膠質細胞和神經元數量比不符.研究發現膠質細胞與神經元數量比率與物種進化狀態存在一定的相關性[22,23],從無脊椎動物到靈長類動物,膠質細胞和神經元的數量比例明顯上升;與獼猴和黑猩猩相比,人類比例顯著增加,而Diamond還發現愛因斯坦的大腦擁有比普通人多70%的膠質細胞[24].此外,不同大腦區域的比例也不同.如小腦中,星形膠質細胞是神經元的1/5,而在皮層中,神經膠質細胞是神經元的4倍[25].這些發現都表明,動物或大腦區域執行的任務越復雜,所涉及的膠質細胞數量就越多,而更多的膠質細胞可能是導致大腦具有更高級認知功能的關鍵因素.關于人腦膠質細胞和神經元的具體數量比值一直備受爭議[26].并且,研究還發現,只有大約40%的突觸是三方突觸[27],即并非所有神經元都與星形膠質細胞有通訊交流.由此可見,構建單一結構的膠質細胞偶聯人工神經網絡并不能很好地表達大腦神經系統真實的結構和神經細胞實際的行為狀態,僅設置1∶1的數量比也不能充分體現和發揮膠質細胞對網絡學習能力的提升作用.

基于此,本文構建了一種膠質細胞偶聯的人工神經網絡并針對不同任務,使用遺傳進化算法自適應確定網絡中神經元和膠質細胞的數量比及網絡拓撲結構,以實現膠質細胞在結構和功能上的多樣性、靈活性,從而更好地甄選解決具體問題的最優網絡架構.

1 模型與方法

1.1 三方突觸的生物學模型

根據Postnov提出的三方突觸模型,神經元與膠質細胞主要有以下交流途徑,如圖2所示.1)突觸前神經元接受外界刺激形成動作電位,釋放谷氨酸神經遞質信號,該神經遞質擴展至突觸后膜(線路①)和膠質細胞膜上(線路③);2)細胞外鉀濃度升高導致也導致膠質細胞的Ca2+振蕩(線路②);3)擴散到膠質細胞上的谷氨酸刺激膠質細胞釋放IP3,IP3濃度的增加觸發內質網鈣釋放,從而引發Ca2+振蕩,而Ca2+濃度的增加誘導膠質細胞釋放膠質遞質,從而引起突觸(線路④)和突觸后神經元(線路⑤)電位的變化.其中上述途徑1)被認為是哺乳動物膠質細胞的主要激活途徑,途徑2)被認為是無脊椎動物膠質細胞的主要激活途徑.

圖2 神經元和膠質細胞的交流途徑(根據文獻[10]修改)Fig.2 Communication pathways between neurons and glia

在上述交流途經中,分別對神經元細胞模電位、突觸耦合和膠質細胞的Ca2+振蕩過程進行建模.

1.1.1 神經元模型

經典的神經元模型有Hodgkin-Huxley模型[28]、Integrate and Fire模型[29]、Izhikevich模型[30]等.以Integrate and Fire(IF)模型為例,其膜電位方程為:

(1)

其中,u為膜電位,τm為神經元的膜時間常數,urest為靜息電位,I為神經元輸入電流.對于突觸后神經元,I將被IGpost+Isyn替換,其中,IGpost(IGpost=γGm)以電流方式表示膠質細胞釋放的谷氨酸(Gm)對突觸后神經元的作用,Isyn則表示突觸電流.

1.1.2 突觸耦合模型

兩個神經元之間的突觸耦合通過突觸激活閾值和突觸后神經元的延遲反應來描述(見式(2)):

(2)

z是激活變量,τs為時間延遲,為hs閾值.參數ss,hs,ds共同控制z的激活.當突觸前神經元模電壓u1

Isyn=(ks-δGm)(z-z0)

(3)

其中,δGm表示了膠質細胞對突觸的作用,ks為電導率因子,z0為參考值.

1.1.3 膠質細胞模型

膠質細胞不產生動作電位,其計算模型主要描述鈣離子濃度變化(見式(4)):

(4)

該模型主要考慮線路③(βSm)、線路②(αu2)、以及內質網(c4f(c,ce))的Ca2+釋放這3部分對它的鈣離子濃度影響.r為常量,α,β為作用權重參數,Sm表示膠質細胞接收到突觸前神經元釋放的谷氨酸后釋放IP3的濃度變化,由式(5)計算:

(5)

與突觸激活函數類似,當z

(6)

膠質谷氨酸的釋放最終又引起突觸強度變化(線路④,式3)和突觸后神經元(線路⑤,式(1))電位的變化.

1.2 膠質細胞偶聯人工神經網絡計算模型

將生物學三方突觸模型進一步抽象和簡化,本文構建了膠質細胞偶聯人工神經網絡(Glia-Coupled Artificial Neuron Networks,GCANNs)模型,將傳統ANN的節點由神經元擴展為神經元和膠質細胞,定義神經元和膠質細胞的更新規則,以反映兩者雙向通訊機制和協調過程.在此基礎上,搭建不同類型的GCANNs.圖3(a)顯示了一個膠質細胞偶聯多層感知機網絡(Glia-Coupled Multilayer Perceptron,GC-MLP),圖3(b)顯示了一個膠質細胞偶聯循環神經網絡(Glia-Coupled Rerrent Neural Network,GC-RNN).

圖3 膠質細胞偶聯人工神經網絡Fig.3 Glia-Coupled ANNs(GCANNs)

1.2.1 膠質細胞偶聯前饋型神經網絡的計算模型

前饋神經網絡沒有時間維度,不能準確描述神經元和膠質細胞的相互作用在生物學上隨時間而變化的特性,只能簡單描述它們相互作用后各自狀態改變的結果.因此,在前饋神經網絡中,設置閾值θ,當神經元輸出值大于某閾值θ時,與之連接的膠質細胞被激活并設置值為1,否則,膠質細胞以因子γ進行值的衰減.因此,膠質細胞的更新規則為:

(7)

其中,gj表示與當前層第j個神經元連接的膠質細胞輸出值,θ表示膠質細胞的激活閾值,γ表示膠質細胞衰減因子,yj表示隱藏層第j個神經元的輸出值:

(8)

其中,wij表示權重,xi表示上一層第i個神經元的輸出,bj表示偏置值,f表示激活函數.

膠質細胞進一步對神經元進行信息反饋,調整神經元的輸出值.因此,神經元的更新規則為:

(9)

其中,yj′表示經膠質細胞進行信息反饋后當前層第j個神經元更新后的輸出值,α表示反應膠質細胞對神經元影響程度的權值.

1.2.2 膠質細胞偶聯循環神經網絡的計算模型

循環神經網絡通過循環使用同一結構網絡而引入“記憶”機制,使當前時刻的網絡輸出不僅與當前的輸入有關,還與上一時刻的輸出有關.因此,循環神經網絡能描述時間維度上的信息.以循環神經網絡為載體建立膠質細胞和神經元的計算模型能更真實地表達膠質細胞和神經元在時間軸上的變化和相互作用.如圖4所示,假設t時刻輸入層為X(t),通過權重矩陣U計算中間層S(t),將S(t)作為“記憶”存儲并按公式(10)激活相應的膠質細胞得到膠質細胞值G(t).在下一個t+1時刻,S(t+1)的值不僅與X(t+1)有關,還與S(t)和G(t+1)有關.由此,膠質細胞偶聯循環神經網絡的計算模型如下:

圖4 膠質細胞偶聯循環神經網絡的計算過程Fig.4 Computational process of Glia-Coupled RNN

1)膠質細胞的更新規則

(10)

其中,gj(t)表示t時刻隱藏層第j個神經元連接的膠質細胞輸出值,θ表示膠質細胞的激活閾值,γ表示膠質細胞衰減因子,sj(t-1)表示t-1時刻隱藏層第j個神經元的輸出值.考慮到膠質細胞生物學上的不應期特性,t-ti>τ表示膠質細胞只有在當前時刻與上次激活時刻的時間差大于τ時才可能被再次激活.

2)神經元的更新規則

O(t)=g(V·S(t))
S(t)=f(U·X(t)+W·S(t-1)+αG(t))

(11)

其中,O(t)表示t時刻輸出層的值,S(t)表示t時刻隱藏層的值,X(t)表示t時刻輸入層的值,G(t)表示t時刻與隱藏層連接的膠質細胞值,U、V、W分別為輸入層到隱藏層、隱藏層到輸出層、隱藏層t-1時刻到t時刻的權重矩陣,α為膠質細胞影響神經元的權重值,f和g分別為激活函數.

1.2.3 膠質細胞偶聯神經網絡的訓練

加入膠質細胞后的神經網絡,其神經元權值更新仍采用反向傳播算法.權值和膠質細胞值都先進行初始化賦值.在前饋計算中,根據神經元和膠質細胞的計算規則進行神經元和膠質細胞狀態的計算,在反向傳播中,使用梯度下降算法進行神經元權值更新.

1.3 使用遺傳進化算法實現GCANNs的網絡優化

當前,人們對膠質細胞的功能認知有限,因此不能確定新的計算模型中所涉及到的諸多參數如膠質細胞對神經元的影響權重α、膠質細胞衰減因子γ以及膠質細胞激活閾值θ,也不能確定膠質細胞與神經元的數量比以產生性能更優的神經網絡.然而在動物神經系統的演化過程中,對于執行不同復雜任務的動物大腦或大腦區域,膠質細胞一直在不斷進化以尋找到最適合環境和生存的數量、形態和功能.鑒于此,針對人工神經網絡的特定任務,本文使用遺傳進化算法對以上參數和網絡拓撲結構實現進化優化,其流程如圖5所示.

圖5 GCANNs進化優化算法流程圖Fig.5 Flow chart of GCANNs evolutionary optimization algorithm

1.3.1 編碼

對GCANNs模型中的參數(α、γ、θ)以及網絡拓撲結構包括網絡隱藏層層數、每層神經元個數、與每個神經元連接的膠質細胞數量等設定編碼規則,并采用實數編碼隨機初始化個體,產生初始種群.

如圖6所示,參數α、γ、θ取值范圍均設置為0-1;各隱藏層神經元節點數編碼部分將依次給出每一層隱藏層神經元個數;每個神經元連接的膠質細胞個數編碼部分由圖6中的G1…Gn編碼段表示,每個編碼段依次給出當前層每個神經元連接的膠質細胞數量值(設定每個神經元連接的膠質細胞數量值范圍為0～15).如果設置每個神經元連接相同數量的膠質細胞,則可將該數量值作為超參進行編碼.在主體編碼的基礎上,可根據由基本計算單元組合而成的網絡類型進一步設置與網絡架構相關的其它編碼部分,如可增加卷積層部分的編碼,設置卷積層層數、卷積層連接方式等.

圖6 編碼規則Fig.6 Coding rules

1.3.2 遺傳進化

按圖6中的編碼規則產生初始種群,將初始種群中的每一個個體值傳入GCANNs進行訓練,以圖像測試集分類準確率作為個體適應度.在選擇策略上,采用輪盤賭算法[31]根據個體適應度大小、預設個體數量篩選出個體集;在交叉過程中,使用模擬二進制交叉SBX(Simulated binary crossover)算子[32];在變異過程中,根據變異概率對個體變異點位置上的編碼值進行重新賦值.

2 實驗與結果分析

為驗證膠質細胞對傳統人工神經網學習能力的提升作用,本文對不同結構的膠質細胞偶聯人工神經網絡GCANNs模型在不同數據集上進行測試;此外,本文使用遺傳算法進化出針對某一具體任務的最優網絡,進化出的網絡結構能體現膠質細胞與神經元在結構上和相互作用上的多樣性.

2.1 不同結構的GCANNs與傳統ANNs在不同數據集上的學習性能對比

本文分別構建了GC-MLP、GC-CNN、GC-Resnet、GC-RNN以及GC-LSTM網絡模型.其中MLP和GC-MLP對MNIST數據集和IMDB文本數據集進行分類;CNN、Resnet和GC-CNN、GC-Resnet針對FashionMnist數據集進行分類;RNN和GC-RNN針對DINOS數據集進行文本生成;LSTM和GC-LSTM針對MNIST數據集和IMDB數據集進行分類.

圖7(a)顯示了3層MLP中,設置隱藏層神經元個數分別為5、10、15、30,每種情況下選擇最優參數組合且膠質細胞與隱藏層神經元數量比為1∶1時GC-MLP和傳統MLP對MNIST數據集進行分類的結果;同樣地,圖7(b)顯示隱藏層神經元個數分別為5、10、16、32的3層MLP在加入膠質細胞和不加膠質細胞時對文本數據集的分類結果.圖7(c)中的CNN結構包含1個卷積層(卷積核大小均為3×3)、1個池化層(使用大小為2×2、步長為2的最大池化算法)和2個全連接層;Resnet結構包含1個Basic_block層(卷積核大小均為3×3)、1個池化層(使用大小為2×2、步長為2的最大池化算法)和2個全連接層.在CNN和Resnet中加入膠質細胞構造GC-CNN和GC-Resnet,圖7(c)分別顯示了上述網絡對Fashion MNIST數據集進行分類的測試準確率結果.圖7(d)顯示了GC-RNN和傳統RNN進行文本生成訓練時的損失值.圖7(e)和圖7(f)分別顯示了GC-LSTM和傳統LSTM對MNIST數據集和IMDB數據集進行分類的結果.

圖7 不同結構的GCANNs與傳統ANNs在不同數據集上的學習性能對比Fig.7 Comparison of the learning performance between GCANNs and traditional ANNs with different structures on different data sets

由以上實驗結果可見:1)針對不同結構的網絡,膠質細胞的加入均使測試集準確率有較為明顯的提高,可見膠質細胞在網絡學習能力提升方面具有一定作用;2)模型越簡單,網絡性能提升越明顯.尤其在GCC-MLP中,針對MNIST數據集隱藏層神經元個數越少,準確率提高越明顯.

2.2 增加膠質細胞與增加網絡元素的網絡性能對比

為驗證網絡性能的提高與膠質細胞自身特性有關,而并非因為增加了網絡元素,本文分別構建了兩類網絡模型.第1類模型對隱藏層中的每一神經元按1∶1數量比連接膠質細胞;第2類模型把網絡中的每層隱藏層進行自我復制然后添加在網絡中.

第1組網絡結構如圖8(a)～圖8(b)所示.圖8(a)是GC-MLP10,此模型包含1層隱藏層,隱藏層神經元數量為10,膠質細胞與隱藏層神經元數量之比為1∶1.圖8(b)是MLP10_10,此模型包含2層隱藏層,隱藏層神經元數量均為10.第2組網絡如圖8(c)～圖8(d)所示.圖8(c)是GC-MLP30_15,包含2層隱藏層,隱藏層神經元數量分別為30、15,加入的膠質細胞與隱藏層神經元數量之比為1∶1.圖8(d)是MLP30_30_15_15,包含4層隱藏層,為隱藏層神經元數量分別為30、30、15、15.

圖8 增加膠質細胞和增加神經元的網絡結構Fig.8 Network structure with adding glia and with increasing the number of neurons,respectively

圖9顯示了上述兩組網絡結構分別在MNIST數據集和IMDB數據集上的測試集準確率對比情況.由圖9可知,增加網絡元素與增加膠質細胞的效果并不相同,因此,網絡學習性能的提高并非因為增加了網絡元素,而確實與膠質細胞自身特性相關.

圖9 增加網絡元素與加入膠質細胞對測試集準確率的影響Fig.9 Accuracy comparison between the network structure with adding glia and with increasing the number of neurons

2.3 改變膠質細胞與神經元數量比對網絡的影響

本文針對不同的膠質細胞和神經元數量比,構建了多種模型,并針對MNIST數據集IMDB數據集進行分類結果比較.圖10(a)和圖10(b)分別顯示了3層MLP中,隱藏層神經元個數為15,膠質細胞與神經元數量比分別為1∶1、2∶1、5∶1、10∶1、15∶1、20∶1時,兩種數據集的分類結果.由圖11可知,針對同一任務,不同的膠質細胞和神經元數量比能獲得不同的測試集準確率;而針對不同的特定任務,當測試集準確率均為最高時,膠質細胞和神經元的最優數量比也是不同的(如對MNIST數據集進行分類時,10∶1能獲得最高準確率,對IMDB數據集進行分類時,1∶1獲得最高準確率).由此可見,在實際應用中,應根據特定問題選取特定的數量比例以獲得神經網絡的最優學習性能.該實驗結果與生物學上的發現——“執行不同任務的不同大腦區域,膠質細胞數量是不同的”相符,這充分說明了神經元與膠質細胞之間結構和作用的多樣性特征.

圖10 膠質細胞與神經元的不同數量比對測試集準確率的影響Fig.10 Effect of different quantity ratios of glia and neurons on the accuracy of test set

2.4 基于遺傳進化的GCANNs優化

由2.3可知,膠質細胞和神經元數量比不同,神經網絡學習能力也不同,且對于不同的特定任務,膠質細胞與神經元的最優數量比也是不同的.因此,本文使用遺傳進化算法對膠質細胞與神經元數量比進行優化,同時也對膠質細胞參數α、γ、θ以及網絡拓撲結構進行最優解搜索.

實驗結果表明,進化出來的網絡中大部分神經元都選擇了與一定數量的膠質細胞“相連”以獲得更高的適應度.以GC-MLP為例,針對MNIST數據集的分類任務,選擇測試集準確率作為適應度函數的輸出,設置種群大小為20,交叉概率為0.5,變異概率為0.01,最大遺傳代數為20.實驗結果顯示,當膠質細胞與神經元數量之比均值為13:1時,且α=0.54099905、γ=0.26947943、θ=0.6634643、隱藏層有1層、隱藏層神經元個數為18時,GC-MLP網絡能獲得最大的測試集準確率.

3 結 論

人類目前對大腦神經系統及其智能機理的理解還較為粗淺,被廣泛應用的人工神經網絡也只是大腦神經系統基本特征的簡化和抽象,其結構和功能與真實的大腦神經系統相差甚遠.加強對類腦科學的研究,不斷創新人工智能的模型、方法和技術,對人工智能的發展具有極其重要的意義.

本文提出一種考慮膠質細胞和神經元互作用機制的人工神經網絡模型GCANNs,并使用遺傳算法對該網絡模型進行自適應優化.實驗表明,在圖像、文本分類等任務上,加入膠質細胞的網絡其學習性能有明顯提升,且當網絡結構越簡單(如網絡層數和神經元數量越少)時,網絡性能提升越明顯.此外,通過遺傳算法進行網絡優化的實驗也進一步說明,相比傳統的ANNs,經過了“自然進化、優勝劣汰”的GCANNs能呈現出更優良的性能.

由于硬件條件的限制,驗證實驗所使用的數據集并不豐富,網絡拓撲結構和參數的搜索空間也相當有限.在今后的工作中,將考慮對模型進一步完善和優化,并在更復雜的任務和更廣泛的數據集上進行模型驗證.