基于長短時記憶網絡的人才培養模型設計

李瑤 周正松

摘要：長短時記憶LSTM神經網絡的工作原理雖有記載，但究其物理過程很多資料都未解釋清楚，該文以學校人才培養為.例，將LSTM網絡類比為通過多年辦學的吐故納新，將成功的經驗長期繼承下來，而把逐年的新貢獻又增加上去，如此循環，就把多級LSTM的級聯展現在讀者面前。

關鍵詞：長短時記憶LSTM;遺忘門f;輸入門i;輸出門Q，

中圖分類號：TP18

文獻標識碼：A

文章編號：1009-3044（2020）04-0152-02

收稿日期：2019-12-05

作者簡介：李瑤（1989—），女，四川南充人，四川大學錦城學院講師，碩士，主要研究方向為大數據、人工智能;周正松（1987-），男，重慶人，四川大學錦城學院講師，碩士，主要研究方向為不確定性信息處理的數學。

1 背景

一談到神經網絡的深度學習似乎就高不可攀，深不可測，其實它都是為了解決日常生活中的實際問題。例如四川大學錦城學院從2005年開辦以來到今天已有14年的歷史，若把每年的人才培養工作總結進行整理，會發現它都是在原有的基礎狀態ht-1和已有信息Ct-1之上，隨著科學技術的發展和社會的進步在不斷地更新前進，這就可以看作是一個長短時記憶LSTM模型。因此，本文立足于高校的人才培養，結合LSTM神經網絡，設計一個關于人才培養的LSTM模型，以更直觀的形式來闡述LSTM的工作原理。

2 LSTM網絡

長短時記憶網絡[1-2]（Long Short-Term Memory，LSTM），是循環神經網絡[3]的一種變體，可以有效地解決簡單循環神經網絡的梯度爆炸或消失問題。LSTM網絡結構如圖1所示。

LSTM網絡引入一個新的記錄信息的Ct專門進行循環信息傳遞，同時輸出信息給隱藏層的外部狀態h1。LSTM網絡中的門是一種軟門，取值在（0，1）之間，表示以一定的比例運行信息通過。其中遺忘門f1，控制上一時刻的信息Ct-1需要遺忘多少;輸入門it，控制當前時刻的信息有多少需要保存;Ct表示新增信息;輸出門Qt，控制當前時刻的信息保留多少輸出給外部狀態ht。

在LSTM網絡中，記憶單元C可以在某個時刻捕捉到某個關鍵信息，并有能力將關鍵信息保存一定的時間間隔。記憶單元C中保存信息的生命周期要長于短期記憶，但又遠遠短于長期記憶，因此稱為長的短期記憶。

關于LSTM網絡中的工作原理將在下一節中進行詳細介紹。

3 LSTM人才培養模型設計

對于高校的人才培養，使用LSTM可進行如下設計[4]。

若設，

①Ct-1：是已有信息;

②ht_1：是目前的狀態;

③b：是基本設施，師資+大樓+設備;

④xt;是當今采取的辦法;

⑤w：是對目前狀態和采取辦法的重視程度（權重因子）。

則可求得下一年的信息Ct是原有信息Ct-1（長時記憶）乘上一個遺忘系數ft后再加上新增信息Ct（短時記憶）乘上一個輸入系數it之后的和即：

這就是長短時記憶的由來。

而新的輸出狀態ht是Ct經tanh（Ct）這個非線性變換后再乘以一個輸出系數Qt的結果，即：

是由ht-1和xt與wt作卷積運算后再作一個從0到1的非線性遺忘門，用以控制原有信息Ct-1的輸出比例。

是由ht-1和xt與wc作卷積運算后再作一個從-1到1的非線性變換后獲得的新增信息。

是由ht-1和xt，與wi作卷積運算后再作一個從0到1的非線性輸入門，用以控制新增信息C，的輸出比例。

是由ht-1和xt與w0作卷積運算后再作一個從0到1的非線性輸出門，用以控制tanh（Ct）的輸出比例。

注意：

設net=wrh，-1+w.x+b，是執行兩序列之卷積運算用以尋找二者之間的相似性。

則8（net）=叫0～1的非線性激活函數[5]，是為了獲得更多的高頻信息。

tanh（net）=叫-1～1的非線性激活函數，是為了獲得更多歸一化的高頻信息。

當net=wrh-1 + wx+ b=0.35h-1 + 0.45x+0.1時，再取合適的ht-1和xt使之等于2.2或0.81時，就有δ（2.2）=0.9，表示遺忘門將長時記憶Ct-1保留90%，而遺忘10%，如圖2所示，而tanh（0.81）=0.9，表示新增短時記憶C，保留90%，如圖3所示。

則由（1）～（6）式構成一個LSTM人才培養的模型如圖4所示。

4 結束語

總之，學校的人才培養注重的是德才兼備，其中德行的培養是長期積累的過程為ht-1，而培養的辦法是不斷學習的過程為x。在學校培養學生的過程中，學校提供的教學設施，例如師資、大樓、設備等為b。為提高學生素質而制定的培養方案、管理制度、激勵措施等的重視程度和執行力度為w。那么LSTM人才培養的循環網絡可以解釋為，學校為培養高素質的、全面發展的人才，應保留前面積累的成功經驗，再結合科技的發展進行教學改革、增強設施建設、加強師資隊伍建設等，通過實踐去糙留精，以此往復，達到培養德才兼備的學生之目的。

參考文獻：

[1]張晨陽，韋增欣，郜星軍.基于LSTM模型的數學機理分析實證研究[J].中國管理信息化，2019，22（15）：93-97..

[2]吳岸城.神經網絡與深度學習[M].北京：電子工業出版社，2016.

[3]張學工.模式識別[M].3版.北京：清華大學出版社，2010.[4]Martin T.神經網絡設計[M].章毅，譯.北京：機械工業出版社，2018.

[5]lan，Goodfellow，Yoshua，等.深度學習[M].北京：人民郵電出版社，2017.

[通聯編輯：謝媛媛]