大數據分析的無限深度神經網絡方法研究

摘要：本文將從當前無限深度神經網絡的概況出發，闡述大數據分析的價值和作用，對無限深度神經網絡的學習算法進行分析與探究，希望為相關人員提供一些幫助和建議，更好地運用大數據分析，從而提高神經網絡學習算法的有效性。

關鍵詞：神經網絡;深度神經;大數據

近些年，互聯網技術、信息技術深入發展，人們進入到深度網絡時代。大數據是深度網絡時代的一大產物，由于其適用于經濟、科學等多個領域，因此大數據的價值和作用逐漸凸顯出來。將其應用于無限深度神經網絡后，神經網絡學習算法得到了進一步開發。從這個角度來看，應積極研究無限深度神經網絡的學習算法。

一、當前無限深度神經網絡的概況

現階段，深度神經網絡的概念活躍于工業領域與學術領域，主要指的是一種前饋深度網絡。從特點上看，前饋網絡的同層神經元不具備時間參數與反饋連接，這使得深度神經網絡適合對靜態數據進行處理。無限深度神經網絡則是指回復型、互連型的神經網絡，不同神經元具有反饋連接。從時間維度將其反饋結構合理展開，伴隨時間的演進，神經網絡能夠做到無限延伸。這樣一來，回復型、互連型的神經網絡便可稱作無限深度網絡。

二、無限深度神經網絡的學習算法

（一）基本學習算法

從計算能力來看，神經網絡主要體現于連接權值。由此可以得出，基本學習算法便是對網絡權值展開調節的基本方法。對權值進行調節的目的在于讓網絡進行特定知識的學習或將特定計算任務實現，并且網絡計算任務一般會會被量化成特定性能函數所作的優化[1]。

（二）BPTT學習算法

BP學習算法屬于一種對前饋網絡展開訓練的重要算法，人們使用BPTT學習算法時得到了較大的飛躍。按照BP學習算法基本理念，美國學者曾在上個世紀九十年代提出對無限深度網絡進行訓練的傳遞算法，借助反向傳遞，形成了BPTT學習算法。整體來看，BPTT學習算法對以往的BP學習算法進行了一定擴展，先根據無限深度神經網絡向前饋網絡進行轉換，隨后讓前饋網絡各層的權值保持一致，并和回復型、互連型的神經網格擁有相同的權值。按照連續訓練、階段性訓練等訓練方式，可形成相應的擴展算法。一種是EpochBPTT擴展算法。EBPTT擴展算法可通過階段性訓練方法對網絡權值展開一系列調整。借助該擴展算法展開網絡訓練的過程中，應把數據集劃分為不同的獨立段，各段分別在無限深度神經網絡里代表相應的時序。另一種是RealBPTT擴展算法。RealBPTT擴展算法能夠通過連續法或實時法對網絡權值展開相應調整。若t1是運行網絡的起始時間，t2是運行網絡的當前時間，按照BPTT基本算法，RBPTT擴展算法和EBPTT算法有所差異，BPTT不具備階段概念，只有處于t1這一起始時間時，網絡狀態才會得到初始化，同時，網絡權值無需在指定的t2時間更新，而是在任意時間t都可以得到更新，處于t時間的性能函數便是網絡性能函數。

（三）RTRL學習算法

從擴展方式來看，BPTT學習算法以傳播的反向算法為基礎，由后到前對誤差進行傳播。不同于BPTT學習算法，RTRL學習算法能夠將活動性的網絡信息進行前向傳播。早在上個世紀八十年代，RTRL學習算法便被正式提出，人們還將該學習算法進行了多次變形。

（四）LSTM學習算法

在無限深度神經網絡中一直存在網絡梯度的問題，詳細來講，傳播誤差時會產生梯度消失、梯度爆炸等問題。要想將以上問題有效解決，瑞士的著名學者在上個世紀末提出LSTM網絡，即長短時記憶，隨后人們又對LSTM學習算法展開了多種變形。若網絡激活函數屬于非線性函數，則伴隨時間的變化神經網絡容易產生梯度爆炸、梯度消失等問題，解決該問題時可借助線性函數來實現，這是一個行之有效的方法。進行網絡訓練的過程中，應融合RERL學習算法與BPTT學習算法，訓練輸出層與權值時運用BPTT學習算法，權值輸入則由RTRL學習算法加以更新[2]。除此之外，為了降低神經網絡的學習難度，應采用截斷法，從而讓網絡隱層輸出降低敏感性。

（五）學習方法的應用

伴隨大數據的普及和推廣，以GPU為代表的計算設備得到了空前發展，相關學者也提出了深層網絡的訓練思路。由于大數據得到了豐富，因此深度學習算法在應用過程中取得了質的飛躍。借助無限深度學習算法，人們能夠對不同類型的數據展開充分利用，如弱標注數據、普通數據、標注數據等，通過海量大數據自動化學習知識的抽象表達方法，換句話說，就是將原始數據向特定知識數據進行轉化。應用無限深度學習算法后，算法精準度得到了極大的提升，僅用了不到十年，無限深度學習算法便將文本理解、圖像理解以及語義理解等不同領域算法思想完全顛覆，經過一段時間的演變，產生了基于數據訓練的端到端模型，隨后通過直接輸出獲取計算結果，這是一種嶄新的學習算法模式。

無限深度神經網絡最大的特點在于能夠對時序特征、時序數據進行提取，即便增加了優化難度，相關學者也予以高度重視，積極開發解決方案，如LSTM學習算法、BPTT學習算法等。與此同時，無限深度神經網絡與常規深度神經網絡相比，其在處理時序數據時具備的優勢更大，計算能力也更強。除此之外，無限深度神經網絡在文本理解方面可以根據順序來進行句子中的單詞處理，對于后續內容的處理，無限深度神經網絡還能夠對前文信息作出抽象性的整合，記憶功能極強。

結語：

總而言之，研究無限深度神經網絡的學習算法具有重要的意義。相關人員應對當前無限深度神經網絡的概況有一個全面了解，充分把握大數據分析的價值和作用，能夠將大數據分析應用到神經網絡的基本學習算法、BPTT學習算法、RTRL學習算法、LSTM學習算法中，從而促進我國大數據分析的平穩、快速發展。

參考文獻：

[1]鄧亞平，段建東，賈顥，等.基于布谷鳥算法優化獨立循環神經網絡深度學習的超短期風電功率預測[J].電網與清潔能源，2021，37（09）：18-26.

[2]于薏，周奕文，陳弟，等.基于深層卷積神經網絡的眼科B型超聲圖像玻璃體視網膜疾病輔助診斷系統應用評估[J].中華實驗眼科雜志，2021，39（09）：792-797.

作者簡介：

劉喆（2000.07.12——），女，漢族，籍貫：山東省平度市，學歷：本科在讀，研究方向：大數據。