融合語法規則與自注意力機制的GCN情感分析方法

尹明鶴?李磊

摘要：文本情感分析作為自然語言處理領域的一個重要分支，被廣泛運用于輿情分析和內容推薦等領域，近年來成為研究的熱點。提出基于語法規則和自注意力機制的GCN情感分析方法。首先，使用GloVe預訓練模型與BiLSTM模型提取文本的語義特征，并采用spaCy工具對文本進行句法依存分析，從而提取文本的語法規則。其次，引入自注意力機制，并依據語義特征與語法規則構建GCN模型。最后，采用全連接層和Softmax分類器進行情感分類。實驗結果表明，該方法與相關基線模型相比，在Twitter數據集上的準確率和宏F1值分別得到了提升，具有較好的情感分類性能。

關鍵詞：情感分析；語法規則；自注意力機制；圖卷積網絡

一、前言

當前，社交媒體迅猛發展，人們更愿意通過網絡平臺分享對事物的看法。因此，在處理網絡評論信息時，分析人們在文本中表達的情感、觀點和態度變得至關重要。情感分析可以用于分析熱門事件的輿情走向、在線商城調整經營策略以及維護社區網絡環境等方面。

針對文本的情感分析是自然語言處理領域的一個重要研究方向，其將文本進行轉換并自動分類到指定的情感極性（消極、中性或積極）。文本情感分類方法主要有基于情感詞典的方法、基于機器學習的方法以及基于深度學習的方法。

基于情感詞典的方法可以在較短的時間內獲得分類結果，但對情感詞進行標注時需要耗費大量的人力，并且必然會帶來人工誤差?；跈C器學習的方法依賴于構建豐富的特征表示，成本較高[1]。隨著深度學習的興起，長短期記憶網絡（Long Short Term Memory，LSTM）在短文本情感分析任務中得到廣泛應用，但標準的LSTM模型并不能關注到在情感分類中起重要作用的部分。隨著研究深入，學者們發現基于深度學習的方法雖然有效地彌補了前兩種方法的不足，但忽略了語法規則對情感分類的影響，導致模型不能充分學習到文本特征。為了解決這一問題，研究者們引入注意力機制，通過引入注意力機制的模型進行情感分析。雖然基于注意力的模型取得了一定的效果，但不足以獲取詞語之間的語法關系。

由于圖卷積網絡（Graph Convolutional Networks，GCN）在處理非結構化數據時存在一定的優勢，學者們將其應用于短文本情感分析任務中。王汝言在前人的基礎上進行改進，將GCN網絡的掩碼輸出分別與句子的隱藏特征表示和GCN層的輸出進行交互，獲得語義交互信息和語法交互信息。巫浩盛構建了一個帶有語法距離權重的GCN網絡模型，從而提取句子的上下文信息和詞語的語法權重。Xu提出注意增強圖卷積網絡，該模型使用多頭注意機制并行捕獲上下文語義信息，使用GCN網絡捕獲語法信息，并利用多頭交互注意機制實現語法信息和語義信息的交互。

針對現有研究中語法規則信息與語義信息交互不完全的問題，本文結合語法規則和神經網絡模型，構建了融合語法規則與自注意力機制的GCN情感分析方法。本文的貢獻如下：第一，提出一個融合語法規則與神經網絡模型的情感分類方法，有效地將語法規則結合到情感分析方法中。第二，分別采用BiLSTM模型和spaCy工具提取文本的語義特征和語法規則，并通過GCN模塊將語義特征與語法規則融合。第三，通過自注意力機制更好地捕捉句子內部的依賴關系，對重要特征賦予更大的權重，篩選出分類任務中最重要的特征，從而提高情緒分類準確率。

二、情感分析方法

本文提出融合語法規則與自注意力機制的GCN情感分析方法，總體架構如圖1所示。模型主要由詞嵌入表示、語義特征提取、語法規則提取、融合自注意力機制的GCN模塊、情感識別五部分組成。首先，采用GloVe預訓練模型生成文本的向量表示。通過BiLSTM模型對文本的語義特征進行提取。其次，使用spaCy工具對文本進行句法依存分析，從而得到詞語之間的依存關系。依據詞語之間的依存關系與BiLSTM模型生成的語義特征建立融合自注意力機制的GCN模塊。最后，通過全連接層與softmax分類器實現情感分類。

（一）詞嵌入表示

GloVe預訓練模型利用全局詞頻統計的方法來學習詞向量，這種方法能夠捕捉到更全面的語言信息。相比之下，Word2Vec預訓練模型基于局部的上下文窗口來學習詞向量，可能會忽略一些詞的全局信息[2]。因此，本文采用GloVe預訓練模型進行詞嵌入，從而獲得每個詞向量表示。預訓練后的詞嵌入表示為Ew∈R|V|×d，其中|V|是詞匯量，d是詞嵌入的維度。Ew表示將包含n個詞的評論序列W映射到詞向量空間[e1，e2，…，en-1，en ]∈Rn×d。

（二）語義特征提取

為了捕獲上下文語義特征，將得到的詞向量送入BiLSTM模型中。雙向長短期記憶神經網絡（Bi-directional Long Short-Term Memory，BiLSTM）由2個LSTM模型構成，一個按正序處理輸入序列，另一個按逆序處理輸入序列。通過這種結構，Bi-LSTM模型可以同時捕捉過去和未來的上下文信息。

Bi-LSTM的公式如下所示：

其中，xi代表的是i時刻的輸入向量，ci代表的是i時刻的細胞狀態，h→i和h←i 分別代表前向和后向的隱藏層狀態，hi∈R2dhid 代表BiLSTM的輸出，dhid表示單向LSTM輸出的隱藏狀態向量的維度。

（三）語法規則提取

句法指句子中的各個組成部分的相互關系，句法分析包括兩部分，分別是句法結構的分析與依存關系的分析[3]。目前的研究主要采用依存關系分析來探索詞匯之間的依存關系。本文使用spaCy工具生成句法依存樹，該圖是一個帶有標簽的有向圖。圖中箭頭從中心詞指向從屬詞，標簽表示從屬詞的語法功能。圖2展示了一個句子的句法依存樹。

通過句法依存樹可以看出句子中兩個單詞之間的依存關系。本文通過三元組（rij，mi，mj）表示句子中兩個單詞之間的依存關系。其中rij表示單詞mi和mj之間的依存關系的類型，mi是核心詞，mj是依賴詞。根據句子中所有三元組計算鄰接矩陣A∈Rn×n，其中n是圖的節點數。具體公式如下：

（四）融合自注意力機制的GCN模塊

模型由兩個GCN單元構成，第一個GCN單元通過句法依存分析得到的句法圖鄰接矩陣建立圖卷積網絡[4]。將句法依存分析得到的依存關系作為GCN的邊，Bi-LSTM模型的輸出作為GCN中的節點。GCN根據每個節點與鄰居節點之間的關系進行建模，通過多層卷積操作，每個節點最終的隱藏狀態可以接收到來自更遠節點的信息，第k層卷積操作的計算方法如下所示：

其中，ai，j是句法圖的鄰接矩陣A∈Rn×n中的元素，1≤i≤n，n 是文本長度，b為第k個卷積層的參數；Wdir（k）∈Rdh×dh ）表示處理不同矩陣時選取的權重矩陣，dn是編碼層輸出向量的維度；

其中，y為真實標簽；y?為預測結果；?為L2正則化系數；θ為正則化中的參數。

三、實驗

（一）實驗數據集

為驗證本文所提出方法的有效性，采用Twitter數據集進行實驗。數據集中分為三種情感極性（消極、中性和積極），數據集總樣本數為6940條文本評論。本文實驗按照8：2的比例劃分訓練集和測試集。數據集中每種情感類別的數量分布如表1所示。

（二）實驗設置與評價指標

實驗中，采用300維預訓練的GloVe預訓練模型進行詞嵌入操作，隱藏狀態向量設為300，學習率設為0.001，L2正則化系數設為10-5。利用Dropout技術防止過擬合，其參數設置為0.2。采用交叉熵損失函數進行參數更新，學習率設置為3×10-5。本文采用準確率（Accuracy，Acc）和F1值（Macro-F1，MF1）作為評價指標來評估方法的性能。具體計算公式如下：

其中，TP和TN分別表示正確預測的正樣本數和負樣本數，FP和FN分別表示錯誤預測的負樣本數與正樣本數，P為精確率，R為召回率。

（三）對比模型

為了全面評估本文提出方法的性能，選擇以下模型作為對比模型。各對比模型簡介如下：

IAN：使用兩個LSTM模型分別對方面詞和上下文建模，利用交互注意力機制實現目標詞與上下文的信息交互，并運用在方面詞的情感分類任務中。

ASGCN：采用句法依存分析得出詞語之間的依存關系，并依據依存關系構建GCN模型，從而進行情感分類。

Bi-GCN：提出一個雙層交互圖卷積網絡，在句法圖和詞匯圖上建立一個概念層次結構，通過兩個層級的GCN模型區分各種類型的依賴關系或單詞共現關系，并運用于情感分類任務。

DGCN：將殘差鏈接與Bi-LSTM網絡相結合，從而提取句子的上下文信息。同時，采用句法依存分析來獲得詞語之間的依存關系，并依據二者建立圖卷積網絡來提取特征，最終進行情感分類。

（四）實驗結果與分析

比較對比模型與本文所提出的方法在Twitter數據集上的情感分類表現，其結果如表2所示。本文提出的方法相較于IAN模型，Acc指標提高了2.95%，F1指標提高了3.31%。表明IAN雖然通過交互注意力機制實現目標詞與上下文的信息交互，從而獲取語義信息。但是，其沒有考慮語法規則信息和圖結構對分類結果的影響，也缺少了對全局信息的考慮，因此效果低于帶有圖結構的模型。

本文提出的方法與Bi-GCN和ASGCN模型相比，Acc指標提高了3.3%和1.29%，F1指標提高了3.72%和0.77%。表明在關注句法依賴關系的前提下，考慮上下文之間信息的可行性。由于二者沒有充分利用文本的語義信息，因此Acc指標和F1指標低于本文所提出的方法。

本文提出的方法與DGCN模型相比，Acc指標提高了2.58%，F1指標提高了2.91%。由此看出，雖然DGCN考慮到了語義的局部信息和全局信息，也考慮了語法規則對情感分類的影響，但是，其沒有考慮注意力機制對情感分類的影響。本文所提出的模型與其相比，表明融合自注意力機制的GCN模塊的有效性。

實驗結果表明，本文模型的整體性能與三者相比，Acc和F1值都得到了提高，證明了融合語法規則與自注意力機制的GCN方法能夠有效提升情感分析能力，該方法在短文本情感分析任務中具有一定的優越性。

四、結語

網絡的迅猛發展，使微博和博客等社交媒體中包含的情感信息愈加豐富。情感分析旨在挖掘其中的情感信息，因此成為一個極具挑戰性并意義非凡的任務。為了有效提升文本情感識別的結果，本文提出了一種融合語法規則與自注意力機制的GCN情感分析方法。

本文在語法規則與神經網絡的結合方面進行了探索。首先，采用Bi-LSTM模型提取文本的語義特征，采用句法依存分析提取文本的語法規則。其次，通過語義特征與語法規則建立GCN模型，從而將語法規則與語義信息相結合。然后引入自注意力機制，采用自注意力機制對Bi-LSTM模型的輸出進行處理，從而得到自注意力鄰接矩陣。通過自注意力鄰接矩陣再次構建GCN模型，從而得到最終的特征向量。最后，經過全連接層和Softmax函數進行情感分類。為驗證所提出方法的有效性，采用Twitter數據集進行實驗。結果表明，本文提出的方法在準確率和F1值指標上均有所提升。未來工作將探索利用句法依存樹生成帶標簽的有向圖，并結合GCN的節點和邊獲取更豐富的信息。

參考文獻

[1]Jiang L， Yu M， Zhou M， et al. Target-dependent twitter sentiment classification[C]//Proceedings of the 49th annual meeting of the association for computational linguistics： human language technologies. 2011： 151-160.

[2]田喬鑫， 孔韋韋， 滕金保， 等. 基于并行混合網絡與注意力機制的文本情感分析模型[J]. 計算機工程，2022，48（08）：266-273.

[3]王婭麗， 張凡， 余增， 等. 基于交互注意力和圖卷積網絡的方面級情感分析[J]. 計算機科學，2023，50（04）：196-203.

[4] Zheng Y， Zhang R， Mensah S， et al.Replicate， walk， and stop on syntax： an effective neural network model for aspect-level sentiment classification[C]//Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（05）： 9685-9692.

責任編輯：張津平、尚丹