面向方面級情感分析的雙通道圖卷積網絡

劉 洋,黎茂鋒,黃 俊,陳立偉

(西南科技大學 計算機科學與技術學院,四川 綿陽 621010)

0 引 言

在web2.0的時代背景下,互聯網用戶能夠通過社交媒體瀏覽并發布大量帶有情感極性的文本信息,所以,意見挖掘、情感分析[1]逐漸成為熱門研究話題。而方面級情感分析(ABSA)是一種更加細粒度的情感分析任務,它能夠對文本具體的方面實體所攜帶的情感極性進行預測,而不是簡單地預測整條文本的情感極性。以“The food is good, but the service is terrible.”為例,food和 service是文本的兩個方面項,兩者的意見項分別是good和terrible,ABSA任務的目標就是識別出兩個方面項的情感極性分別是積極和消極。

ABSA任務關鍵在于建立方面項與意見項之間的聯系,以此來引導方面項感知情感信息。近年來,以句法依賴為基礎的圖神經網絡在ABSA任務上取得了顯著成果。然而,這些方法[2-3]忽略了上下文語義信息和單詞自身所攜帶的情感信息對建立方面項與意見項聯系的作用。而自注意力機制能有效地捕獲上下文的語義相關性。受此啟發,該文利用多頭自注意力機制增強句法依賴圖,設計了一個具有上下文語義信息的句法依賴圖(SrG);整合SenticNet詞典中單詞的情感信息構建文本情感依賴圖(SeG);最后,基于SrG和SeG兩個圖構建了一種雙通道圖卷積網絡(DC-GCN),以同時利用文本的語義相關性和單詞自身的情感信息引導方面項感知情感信息,并將融合雙通道圖卷積網絡特征用于情感分類。為了驗證模型的有效性,在四個公開數據集(Twitter,Rest14,Lap14和Rest16)上與多個較優的經典模型以及最新模型進行對比,實驗結果表明,提出的模型取得了更好的效果。

1 相關工作

方面級情感分析(ABSA)概念由Thet等人[4]在2010年明確提出,至今已有十多年的應用與發展。早期,受限于硬件條件,大多數研究采用傳統機器學習結合特征工程的方法建模方面級情感分析任務。比如在最大熵、支持向量機等經典機器學習模型的基礎上結合情感詞典、依賴信息等對情感進行分類[5],這些方法需要投入較大的人力成本和時間成本。而隨著技術的逐漸成熟與發展,各種硬件設施越來越先進,依托于先進的設備,深度學習得到了良好的應用環境,大大降低了ABSA研究的人力成本與時間成本,所以深度學習漸漸代替了傳統機器學習在方面級情感分析的研究地位。

循環神經網絡(Recurrent Neural Network,RNN)對序列信息有良好記憶功能,所以其對文本這種具有序列特征的信息具有良好的建模性能。長短時記憶網絡(Long Short Term Memory,LSTM)和門控神經網絡(Gated Recurrent Units,GRU)在傳統RNN的基礎上融入門控基礎,提高了網絡對上下文數據的記憶性能,從而改善了傳統RNN存在的梯度爆炸和梯度彌散等問題。Tang等人[6]提出了兩個改進模型(TD-LSTM和TC-LSTM)用于ABSA任務,整合了方面項與上下文知識,比直接使用LSTM對文本進行建模取得了更好的效果。注意力機制能根據文本的特征計算得到上下文的語義相關性[7],所以,研究人員結合注意力機制和LSTM網絡在ABSA任務上開展了大量研究。Wang等人[8]基于方面項的詞嵌入和注意力機制構建了ATAE-LSTM模型,在ABSA任務上取得了良好的成果。Tan等人[9]針對文本中具有沖突意見的意見項,提出了一種雙重注意力網絡,以識別文本中方面項的沖突情感。另外,Devlin等人[10]提出的基于注意力機制的BERT預訓練模型也一度刷新了NLP領域的各大任務成果。Sun等人[11]提出構造輔助句的方式微調BERT模型,從句子對分類的角度考慮ABSA任務,取得了良好的效果;Xu等人[12]針對ABSA任務提出了一種基于BERT的后訓練微調方式,提升了BERT預訓練模型在微調ABSA任務上的性能。雖然以上方法使用循環神經網絡對上下文序列信息建模,并結合注意力機制在ABSA任務上取得了良好效果,但是這些方法不能學習到文本的外部結構信息。

而利用文本的句法依賴知識有助于在方面項和文本上下文單詞之間建立聯系。遵循這一思路,基于句法依賴知識的圖神經網絡(Graph Convolutional Networks,GCN)被廣泛應用于ABSA任務。Lu等人[13]設計了一種星形圖,并提出基于節點和基于文檔的分類方法,在情感分析上取得了良好效果;Zhang等人[14]提出ASGCN模型,首次使用文本句法依賴構建圖卷積神經網絡并將其用于ABSA任務;Liang等人[15]提出一種依賴關系嵌入式圖卷積網絡(DREGCN),并且設計了一個簡單有效的消息傳遞機制,以充分利用語法知識和上下文語義知識,在ABSA任務上取得了良好的效果;Pang等人[16]基于句法依賴樹和多頭注意力機制分別生成句法依賴圖和語義圖,構建了動態多通道圖卷積網絡(DM-GCN)來有效地從生成的圖中學習相關信息;Tang等人[17]利用依賴關系標簽構建了一個潛在的文本依賴圖,并設計了一個情感細化策略引導網絡捕捉方面項的情感線索;Liang等人[18]通過整合SenticNet詞典的情感信息來增強句子的句法依賴,在ABSA任務上取得了良好效果;Li等人[19]提出一種雙圖卷積神經網絡同時對語法知識和語義知識進行學習,并提出了正交正則化器和差分正則化器鼓勵句法知識和語義知識相互感知學習;Xing等人[20]提出了DigNet模型,設計了一種局部全局交互圖,將句法圖和語義圖結合在一起,實現兩個圖中有益知識的相互交換。趙振等人[21]提出基于關系交互的圖注意力網絡模型,將關系特征融入到注意力機制中,使用一個新的擴展注意力來引導信息從方面項的句法上下文傳播到方面項本身;陽影等人[22]在句法依賴樹上融合情感知識,并與文本的語義相關性進行有效交互,提出SKDGCN雙通道GCN模型,在多個公開數據集上表現優異;楊春霞等人[23]提出基于注意力與雙通道的模型TCCM,實現了通道內信息的殘差互補,有效結合了句法與語義關聯信息。以上基于圖卷積網絡的方法使用句法依賴、情感知識增強句法依賴來聚合文本的句法結構特征;使用注意力得分矩陣、句法解析標簽聚合文本的上下文特征,這些方法在ABSA任務上取得了良好的效果。

而文中方法通過將上下文語義信息與句法依賴進行結合,從而將上下文語義信息融進句法依賴中,以此來引導方面項聚合具有上下文語義性的句法信息;并且使用文本自身的情感知識來引導方面項聚合上下文的情感信息;最后使用雙通道的圖卷積神經網絡將具有上下文語義性的句法信息和上下文情感信息進行融合,用于最終的情感分類。

2 模 型

該文提出一種融合具有上下文語義信息的句法依賴知識和文本情感知識的雙通道圖卷積網絡模型(DC-GCN),如圖1所示。該模型主要由以下三個模塊構成：(1)詞嵌入與BiLSTM模塊;(2)具有上下文語義信息的句法依賴圖(SrG),整合SenticNet詞典情感信息構建的一個文本情感依賴圖(SeG)構造模塊;(3)雙通道圖卷積網絡(DC-GCN)特征融合與情感分類模塊。

圖1 DC-GCN模型

2.1 詞嵌入與BiLSTM

使用Glove將文本S={w1,w2,…,wn}的每個單詞都映射成一個三百維的詞向量,然后使用BiLSTM中對其進行訓練,生成了包含豐富上下文信息的文本詞向量矩陣E={e1,e2,…,en}。

2.2 圖構造模塊

2.2.1 具有上下文語義信息的句法依賴圖(SrG)構造

首先,使用Spacy依賴解析器提取文本的句法依賴樹,以文本“The food is very good.”為例,將有向句法依賴轉換成無向句法依賴,并考慮單詞的自循環,示例如圖2所示。

圖2 有向句法依賴(左)與無向句法依賴(右)

(1)

其中,i,j分別表示某一天評論數據中的第i,j個單詞。

(2)

(3)

其中,hi和hj分別表示數據本經過BiLSTM層的第i和第j個單詞的詞向量,wq和wk是兩個可訓練的參數矩陣,d表示詞向量的維度。

(4)

2.2.2 整合SenticNet詞典情感信息構建的一個文本情感依賴圖(SeG)構造

該文基于SenticNet詞典構建了潛在的文本情感依賴圖(SeG),其中SenticNet詞典是由單詞及其單詞的情感得分組成,示例如表1所示。

表1 SentiNet詞典示例

(5)

另外,為了使網絡對方面項的關注度增加,增大了方面項的情感得分：

(6)

(7)

2.3 雙通道圖卷積模塊

2.3.1 特征提取

該文基于SrG和SeG兩個文本依賴圖構建了雙通道的圖卷積神經網絡,以同時利用文本上下文單詞的語義相關性和單詞自身的情感信息來提取增強后的句法特征和情感知識特征。

(8)

(9)

(10)

(11)

2.3.2 特征融合

首先使用拼接的方式,將雙通道圖卷積網絡輸出的文本特征進行融合：

(12)

再使用平均池化提取特征的重要信息并對特征進行降維：

(13)

2.4 非方面項特征過濾

(14)

(15)

2.5 獲取文本最終特征表示

2.5.1 方面項局部特征提取

使用卷積神經網絡提取方面項的具局部特征,并過濾掉文本中非方面項特征,實現的方法如下：

(16)

(17)

(18)

2.5.2 方面項權重計算

首先運用雙通道圖卷積網絡輸出的方面項特征和卷積神經網絡輸出的方面項特征進行計算,并在特征維度上做加法,得到最終方面項及非方面項的權重：

(19)

(20)

2.5.3 最終特征表示

最后將特征權重反饋到BiLSTM中,使得富含多種依賴信息的方面項特征感知到上下文的情感信息,以獲取最終的文本特征表示：

(21)

其中,ei是BiLSTM輸出的文本第i個單詞的向量表示。

2.6 情感分類

在獲取到文本的最終特征表示后,將其饋送進一個全連接層并使用softmax進行歸一化,得到情感極性的概率分布p∈R(dp×2dh)：

p=softmax(Wpr+bp)

(22)

其中,dp是情感類別的維度,dh是向量的維度,Wp和bp分別是一個可訓練的參數矩陣和偏置。

文中模型選擇具有交叉熵損失和L2正則化的標準梯度下降算法進行訓練：

(23)

其中,D表示數據集,t表示標簽,pt表示標簽t的概率,θ表示所有可以訓練的參數,λ表示L2正則化的系數。

3 實 驗

3.1 數據集與實驗環境

3.1.1 實驗數據集

在四個公開的數據集上進行了實驗,Twitter數據集是從Twitter上收集整理的一些評論數據;Rest14數據集和Lap14數據集來自于SemEval-2014方面級情感分析大賽;Rest16數據集是SenEval-2016方面級情感分析大賽提供的公開數據集。每個數據集都提供了方面項及其相應的情感極性,數據集詳細統計如表2所示。

表2 數據集

3.1.2 實驗環境

實驗環境如表3所示。

表3 實驗環境

3.1.3 實驗評價指標

為了便于與對比模型作比較,以體現文中模型的有效性,選擇ABSA任務模型性能的通用評價指標─準確率Acc和Macro-F1,兩者的計算過程如下所示：

(24)

(25)

(26)

(27)

(28)

其中,TP表示成功預測的正樣本數,FP表示錯誤預測的負樣本數,FN是錯誤預測的正樣本數,TN表示成功預測的負樣本數,P為精確率,R是召回率,F1為精確率與召回率的調和平均,C是情感類別數,F1υ為第υ個類別的F1值。

3.2 基線模型及結果分析

ATAE-LSTM[8]：利用方面嵌入和注意力機制進行方面級情感分類。

IAN[24]：在BiLSTM的基礎上利用交互注意力機制,實現方面項與上下文信息的交互。

RAM[25]：使用多層注意力和記憶網絡學習句子表達,用于方面級情感分析。

MGAN[26]：結合粗粒度和細粒度的注意力機制,設計了一個方面對齊損失實現不同方面項與上下文之間的詞級交互。

TNet[27]：將BiLSTM詞嵌入轉換為特定方面項嵌入,并用CNN提取用于分類的特征。

ASGCN[14]：首次提出基于句法依賴樹的圖卷積神經網絡用于方面項情感分析。

CDT[28]：利用基于句法依賴樹的GCN來學習文本特征。

BiGCN[29]：提出基于詞共現信息和句法依賴樹的層次圖卷積網絡。

kumaGCN[30]：使用潛在的圖結構信息來補充句法特征。

CPA-SA[31]：設計了兩個不對稱的上下文權重函數來調整方面項特征的權重。

IAGCN[32]：使用BiLSTM和修正動態權重對上下文進行建模,GCN對句法信息編碼,再利用交互注意力機制學習上下文和方面項的注意力,將上下文信息和方面項進行重構。

該文選取的對比模型涵蓋了方面級情感分析從2016年到2022年期間在方面級情感分析上取得良好效果的經典模型以及最新的模型。對比實驗結果如表4所示。

表4 對比實驗結果 %

分析表4結果發現,與基線模型中取得最好效果的模型作對比,總體上文中模型取得了更優的效果,在四個公開數據集(Twitter,Rest14,Lap14和Rest16)上Macro-F1分別比對比模型中最好的結果高出0.95百分點、1.24百分點、0.62百分點、2.75百分點;在Twitter,Rest14,Rest16上Accuracy分別比對比模型中最好的結果高出0.68百分點、0.31百分點、1.03百分點,但是在Lap14上Accuracy比CDT模型低0.07。對比了Lap14和Twitter,Rest14,Rest16的差別,發現Lap14中的數據對方面項隱式表達情感的樣本相較于其他三個數據集占比更高,這會導致模型更難根據文本依賴圖引導方面項感知上下文情感信息,從而影響模型的性能。

另外,在訓練過程中,文中模型在BiLSTM和GCN網絡中均使用正則化來防止模型出現過擬合現象。為探究不同的正則化系數對實驗結果的影響,以Lap14為例,設置了5組正則化系數(在BiLSTM和GCN的正則化系數分別為0.7與0.4,0.7與0.5,0.7與0.6,0.6與0.5,0.8與0.5)展開對比實驗,結果如圖3所示。

圖3 不同正則化系數下的模型效果

圖3中橫坐標B_0.7/G_0.4表示BiLSTM和GCN中的正則化參數分別設置為0.7和0.4,其余四個橫坐標的含義以此類推;縱坐標表示準確率和F1值;經圖3可知,正則化參數對模型最終的性能有影響,在BiLSTM和GCN網絡中的正則化參數選擇取得最好效果的0.7和0.5。

3.3 消融實驗

為驗證具有上下文語義信息的句法依賴圖、基于情感知識構建的文本情感依賴圖對提升模型性能的有效性,以及使用CNN提取方面項局部特征對更新方面項權重的有效性,在保持參數一致的情況下開展消融實驗,結果如表5所示。

表5 消融實驗結果 %

DC-GCN：表示該文提出的完整的模型,使用了具有上下文語義信息的句法依賴圖(SrG)、情感知識構建的文本情感依賴圖,并使用CNN提取的方面項局部特征用于更新方面項權重。

DC-GCN w/o SrG：表示在完整的模型中移除了具有上下文語義信息的句法依賴圖(SrG)。

DC-GCN w/o SeG：表示在完整的模型中移除了基于情感知識構建的潛在的文本依賴圖(SeG)。

DC-GCN (SrG w/o Att)：表示不使用自注意力機制對文本的句法依賴進行增強。

DC-GCN w/o CNN：表示在計算方面項權重的過程中不使用CNN提取方面項的局部特征參與方面項權重更新過程。

根據表5中消融實驗的結果證明：在移除具有上下文語義信息的SrG、移除基于情感知識構建的SeG、移除SrG中的上下文信息、不使用CNN提取方面項的局部特征參與方面項權重更新過程,均會導致模型性能的下降。由此證明了所提方法在方面級情感分析上的有效性。

4 結束語

設計了具有上下文相關性的SrG和SeG,并基于兩個圖構建了一個雙通道的圖卷積神經網絡(DC-GCN),實現了對文本特征的優化以及多種文本特征的有效融合,提升了模型在ABSA任務上的性能。通過大量實驗證明該方法相比于基線模型有更好的效果。

雖然提出的模型在ABSA任務上取得了不錯的效果,但模型仍有進一步改進的空間。一方面,可以設計更有效的特征融合方法以提升模型的性能;另一方面,需要將模型擴展到更多的數據集上進行訓練,以增強模型的魯棒性。