融合目標詞上下文序列與結構信息的框架識別方法

閆智超,李 茹,2,蘇雪峰,4,李欣杰,柴清華,韓孝奇,趙云肖

(1.山西大學 計算機與信息技術學院,山西 太原 030006;2.山西大學 計算智能與中文信息處理教育部重點實驗室,山西 太原 030006;3.山西大學 外國語學院,山西 太原 030006;4.山西工程科技職業大學 現代物流學院,山西 晉中 030609;5.中譯語通科技股份有限公司,北京 100043)

0 引言

框架語義網[1](FrameNet,FN)是以美國著名語言學家Fillmore提出的格語法理論[2]及框架語義學[3]為基礎構建的一個框架語義知識庫,其中每個框架均代表特定語義場景,每個場景對應相關語義角色(框架元素)。表1展示了框架Creating(創造)和Manufacturing(制造)的定義和核心框架元素。除英文FrameNet外,日本、德國、巴西等國科研工作者相繼創建了面向本國語言的FrameNet。山西大學于2006年開始創建漢語框架語義知識庫(Chinese FrameNet,CFN)[4]?；诳蚣苷Z義的框架語義角色標注(Frame Semantic Role Labeling,FSRL)能細粒度地表示特定詞(目標詞(1)在給定的上下文中能夠激活框架的詞或者短語統稱為目標詞。)在句子中所能激活的語義場景(框架(2)框架語義學把詞義、句子意義和文本意義統一用框架進行描述,框架是和一些激活性語境相一致的一個結構化的范疇系統。)以及該場景對應的語義角色。因此,FSRL被廣泛地應用于機器閱讀理解[5]、文章摘要抽取[6]和關系抽取[7]等多種自然語言處理任務。如圖1(a)所示,目標詞“produce”激活了“Creating”框架,“genes that”和“toxins against insect pets”分別是框架“Creating”的語義角色“Cause”和“Entity”。

圖1 目標詞produce所激活的框架及框架語義角色、依存句法信息和PropBank角色信息

表1 Creating和Manufacturing框架及核心框架元素

框架識別(Frame Identification,FI)是進行FSRL的前提,其目標是為句子中給定的目標詞尋找一個可以激活的框架,其形式化表示如式(1)所示。

(1)

其中,wt是目標詞,fi是框架庫中的第i個框架,C是目標詞的上下文集合,F是框架集合。不同于PropBank式的語義角色,FSRL中的語義角色是框架特定的,每一個框架都有其相應的語義角色,所以在進行FSRL之前首先要識別目標詞所激活的框架。通過FI可以將FSRL任務中原本需要在上千個標簽中進行分類的場景轉換到一個更小的語義角色集合中,壓縮搜索空間,提升標簽識別的精度。

FI是一個具有挑戰性的工作,在基于特征工程的方法中,在手動選擇文本特征后通過機器學習模型獲取目標詞的上下文表示,特征選擇好壞是制約該方法的主要因素。隨著技術的發展,深度模型根據目標詞的上下文自動學習目標詞的上下文特征,這樣雖能克服人工特征選擇所存在的些許問題但仍具有以下兩個方面的不足: a)采用序列建模的方式對目標詞及其上下文進行建模,忽略了目標詞及其上下文之間的結構信息,如目標詞與其周圍詞之間的依存結構,動詞目標詞與其語義角色成分之間的結構關系; b)采用統一的模型對目標詞進行表示(在框架語義中,目標詞的詞性可以是動詞、名詞、形容詞等),忽略了不同詞性目標詞在句法和語義結構上的差異。

針對問題a),本文提出了同時融合目標詞上下文序列信息和結構信息(如句子級的PropBank語義角色標注和依存分析信息)的深度神經網絡模型,克服現有方法在結構信息建模方面的不足。例如,圖1(b)描述了動詞“produce”的PropBank語義角色信息;例句c中描述了動詞“produce”的依存句法信息。利用這些結構信息有助于模型判別句子中目標詞“produce”所激發的框架。針對問題b),考慮目標詞的詞性,將不同詞性的依存特征分別建模,在此基礎上構建集成學習模型。本文的貢獻主要包括:

(1) 提出一種融合依存句法和語義角色結構信息的框架識別方法,該方法可同時捕捉序列與結構的目標詞上下文信息。

(2) 鑒于不同詞性的目標詞具有不同的語義結構特征,本文細粒度地分析了不同詞性目標詞的結構信息對框架識別的影響。在此基礎上,構建了一種集成的框架識別學習模型。

(3) 本文設計了詳細的對比實驗,在中文數據集CFN和英文數據集FN1.7上取得了目前最好的框架識別性能。實驗證明本文提出的融合目標詞上下文序列與結構信息的框架識別方法的有效性,以及基于細粒度結構信息的集成學習方法的有效性。

1 相關工作

2007年SemEval中Baker等[8]提出了針對FI的評測任務。早期研究人員主要采用傳統機器學習算法進行框架識別。Johansson 和Nugues[9]通過特征工程提取文本特征后使用SVM來進行FI任務。Das等[10]引入條件模型在所有目標詞、框架和原型之間共享權重,將手動設計的特征輸入到模型,將框架名稱作為監督信息來識別目標詞的框架。

近些年來,分布式特征的表示以及基于神經網絡的模型被廣泛的應用于FI?；诖?框架識別的方法有兩種。第一種是基于特征工程的方法,通過依存特征學習目標詞的分布式表示。如Hermann等[11]提出了一種將可能的框架標簽和目標詞所在上下文的句法關系映射到相同特征空間的WSABIE算法。Hartmann等[12]提出了SimpleFrameId,將句子中所有詞向量的平均作為上下文的表示,同樣使用WSABIE算法進行相同的操作。趙紅燕等[13]在CFN數據集上將依存關系對上下文進行特征抽取后使用DNN學習更抽象的目標詞表示。第二種是使用深度神經網絡自動學習目標詞的上下文表示,和早期的工作類似,都是將離散的框架標簽作為監督信息。Swayamdipta等[14]使用Bi-directional LSTM[15]構建分類器。Botschen等[16]使用圖片和文本融合的多模態算法模型來提升框架識別的性能。Peng等[17]采用了FI和FSRL聯合學習的模型,提出從多個數據集中學習語義解析的公式。Jiang等[18]將句子、詞元定義、框架定義拼接,豐富了目標詞的上下文信息。郭哲銘[19]利用BERT[20]作為表示層,提出基于Bi-GRU[21]的融合全局和局部注意力機制方法在CFN數據集上取得了不錯的效果。Su等[22]使用了框架關系、框架元素聯合建模,在FN數據集上取得了最好的效果。

圖卷積神經網絡[23](Graph Convolutional Network,GCN)首次將卷積的操作引入圖中。Li等[24]在方面情感分析任務中,使用雙重GCN融合需要判定情感詞匯的依存信息,在多個數據集上取得不錯的性能。Veyseh等[25]使用了基于門控機制的GCN融合了依存信息,在多個數據集上達到了最好的性能。Zhang等[26]采用了多任務的模型架構,使用GCN在細粒度觀點分析任務中取得了不錯的效果。Tian等[27]使用了注意力GCN在關系抽取任務上達到了最好的性能。以上工作說明,通過GCN學習依存特征不但可以增強目標詞的表示能力,而且可以學習到一定的結構信息。

早期的框架識別方法通過手動設計與目標詞關聯的依存結構信息作為特征,學習目標詞的表示。而在以深度模型為主的方法中,使用監督信號自動學習目標詞的特征表示,融合了一定的語義和依存特征。以上框架識別方法雖然取得了不錯的效果,但是還存在兩方面的問題: (1)基于深度模型的方法在一定程度上過度融合上下文信息,為目標詞的表示引入噪聲,且對結構信息的學習較差。(2)沒有考慮到不同詞性的依存特征對框架識別的影響?；诖?本文針對上述問題,采用深度模型學習目標詞上下文表示,使用GCN學習角色或依存結構特征。此外,進一步考慮目標詞的詞性,研究不同詞性的依存特征對框架識別的影響。

2 融合序列與結構信息的框架識別模型

為了增強目標詞的表示,本文結合多詞性的結構信息,提出了一種融合序列與結構信息的框架識別模型。模型結構如圖2所示,該模型包含: 1)結構信息提取層: 提取目標詞所在序列的PropBank角色或依存結構信息; 2)編碼層: 利用BERT對上下文序列進行編碼; 3)語義結構關系表示層: 根據結構信息提取對應的語義表示并使用GCN將目標詞和該表示進行建模; 4)標簽預測層: 將GCN學習到的結構信息和目標詞的表示拼接后通過分類器進行分類。另外,我們細粒度的考慮了不同詞性的結構信息特征,采用了多模型的標簽融合得到最后的預測結果。

2.1 結構信息提取層

目標詞所在上下文的結構信息可以指導語義結構關系表示層對該信息進行融合表示。因此,本文采用AllenNLP[28]對目標詞所在上下文進行結構信息提取以增強目標詞的表示。其中結構信息分為PropBank角色信息和依存句法信息。所用依存分析和角色標注模型為當前公開的最好模型,在公開的英文數據集上分別獲得了95%和86%的性能表現。

2.1.1 結構信息分析

本文中結構信息主要包括依存結構和語義角色信息兩類,與目標詞相關的這兩類信息對于判別目標詞所能激活的框架具有重要的作用。如對句子“Iran received assistance to help it produce nuclear weapons”分別進行PropBank角色標注和依存分析和框架語義角色標注后的結果如圖1(b)和圖1(c)所示,其中b的上方為框架語義角色信息,下方為PropBank語義角色信息,c的上方為依存句法信息。依存信息中“DEP”代表“依賴關系”,“DOBJ”代表“直接賓語”?？蚣苷Z義角色信息中,“Producer”表示“生產者”,“Product”表示“產品”?！吧a者(it)”和“產品(nuclear weapon)”對于判別目標詞所激發的框架為“Manufacturing”具有較強的指導作用。

2.1.2 PropBank角色與依存句法信息分析

在框架識別時,框架語義角色是未知的,因而框架語義角色信息難以使用。然而對于動詞目標詞,其PropBank角色信息中“ARG0”代表“施事”,“ARG1”代表“受事”往往與框架語義角色信息重疊或對應,如圖1(b)中的下方所示,通過“ARG0”和“ARG1”正好可以找到“it”與“nuclear weapon”與框架語義角色“producer”和“product”對應。因此,本文將PropBank角色信息作為結構信息融合到目標詞的表示中,從而豐富目標詞的語義表示,有助于識別目標詞在當前上下文中所能激活的框架。

在圖1(c)所示的依存信息中,我們可以通過目標詞的“DEP”與“DOBJ”兩個依存關系分別找到“it”和“weapon”兩個詞。這兩個詞與目標詞“produce”的框架語義角色“producer”和“product”對應成分存在部分重疊。所以將依存信息融合到目標詞的表示中,有利于豐富目標詞的語義表示,從而獲得更好的框架識別性能。

2.1.3 結構圖的構造

我們使用了與目標詞直接關聯語義塊作為結構信息,其鄰接矩陣表示為A=(aij)∈m×m,m為該目標詞結構信息中包含的語義塊數量s與目標詞數量之和。aij的定義如式(2)所示,其中wi為句子中的第i個語義塊。此外,每個語義塊的起始和終止位置信息分別表示為pi和li,目標詞所在上下文結構信息的對應位置信息表示為P={[p1,l1],…[pi,li],…,[ps,ls]},并傳遞給編碼層。

(2)

2.2 編碼層

為獲取目標詞所在上下文的向量表示,本文采用基于Transformer[29]的BERT作為編碼層將上下文的語義信息融入到目標詞的表示中。

式中的Ws∈n×m,bs∈m是可學習參數,其中Ht和由式(5)、式(6)所示。目標詞和依存信息可由多個token組成,因而需要對多個token對應的隱藏層Ht和進行加權平均操作(avg),得到整個詞的表示。

其中,Pi[0]和Pi[1]分別表示第i個結構信息中語義塊的起始位置和終止位置。

2.3 語義結構關系表示層

GCN將卷積運算從傳統數據推廣到圖數據中,使其可在非歐式空間中提取特征。其核心思想是通過學習一個函數映射f(·),利用該映射,圖中的節點每個vi可以聚合其自身特征xi與鄰居特征xj,其中j∈N(vi)用于生成節點vi的新表示。

使用GCN作為語義結構關系提取層可借助該模型強大的空間特征提取能力,進一步將結構信息和目標詞的關系融合到目標詞的表示中。本文構建了兩層GCN網絡,并且兩層網絡之間通過ReLu函數進行連接,其提取層的網絡結構如式(7)所示。

R1=GCN(ReLu(GCN(A,M)))[k]

(7)

2.4 標簽預測層

將編碼層獲取的目標詞表示rt和語義結構關系表示層獲取的結構信息表示R1拼接后進行線性變換和非線性激活得到當前表示所屬于每一個框架的概率pt,如式(8)所示,其中L代表線性變換層。最后取概率最大的位置作為當前預測的結果類別,如式(9)所示。

數據集的長尾分布是一個普遍存在的現象,并且經過我們的統計發現,FN1.7數據集也是呈現長尾分布,各類樣本的分布數量如圖3所示,故損失函數選用FocalLoss[30](以下簡稱FL)代替傳統的交叉熵損失函數,FL針對數據中樣本類別的不平衡問題,為難以學習的樣本和容易學習的樣本添加一個權重,讓模型更加專注于難以學習的樣本,進一步提升模型的魯棒性,如式(10)所示。

圖3 FN數據集各類框架數量分布

FL=-(1-pt)γlog(pt)

(10)

其中γ為難度平衡系數,pt是預測的概率,(1-pt)γ稱為調制系數,用來降低易分類樣本的權重。

2.5 模型融合層

在FrameNet中,目標詞的詞性是多種多樣的,可以是動詞、名詞、形容詞等。由于不同詞性目標詞的結構信息不盡相同,所以有必要根據目標詞詞性的不同細粒度選擇不同的結構信息來豐富目標詞的語義表示。如圖4所示,句子“Reality hit when he was unable to reconcile with his wife and end up on the street”中的詞元分別是“hit”,“when”,“unable”,“wife”,“end up”,“street”,激活的框架分別是“Impact(撞擊)”、“Temporal_ collocation(時間性共現)”,“Capability(能力)”、“Personal_ relationship(人際關系)”、“Transition_to _state(過渡到一種狀態)”,“Roadways(道路)”。不同詞性目標詞的結構信息往往包含了多個語義塊,每個語義塊對于當前目標詞的貢獻度往往是不同的,1)名詞: “AMOD”(形容詞)和“POBJ”(介詞賓語)兩種關系通常是比較重要的; 2)動詞: “ADVMOD”(狀語),“DEP”(依賴關系)和“DOBJ”(直接賓語)兩種關系是比較重要的; 3)形容詞: 根據它所處的位置不同,和它依存的成分也是不同的,如果處于非核心的位置,它往往是和名詞有“AMOD”的關系,如果處于核心的位置,則“NBUBJ”(名詞主語)、“DEP”、“AMOD”等的一些關系比較重要; 4)副詞: 它所直接修飾的成分較少,一般情況下,只修飾動詞,只和動詞會有“ADVMOD”的關系; 5)介詞: 它的“POBJ”(介詞賓語)是比較重要的。因而,本文為不同詞性的目標詞構造不同的鄰接矩陣A,分別為每個詞性的結構信息在整體的數據集上訓練了一個模型,通過硬投票的方式進行融合得到最后的框架識別模型。整個投票過程如式(11)所示。

圖4 各類詞性在同一句子中的依存

(11)

3 實驗設計與分析

3.1 實驗數據

本文所需實驗數據來自FN1.7的標注數據和CFN標注數據。其中FN數據集一共816個框架。CFN數據集一共619個框架,訓練集、驗證集、測試集的劃分如表2所示。

表2 數據集劃分

我們同時統計了FN1.7中Train和Test的五類詞性占比,如圖4所示。Train和Test中的分布基本是一致的,名詞、動詞、形容詞、介詞、副詞是最多的。

3.2 評價指標及實驗環境

3.2.1 評價指標

本實驗使用Accuracy作為評價指標,具體定義如式(12)所示。

(12)

3.2.2 實驗環境

本文的實驗環境為pytorch1.8.0+cu111,所用的GPU為一塊RTX3090,CPU為AMD Ryzen 9 3900X。

3.3 參數設置

本文實驗所設參數如表3所示。

表3 FN數據集實驗參數

3.4 實驗結果及分析

3.4.1 總體分析

為了驗證提出的融合序列與結構信息的框架識別方法的有效性,我們設置了如下框架識別模型進行對比實驗: (1)使用BERT作為baseline;(2)SimpleFrameId、BERT-onehot和KGFI三個對比模型;(3)直接融合動詞角色信息和非動詞依存信息的BERT_Prop_Dep _GCN_Focal(BPDGF);(4)使用投票方式融合動詞角色信息和非動詞依存信息的BERT_Prop_Dep_GCN_Focal_Vote(BPDGF_ Vote)。實驗結果如表4所示。

表4 FN1.7實驗結果 (單位: %)

由實驗結果可見,直接將動詞的角色信息和非動詞的依存信息融合學習的模型BPDGF相對于baseline提升了0.61%,表明結構信息對于框架識別有一定的促進作用,但統一建模會影響模型性能。而我們在細粒度考慮不同詞性對于模型的影響后,構建的模型BPDGF_ Vote相對于Baseline和KGFI提升了2.63%和0.93%(這里采用的是KGFI中沒有使用詞元過濾的實驗結果)。證明了細粒度的結構信息對于框架識別有著更高的作用。

3.4.2 依存信息及FL對性能的影響

為了確定不同詞性和FL對于FI任務的影響,我們針對不同詞性的目標詞,分別添加依存信息,在BERT_Dep_GCN(BDG)、BERT_Dep_GCN_ Focal (BDGF)兩個模型上進行實驗,其中BDG使用了傳統的交叉熵作為損失函數,實驗結果如表5所示。在使用FL代替交叉熵損失函數后,模型的表現都有了不同幅度的上升,并且在給形容詞性目標詞添加依存信息并使用FL后達到了最好的86.47%的準確率,相較于Baseline提升了2.36%。

表5 不同詞性依存信息實驗結果 (單位: %)

進一步分析,對某個詞性的目標詞單獨添加的依存信息是否只提升了當前詞性目標詞的識別性能?為了確定這個問題,我們分別統計了模型BDGF在五種詞性的目標詞上分別加依存信息后在Test上每種詞性的正確率,即BDGF_n、BDGF_v、BDGF_adv、BDGF_adj、BDGF_prep五個模型在Test上不同詞性的正確率,統計結果如表6所示。在為不同詞性單獨添加依存后,模型在除它本身以外的其他詞性上的表現分別得到了不同程度的提升,說明依存信息除了可以提升當前詞性目標詞的識別能力外,由于依存信息通常會關聯到其他目標詞,故對于和它依存的其他目標詞也有一定的提升作用。

表6 不同詞性添加依存后在Test上各類詞性的正確率 (單位: %)

具體而言,對于模型BDGF_n,相較于模型BDGF_v來說,在動詞上取得了更好的性能表現,出現這樣的結果是因為句子中名詞的與動詞會存在各種修飾關系,如圖5中的“agreement”和“construct”,它們之間存在了“INFMOD”的關系。在訓練時,該依存的動詞獲得了進一步的信息增強,故而取得了更好的模型表現。而添加了動詞依存和形容詞依存的模型BDGF_v和BDGF_adj分別在介詞和名詞取得了最好的效果是因為介詞通常修飾動詞,形容詞通常修飾名詞,因此在這兩個詞性上可以獲得更好的效果。

圖5 名詞依存中的動詞成分

3.4.3 不同結構信息對性能的影響

為了探究在動詞上的角色信息與依存信息對于框架識別的作用哪個更好,我們設計了單獨給動詞分別添加角色和依存信息的模型BPGF和BDGF。實驗結果如表7所示,BDGF的正確率達到了85.81%。將依存信息改變為角色信息后,BPGF正確率達到了85.95%,相較于Baseline提升了1.84%,比BDGF高出0.14%。說明動詞的角色信息對于FI任務是優于動詞的依存信息的。

表7 FN1.7實驗結果 (單位: %)

例如,圖1(b)和圖1(c) 分別展示了例句的角色信息和依存信息,通過模型BPGF可以正確的識別為“Manufacturing”框架,而使用依存信息構建的模型BDGF識別為“Causing”,從目標詞的角色信息和依存信息的對比來看,角色信息的優勢在于能夠獲取到更多的與框架語義角色重疊的信息,可以為目標詞提供更加豐富的語義信息,有利于指導模型的學習。

同時,為了驗證模型的有效性和泛化能力,我們在CFN數據集上進行了實驗,實驗結果如表8所示。由于CFN數據集中目標詞都是動詞,故使用了BDFG和BPFG模型,并以BERT作為baseline。兩個模型在CFN上分別提升了1.37%和1.76%,BPFG的性能比BDFG高0.39%,進一步證明對于FI任務,由于角色信息貼近框架語義角色信息,更有利于促進FI。因此,角色信息是優于依存信息的。

表8 CFN數據集實驗結果 (單位: %)

3.4.4 不同融合方式添加的結構信息對性能的影響

在進行角色或依存信息提取后,我們考慮兩種給目標詞添加特征的方式: (1)通過GCN融合到目標詞的表示中,將得到的表示R1進行分類(direct);(2)進行線性變換后,拼接到原始的目標詞表示中(cat)進行分類,如式(12)所示。

實驗結果如表9所示。實驗證明,不管是通過融合方式還是拼接方式,都對FI任務有一定的提升作用,但是使用拼接方式的效果好于融合方式。因為采用GCN進行特征提取時會引入一部分隨機初始化的權重信息,這一部分權重會影響分類的結果而使用拼接的方式將這部分權重的比例減少,從而降低了這部分特征對于整體特征的影響。

表9 使用拼接和直接進行分類實驗結果 (單位: %)

3.5 案例分析3.5.1 融合動詞角色信息的框架識別案例

由于只有動詞才有語義角色,故在分析過程中只選取動詞所能激活的框架進行分析。例如,在句子(1)“Because turning welfare recipients into tax payers just makes sense.”中,目標詞是“turning”,在該上下文中所激活的框架是“Cause_change”,但是“turning”在句子(2)“But Jamaica is not simply turning blindly into a small version of its brother bigger.”中所激活的框架是“Under- go_change”,這種一詞多義現象也是框架識別的挑戰。在我們的baseline模型中,句子(1)中的“turning”被識別為“Undergo_ change”,即沒有正確的識別。我們的模型BERT_Prop_GCN_Focal(BPGF)可以正確識別為“Cause_ change”框架,“turning”所在的句子(1)和句子(2)的依存特征如圖6所示。通過對比我們發現,只通過BERT對序列進行建模后,無法明顯的區分“turning”在兩個句子中的特征,而兩句話中和目標詞關聯的成份有明顯的不同,因此通過GCN建模后能夠學習到同一個目標詞在兩個不同的場景中的區別,故能夠正確的識別“turning”所在上下文的能夠激活的框架。

圖6 同一目標詞在不同句子中的角色信息

3.5.2 融合形容詞依存信息的框架識別案例

名詞框架是FN1.7數據集中數量最多的框架,名詞中的多義詞可以通過修飾名詞的形容詞來進行限定,通過這一方法縮小了多義詞的范圍,提升了模型的學習能力。對于例句“A popular optional excursion is an hour's detour to Guangzhou Zoo”,目標詞“popular”的依存信息如圖7所示。對于形容詞“popular”在baseline模型中識別為“Hit_or_miss”框架,對于名詞“excursion”,識別為“Arriving”框架,兩個目標詞所能激活的真實框架分別是“Desirability”和“Travel”。

圖7 目標詞popular的依存信息

“excursion”的含義有“旅行、涉獵、移動等”,“popular”的含義有“受大眾喜愛的、普通的等”,對二者通過依存信息鏈接后,出現的語義組合有“受大眾喜愛的涉獵、受大眾喜愛的移動等”都不符合常識,只有“受大眾喜愛的旅行”是符合常識和人類的語言習慣。因此,通過依存信息鏈接的多個詞可以互相關聯,進一步豐富目標詞的語義表示,有助于提升框架識別的性能。

4 總結

本文提出了一種融合上下文結構信息的框架識別模型,在模型中我們通過BERT對文本序列建模,使用GCN捕獲目標詞的上下文結構信息特征。在結構信息的選取上,我們考慮不同詞性目標詞的結構信息對于框架識別的影響,采用標簽融合的方式,將使用了不同詞性結構信息得到的模型融合,獲得了不錯的性能提升,并在詞性為動詞的目標詞上證明了角色信息對于框架識別的提升作用優于依存信息。對于多詞性結構信息的融合問題,我們采用了直接硬投票的集成方法,探討更優雅的集成方法是我們之后工作的一個重點。