聯合多意圖識別與語義槽填充的雙向交互模型

李 實，孫鎮鵬

東北林業大學信息與計算機工程學院，哈爾濱 150040

目前現實生活中的人機交互方式主要以人機對話為主，如蘋果Siri、谷歌Home等。人機對話中的口語理解（spoken language understanding，SLU）是整個對話系統中的關鍵組成部分，其準確性將直接影響著對話系統的性能。

意圖識別（intent detection）和語義槽填充（slot filling）是口語理解中的兩個主要任務[1]。意圖識別的目的是根據用戶輸入的話語推斷出話語中對應的意圖[1]，根據用戶的意圖將話語劃分為先前定義的意圖類別，可以看作預測意圖標簽的分類任務。意圖是用戶的意愿，包含用戶在對話中表達的行為信息，一般由“動詞+名詞”組成。

語義槽填充旨在為用戶輸入話語的每個單詞識別并標注特定領域關鍵詞的屬性值，屬于序列標記任務[2]。語義槽填充的屬性標注方法采用BⅠO（beginning，inside，outside）標注策略，其中“B”表示屬于同一種槽類型短語的開始單詞，“Ⅰ”表示屬于同一種槽類型短語的后續單詞，“O”標記無關詞匯。這兩個任務的目的是將用戶所輸入的話語轉化為計算機能夠理解的形式并形成如表1所示的語義框架[3]。由于這兩個任務有密切的聯系，考慮意圖和語義槽之間的關系能共同提升兩個任務的性能，例如在表1 的語句中，如果識別出用戶的意圖是播放音樂，那么“最長的電影”的語義槽標簽就會被預測為“B-音樂名”而不是電影名。因此現在主流的口語理解系統中采用聯合模型來建模兩個任務的相關性。

表1 口語理解語義框架Table 1 Spoken language comprehension semantic framework

在現實生活中，用戶通常在一句話語中表達多個意圖。Gangadharaiah 等人[4]在亞馬遜數據集中發現用戶的話語表達往往不只有一個意圖，其中52%的示例含有多個意圖，所以口語理解中多意圖識別（Multi-Ⅰntent Detection）的研究越發重要。然而，現有的多意圖識別聯合建模的研究較少，大部分模型只能對單一意圖進行識別，無法同時理解用戶語句中的多個意圖，或未能充分利用多個意圖信息與語義槽之間的關聯關系。

目前多意圖識別存在的問題大致有：（1）數據來源匱乏[1]。在實際的意圖識別的研究過程中，帶標注的文本較少，獲取也十分困難，給多意圖識別的研究和發展帶來了阻礙。（2）用戶表達的不規范性。用戶的對話文本一般具有表達口語化、指代關系多、內容省略等特點，這就加大了意圖識別的難度。（3）意圖的隱含性。隱式意圖指用戶沒有明確自己的意圖需求，需要通過分析用戶的潛在意圖來推理用戶的真實意圖[2]，這也給多意圖識別的研究帶來了挑戰。因此如何對針對口語短文本進行多個意圖的識別并與語意槽填充任務進行聯合訓練是一個難點。

針對上述問題，本文提出了引入標簽信息的意圖-語義槽雙向交互的圖注意力網絡模型（label attention bidirectional interaction model，Label Bi-Ⅰnteraction）來建立兩個任務的雙向關聯，自適應的學習多個意圖與語義槽之間的關系，使得模型可以整合話語中的多個意圖信息引導相關的語義槽填充，利用語義槽信息促進意圖更好地識別，彌補現有聯合模型中兩個任務關聯信息未能充分利用的不足，增強兩個任務的交互性。同時考慮到多標簽分類任務（multi-label，ML）與多意圖識別任務的相似性，借鑒多標簽分類任務中引入標簽信息的方法[5]將意圖和語義槽標簽的信息和語句上下文隱藏狀態進行融合，建立標簽與話語上下文之間的關系，從而提高了意圖識別與語義槽填充的準確率，使模型更好地識別用戶話語中的多個意圖。

1 相關工作

傳統口語理解任務的管道方法（pipeline method）獨立建模意圖識別和語意槽填充兩個任務。意圖識別可以看作預測意圖標簽的分類任務，挖掘用戶在語句中表達的意圖，許多句子分類方法被用于意圖識別[2]。傳統的機器學習模型有樸素貝葉斯模型（naive Bayesian model，NBM）[6]、支持向量機（support vector machines，SVM）[7]、Adaboost[8]等。神經網絡興起后，一些基于深度學習模型的研究也取得了不俗的效果，主要的有卷積神經網絡（convolutional neural network，CNN）以及循環神經網絡（recurrent neural network，RNN）及其變體。Xu 和Sarikaya[9]利用CNN[10]提取5-gram 特征并應用最大池化獲得單詞表示；Ravuri 和Stolcke[11]成功地將RNN 和長短期記憶網絡（long short-term memory，LSTM）[12]應用于意圖識別任務，這表明序列特征有利于意圖識別任務；Xia等人[13]采用基于膠囊[14]的神經網絡[15]對意圖識別分類進行研究。

語義槽填充可以看作序列標記任務，旨在得到用戶話語中的語義槽和其對應的值[2]。序列標注領域中常用的機器學習模型有隱馬爾科夫（hidden markov model，HMM）[16]、最大熵馬爾科夫（maximum entropy Markov model，MEMM）[17]、條件隨機場（conditional random fields，CRF）[18]等。深度學習中常用的長短期記憶網絡（LSTM）[19]和門控制循環單元（gate recurrent unit，GRU）[20]模型也取得了不錯的效果。例如，Yao等人[21]采用RNN語言模型RNN-LMs 來預測語義槽標簽，隨后又提出了一種用于槽填充任務的LSTM 框架[22]；Mesnil 等人[23]研究了幾種RNN 架構，包括Elman RNN、Jordan RNN 及其用于SLU 的版本；Liu 和Lane[24]提出使用采樣方法對插槽標簽依賴關系進行建模，通過將采樣的輸出標簽（真實或預測）反饋給序列狀態；Kurata等人[25]利用來自編碼器的句子級信息來提高語義槽填充任務的性能。目前學術界的主流做法是將神經網絡自動提取特征與機器學習計算聯合概率相結合，如Bi-LSTM+CRF 的模型等[26-29]。

由于意圖識別和語意槽填充兩個任務有密切的聯系，單意圖口語理解系統中采用聯合模型來建模兩個任務的相關性以提升口語理解任務的準確率。為此，Zhang 等人[30]基于多任務學習框架提出了一個聯合模型；Liu 等人[31]提出了一個基于注意力的RNN 模型，應用了一個聯合損失函數來隱式地連接兩個任務；Hakkani-Tür 等人[29]引入了一個RNN-LSTM 模型。但上述研究沒有建立意圖和語義槽之間的顯式關系，他們只是通過共享參數來模擬意圖和語義槽之間的關系。隨后Goo等人[32]提出了一種語義槽門控模型，該模型將意圖信息顯式地應用于語義槽填充任務并取得了優異的性能；Qin 等人[33]提出了一種新的堆棧傳播框架來執行Token級的意圖識別并指導語義槽填充。上述模型都取得了很好的性能，但以前的大多數工作只關注簡單的單一意圖場景，他們的模型是基于每一個話語只有一個意圖的假設進行訓練。

隨著研究的深入發現，用戶通常在一句話語中表達多個意圖。針對多意圖識別任務，Xu 等人[34]采用對數線性模型并利用不同意圖組合之間的共享意圖信息進行多意圖識別，但是針對大量的意圖組合則會出現數據稀疏問題；Kim等人[35]提出一種基于單意圖標記訓練數據的多意圖識別系統，他將句子看作三種類型，單意圖語句、帶連詞的多意圖語句和不帶連詞的多意圖語句，然后采用兩階段法，但限定只能識別兩種意圖；Yang等人[36]將用戶意圖文本進行依存句法分析確定是否包含多種意圖，利用詞頻-逆文檔頻率（term frequency-inverse document frequency，TF-ⅠDF）和訓練好的詞向量計算矩陣距離確定意圖的數量，將句法特征和卷積神經網絡（CNN）結合進行意圖分類，最終判別用戶的多種意圖，該方法在多種類別的多意圖識別任務中取得不錯的效果，但是依賴于句法結構特征；Liu等人[37]采用膠囊網絡（capsule network）構造基于單意圖標記的多意圖分類器對用戶表達的多種意圖進行識別。但上述工作主要研究如何識別多個意圖，沒有考慮多個意圖和語義槽的關系進行聯合建模。

多意圖口語理解的聯合建模與之前單意圖的口語理解模型利用話語中單一意圖來指導槽填充的方法[32-33]不同，多意圖口語理解面臨一個獨特的挑戰，即如何有效地結合多個意圖信息來引導槽預測。Gangadharaiah等人[4]首先探索了具有語義槽門控機制的多任務框架；Wang等人[38]提出了一種雙向模型考慮意圖與語義槽的交叉影響；文獻[39]提出了一種SF-ⅠD網絡，為意圖識別和語義槽填充建立直接連接，使兩者相互促進。他們的模型通過簡單地將意圖上下文向量視為多個意圖信息來合并意圖信息，雖然這是合并多個意圖信息的直接方法，但每個槽位都由相同的意圖信息引導，沒有為槽填充提供細粒度的意圖信息集合。針對上述問題，Qin等人[40]提出了一種自適應交互網絡，以實現多意圖信息對槽填充進行Token級的細粒度引導，隨后又進一步提出了一種用于聯合多意圖檢測和語義槽填充的非自回歸框架[41]，其中局部槽位感知圖交互層每個語義槽隱藏狀態彼此連接，以明確地建模語義槽位依賴性，以緩解由于非自回歸方式導致的不協調語義槽問題并引入全局意圖-語義槽圖交互層來執行句子級意圖和語義槽交互。但上述模型在多意圖識別任務中沒有利用語義槽的信息，直接的雙向連接仍未建立，實際上意圖信息和語義槽信息之間具有高度相關性，可以相互促進。

2 方法

為了增強意圖識別和語義槽填充兩個任務的相互關聯性，本文提出了引入標簽信息的意圖與語義槽雙向交互模型，模型框架如圖1 所示，該模型由一個共享的編碼器（2.1節）、意圖和語義槽的標簽信息注意力層（2.2節）、意圖-語義槽雙向交互的圖注意力層（2.3節），以及用于意圖識別和語義槽填充的解碼器（2.4節）組成。

圖1 模型總體框架Fig.1 General framework of model

2.1 共享編碼層

模型采用BiLSTM 對輸入序列X={x1,x2,…,xn}進行話語的時序和上下文信息建模，經過BiLSTM編碼話語可以結合時序特征和上下文信息。第一層LSTM前向從x1到xn讀取話語，第二層LSTM 后向從xn到x1讀取話語，通過反復應用得到含有整個話語的時序特征和上下文信息的隱藏狀態其中n是token的數量，φemb表示嵌入函數。同理將意圖標簽Ilabel和語義槽標簽Slabel輸入BiLSTM 編碼器得到意圖和語義槽標簽的隱藏狀態HIlabel和HSlabel。

2.2 意圖和語義槽標簽注意力層

多意圖話語可能由一個或多個意圖標簽標記，并且話語中的每個單詞對每個標簽的貢獻度不同。因此，為了得到與標簽相關的單詞文本表示，本文設計了標簽注意力機制（label attention layer）將意圖和語義槽的標簽信息與話語輸入的上下文信息進行融合，使模型除了學習到話語的上下文信息外，還能學習到上下文與標簽之間的關系，具體方式如圖1（b）所示。

共享編碼層得到的Hw作為Query矩陣，Hvlab（elv∈{IorS},I代表意圖，S代表語義槽）作為Key 和Value矩陣，經過注意力層交互后得到A={a1,a2,…,an} 后，與上下文隱藏層狀態Hw進行拼接得到包含標簽關系的意圖表示和語義槽表示HS=一起送入意圖-語義槽圖交互層建立雙向交互。

2.3 意圖-語義槽圖交互層

本文提出的意圖-語義槽圖交互層采用圖注意網絡（graph attention network，GAT）[42]建立意圖和語義槽信息之間的雙向交互，使模型自適應地將多個意圖信息與語義槽雙向關聯，使用多個意圖信息來引導語義槽位的填充，同時也利用語義槽值的信息來幫助多個意圖的識別。因為圖注意力網絡可以融合模型中的圖結構信息和節點特征，GAT的掩碼自注意力（masked self-attention）層能促使節點關注相鄰節點的特征并學習不同的注意力權重，可以自動獲取當前節點與其鄰接節點之間的重要性和相關性。

對于具有N個節點的給定圖，單層GAT 獲取初始節點特征作為輸入，旨在生成更多抽象的表示作為其輸出。GAT的注意力機制可以總結為：

其中，Ni是圖中節點i（包括i）的一階鄰居節點，Wh∈RF′×F和a∈R2F′是可訓練的權重矩陣，αij是歸一化注意力權重，表示每個h?j對h?i的重要性，σ代表非線性激活函數。GAT通過mask attention將圖結構注入機制，即GAT只計算節點j∈Ni的f(h?i,h?j)。為了使自注意力的學習過程更加穩定，將上述機制擴展為采用Vaswani 等人[43]的多頭注意力：

其中，是由第k個函數fk計算的歸一化注意力權重，||是連接操作，K是注意力機制的數量。因此，輸出將由中間層的K×F′特征組成，最后的預測層將采用平均法得到最終的預測結果。

本文通過構建意圖-語義槽的雙向交互層以實現句子層面的意圖和token 級語義槽的互動，所有預測的多個意圖和語義槽都被連接起來，連接類型如圖1（c）所示，圖G的具體構建方式如下：

節點：對意圖和語義槽位之間的進行token 級交互建模，在圖中模型有n+m個節點，其中n是序列長度，m是意圖標簽的數量。語義槽token 特征的輸入為，輸入的意圖特征為，其中是一個可訓練的嵌入矩陣。語義槽和意圖節點的第一層狀態向量是

圖G邊的構建有三種類型的連接：

意圖-意圖連接。仿照Qin[40]的做法，將所有的意圖節點相互連接起來，以模擬每個意圖之間的關系，因為它們都表達了同一個語句的意圖。

語義槽-語義槽連接。構建了語義槽位之間的連接，每個槽節點都連接到其前后的槽節點，以進一步建模語義槽的相關性，納入雙向的上下文信息。

意圖-語義槽連接。由于意圖和語義槽高度相關，構建了意圖-語義槽位連接來模擬這兩個任務之間的交互。其中，每個語義槽連接所有預測的多個意圖，以自動捕捉相關的意圖信息。

GAT信息聚合層的聚合過程可以表述為：

其中，GS和GI是頂點集，分別表示連接的語義槽和意圖。促使每個token捕獲相應的相關意圖信息。采用圖注意網絡來模擬意圖和語義槽在標記層面的交互。表示第l層圖中的節點i，該圖由t時間步長的解碼器狀態節點和意圖節點組成。是第l層中的隱藏狀態表示。為了更好地利用多個意圖信息，語義槽位隱藏狀態節點直接與所有意圖節點相連，第l層中的節點表示的計算為：

其中，Ni代表節點i的一階鄰居，所有節點表征的更新過程可由公式（3）～（8）計算。通過L層自適應意圖-語義槽的圖交互，得到了t時間步長的最終的隱狀態表示，它可以自適應地捕獲token級的重要意圖信息。用于意圖識別和語義槽的預測。

2.4 意圖識別和語義槽解碼器

語義槽填充任務的計算公式為：

其中，為話語中第t個單詞預測的語義槽標簽。

意圖識別任務的計算公式為：

其中，Wi、Wc是可訓練的參數矩陣，σ代表sigmoid 激活函數，是話語的意圖輸出，n是單個意圖標簽的數量。因為本文是多意圖識別任務，最終的多個意圖I={I1,I2,…,Im} 由預測值大于閾值tI的意圖構成，其中0 ＜tI＜1.0。

本文采用聯合訓練來優化更新意圖識別和語義槽填充兩個任務的參數，聯合訓練的公式為：

其中，、分別為意圖和語義槽的真實標簽，NI是單個意圖標簽的數量，NS是語義槽標簽的數量，n是話語中的單詞數，最終的聯合損失公式為：

其中，α是超參數，通過聯合損失函數可以對兩個任務聯合優化，進一步減少誤差。

3 實驗

3.1 數據集

本文在Qin 等人[40]提供的多意圖數據集MixSNⅠPS和MixATⅠS上進行了實驗。MixSNⅠPS數據集由SNⅠPS數據集構建，其中數據來自Snips 個人語音助手，使用and 等連詞連接具有不同意圖的句子，最后得到用于訓練的45 000個話語，驗證的2 500個話語和測試的2 500個話語。類似地，從ATⅠS 數據集構建另一個多意圖數據集MixATⅠS，ATⅠS數據集由預訂航班用戶的音頻記錄組成，得到用于訓練的18 000個話語，驗證的1 000個話語和測試的1 000 個話語。在這兩個數據集中，包含1、2、3個意圖的話語的比率為[0.3，0.5，0.2]，數據集劃分情況詳見表2。

表2 用戶話語劃分情況Table 2 User utterances division

3.2 實驗參數

實驗采用Adam（adaptive moment estimation）來優化本文模型中的參數，實驗設置的超參數如表3所示。

表3 模型超參數Table 3 Model hyperparameters

表中，batch size 為單次迭代訓練批處理樣本的個數，L2 regularization 為L2 正則化參數，learning rate 為模型學習率，dropout rate 為參數丟棄率，GAT layers number 為圖交互層數，self-attentive hidden units 為自注意力隱藏層單元數，LSTM hidden units 為Bi-LSTM隱藏層單元數，α為聯合損失函數中的超參數，tI為判別多個意圖的閾值。MixSNⅠPS 的epoch 周期為100，MixATⅠS 的epoch 周期為200。對于所有實驗，選擇在驗證集上效果最好的模型，然后在測試集上對其進行評估，實驗均在Tesla V100上進行。

3.3 實驗結果對比

本文與以往的意圖識別和語義槽填充聯合模型進行了比較。為了使單意圖SLU 基線可以處理多意圖話語，遵循Joint Multiple ⅠD-SF[4]中的方法將它們識別的單個多意圖標簽用#連接起來，以獲得以進行公平比較，將更改后的模型命名為串聯版本。（1）Attention BiRNN[31]：提出了一種基于對齊的RNN和注意力機制，它隱式地學習了意圖和語義槽之間的關系。（2）Slot-Gated Atten[32]：提出了一個槽門聯合模型來明確考慮槽填充和意圖檢測之間的相關性。（3）Bi-Model[38]：提出了Bi-Model 來考慮意圖檢測和槽填充之間的交叉影響。（4）SF-ⅠD Network[39]：提出了一個SF-ⅠD Network模型，為槽填充和意圖識別建立直接連接，以幫助它們相互促進。（5）Stack-Propagation[33]：提出了Stack-Propagation 的聯合模型來捕獲意圖語義知識并進行Token 級的意圖識別以進一步緩解錯誤傳播。（6）Joint Multiple ⅠD-SF[4]：采用了一種多任務框架，該框架具有用于多意圖識別和槽填充的Slot-gated 機制。（7）AGⅠF[40]：提出了一種用于聯合多意圖識別和語義槽填充的自適應Graph-Ⅰnteractive框架，該框架提取了用于Token 級槽填充的意圖信息。（8）GL-GⅠN[41]：提出了聯合多意圖識別和語義槽填充的非自回歸方法，加快了模型的解碼時間，并使用語義槽的局部交互圖處理非自回歸方法帶來的不協調的語義槽問題。

本文使用F1分數評估語義槽填充的性能，使用準確度評估意圖識別的性能，使用總體準確度評估話語級語義框架解析的性能，總體準確度代表句子中意圖和語義槽都被正確預測的句子的比例。實驗結果如表4 所示：與GL-GⅠN 相比，本文模型在MixATⅠS 和MixSNⅠPS數據集上，語義槽填充的F1 值分別提高了1.3、0.7 個百分點，意圖識別準確率分別增長了2.4、0.7個百分點，語句級的總準確率分別實現了1.6、1.0 個百分點的提升。這表明提出的融合標簽信息的意圖-語義槽交互圖可以更好地捕捉意圖和語義槽之間的相關性，使兩個任務可以相互促進，從而提高SLU性能。

表4 實驗結果對比Table 4 Experimental results comparison

此外，本文還對比了模型的時間性能，根據表4 可以看到本文模型在性能提升的同時并沒有花費更多的時間成本。時間復雜度列中，H表示隱藏層的特征維度，F表示原始的特征維度，F′表示輸出的特征維度，m表示SF-ⅠD網絡[39]迭代次數，n表示GAT層數，|V|代表圖中的頂點數，|E|代表圖中的邊數。如表4所示，盡管本文模型在兩個數據集上都取得了性能的提升，但兩個數據集上的準確度和F1 值差異較大，MixSNⅠPS 數據集上的結果明顯高于MixATⅠS 數據集，主要原因有以下兩方面：（1）MixATⅠS數據集中的話語屬于同一領域且意圖類型的劃分更細粒度化，意圖之間的相似程度較高，這就導致模型在識別意圖時更難判斷意圖的數量及預測意圖標簽。而MixSNⅠPS數據集語料跨多領域，意圖的相似程度相對較低，模型更容易區分并識別多個意圖，因此在MixSNⅠPS 上多意圖識別任務的準確度更高。（2）MixSNⅠPS數據集的語義槽標簽比MixATⅠS 數據集少且話語樣本數量遠大于MixATⅠS數據集，這樣模型在語義槽填充任務中能更好地學習到語義槽值的相關信息，因此在MixSNⅠPS 上語義槽填充任務的F1值更高?？傮w準確度評價指標由多意圖識別和語義槽填充兩個任務的預測結果的計算得出，因此同樣受上述兩個原因的影響，在兩個數據集上呈現出性能的差異。

3.4 實驗結果討論

意圖識別與語義槽填充任務是緊密關聯的，兩個任務的信息進行雙向交互可以相互促進。如圖2所示，模型成功預測出話語意圖為“BookTicket”和“GetWeather”時，可以引導語義槽識別Beijing 作為目的地城市或是查詢天氣的城市的槽值進行填充。同理，Harbin的槽值既可能是出發地也有可能是目的地，當模型正確識別Harbin的槽值為出發地可以消除歧義，一定程度上也能幫助意圖的預測。下面通過消融實驗分析三個部分的對模型的影響，消融實驗結果詳見表5。

圖2 意圖與語義槽關聯性示例Fig.2 Ⅰntent and semantic slot association

表5 消融實驗Table 5 Ablation experiments單位：%

3.4.1 標簽信息的影響

如表5 所示，本文首先去掉模型的標簽注意力層，命名為without label attention layer，將Bi-LSTM 層得到的上下文語義信息直接輸入到圖注意力網絡交互層。這表示模型只能從用戶輸入的語句得到語義信息，不能學習到意圖和語義槽標簽與上下文之間的關系。通過實驗結果可以觀察到語義槽填充和意圖識別的性能均出現下降，這表明本文提出的學習意圖和語義槽標簽與話語上下文之間的關系對兩項任務有正向的影響。

3.4.2 意圖-語義槽雙向交互的影響

為探究意圖和語義槽信息之間的雙向交互對實驗結果的影響，實驗分為兩部分進行。首先刪除意圖到語義槽之間的信息流，將其命名為without intent to slot，只保留語義槽到意圖之間的信息流以模擬意圖和語義槽之間沒有進行雙向交互的情況。從表5 的實驗結果來看，意圖識別的準確率出現小幅下降而語義槽填充的F1值有明顯下降。

類似的，再刪除語義槽到意圖的信息流，將其命名為without slot to intent，可以看到此時語義槽填充的F1 值小幅下降，意圖識別的準確率明顯下降。這表示本文模型建立的雙向交互機制能夠使這兩項任務相互增強，且對于兩項任務的性能同時有正向的影響。

3.4.3 不同意圖數量的對比試驗

本文分別設置了意圖數量為1～3 時的對比實驗以探究模型在不同意圖數量下的效果。如表6所示，實驗結果表明，隨著意圖數量的增多，模型效果逐漸降低。在只有1個意圖時，模型不需要判斷意圖的數量且只需預測1個意圖標簽，多意圖識別任務與傳統的單意圖識別任務相似，因此三項評價指標均為最高。意圖數量為2時最接近包含所有意圖的主實驗結果，因為數據集中2 個意圖的話語數量占比最多，并且難度較識別3 個意圖低。意圖數量為3時，可以觀察到除語義槽填充的F1值外的兩項指標出現了顯著降低，這是因為意圖數量增多加大了判斷意圖數量和預測意圖標簽的難度，同時數據集中3個意圖的話語樣本占比較低，模型在訓練時學習到的信息較少，所以意圖識別和總體準確度明顯下降。而語義槽填充任務為話語中單詞的序列標注任務，話語意圖的數量對其影響較小，因此語義槽填充的F1值下降幅度較小。

表6 意圖數量的對比實驗Table 6 Comparative experiments on number of intents單位：%

4 結束語

本文的模型首先引入了意圖和語義槽的標簽信息，將兩個任務的標簽信息與上下文信息進行融合，同時構建了一種意圖-語義槽雙向交互的圖注意力網絡，使模型既可以利用多個意圖信息來引導語義槽的填充，也可以利用語義槽值的信息來幫助意圖的識別，從而提高意圖識別與語義槽填充的準確率，能夠更好地識別用戶話語中的多個意圖。實驗結果表明，模型在兩個多意圖數據集上的達到了最好的效果。

雖然本文的研究在多意圖識別與語義槽填充任務聯合建模上取得了一定的進展，但是在多意圖識別任務上還有許多值得探究的地方：（1）本文主要基于已有的單意圖數據集整理的多意圖測試集進行研究，因此對于多意圖數據樣本稀缺的問題，后續考慮采用零樣本學習實現多意圖識別任務。（2）在意圖和語義槽識別任務中，由于用戶話語可能會有語義歧義、代詞省略等歧義現象，因此針對用戶口語的不確定性如何利用結合事實性知識進行邏輯推理，或將領域知識和事實性知識圖譜加入模型以消除歧義、指代等問題以提升整個對話系統的魯棒性是下一步的探索方向。