用于知識表示學習的對抗式負樣本生成

張釗 吉建民 陳小平

摘 要：知識表示學習目的是將知識圖譜中符號化表示的關系與實體嵌入到低維連續向量空間。知識表示模型在訓練過程中需要大量負樣本，但多數知識圖譜只以三元組的形式存儲正樣本。傳統知識表示學習方法中通常使用負采樣方法，這種方法生成的負樣本很容易被模型判別，隨著訓練的進行對性能提升的貢獻也會越來越小。為了解決這個問題，提出了對抗式負樣本生成器（ANG）模型。生成器采用編碼解碼架構，編碼器讀入頭或尾實體被替換的正樣本作為上下文信息，然后解碼器利用編碼器提供的編碼信息為三元組填充被替換的實體，從而構建負樣本。訓練過程采用已有的知識表示學習模型與生成器進行對抗訓練以優化知識表示向量。在鏈接預測和三元組分類任務上評估了該方法，實驗結果表明該方法對已有知識表示學習模型在FB15K237、WN18和WN18RR數據集上的鏈接預測平均排名與三元組分類準確度都有提升。

關鍵詞：知識表示學習;知識圖譜;生成對抗網絡;深度學習;知識圖譜嵌入

中圖分類號：TP391.1

文獻標志碼：A

Adversarial negative sample generation for knowledge representation learning

ZHANG Zhao， JI Jianmin*， CHEN Xiaoping

School of Computer Science and Technology， University of Science and Technology of China， Hefei Anhui 230027， China

Abstract：

Knowledge graph embedding is to embed symbolic relations and entities of the knowledge graph into low dimensional continuous vector space. Despite the requirement of negative samples for training knowledge graph embedding models， only positive examples are stored in the form of triplets in most knowledge graphs. Moreover， negative samples generated by negative sampling of conventional knowledge graph embedding methods are easy to be discriminated by the model and contribute less and less as the training going on. To address this problem， an Adversarial Negative Generator （ANG） model was proposed. The generator applied the encoder-decoder pipeline， the encoder readed in positive triplets whose head or tail entities were replaced as context information，

and then the decoder filled in the triplets of the replaced entities coding information provided by the encoder，

and then the decoder filled the replaced entity with the triplet using the encoding information provided by the encoder，

and then the decoder filled the triplets of the replaced entities coding information provided by the encoder，

so as to generate negative samples. Several existing knowledge graph embedding models were used to play an adversarial game with the proposed generator to optimize the knowledge representation vectors. By comparing with existing knowledge graph embedding models， it can be seen that the proposed method has better mean ranking of link prediction and more accurate triple classification result on FB15K237， WN18 and WN18RR datasets.

Key words：

knowledge representation learning; knowledge graph; generative adversarial network; deep learning; knowledge graph embedding

0 引言

知識圖譜（Knowledge Graph， KG）是由一系列相互關聯的實體節點組成的網絡，通常以三元組（頭實體，關系，尾實體）的形式表示，表示頭實體和尾實體之間存在一條關系。近年來有很多大型知識圖譜被構建出來，比如 WordNet[1]、DBpedia[2]、Freebase[3]。而大型知識圖譜面臨的一個主要問題就是由知識圖譜中稀疏離散表示的知識導致的高計算復雜性，同時也很難衡量知識的相似性與相關性。所以近年來有大量工作關注知識表示學習（如TransE[4]、TransH[5]、TransD[6]、DistMult[7]、ComplEx[8]等），這些工作為知識圖譜補全和關系抽取等任務提供了大量便利。知識表示學習目標是將知識圖譜中的實體和關系嵌入到低維連續向量空間，同時由分值函數計算知識的可信度。在訓練模型時，需要正樣本和負樣本進行判別訓練并對結果進行排序。然而考慮到存儲空間利用率，大部分知識圖譜僅存儲正樣本，所以傳統的知識表示學習模型多數采用負采樣[4]的方式構建負樣本。在這種方法下，三元組的頭實體或者尾實體被從實體集合中隨機采樣得到的新實體替換，從而構成負樣本。采樣過程一般遵循實體集合上的均勻分布或者伯努利分布。這種方法簡單而高效，但是由于知識圖譜的稀疏性問題，隨機采樣得到的絕大部分實體很難與正樣本中的關系與實體組成一個可信樣本，比如對正樣本（合肥，位于，安徽）通過負采樣得到的負樣本可以是（合肥，位于，香蕉），這些低質量的三元組可以很容易被模型判別，導致代價函數快速收斂甚至隨著訓練過程的進行無法對提升模型性能提供幫助。

近年來在生成對抗網絡（Generative Adversarial Network， GAN）[9]的啟發下，部分工作開始使用對抗式訓練框架生成負樣本。KBGAN[10]使用兩個不同的知識表示模型作為生成器與判別器進行對抗訓練來優化知識表示。用于負采樣的生成式對抗網絡（Generative Adversarial Net For NEGative sampling， GAN4NEG）[11]關注基于翻譯距離的知識表示學習模型中零損失的問題。本文提出了一種對抗式負樣本生成器（Adversarial Negative Generator， ANG）用于生成負樣本，同時使用已有知識表示學習模型作判別器在對抗式訓練框架下進行對抗訓練。針對鏈接預測和三元組分類兩個任務在FB15K237[12]、WN18[4]、WN18RR[13]三個數據集上進行了實驗，結果表明本文方法在鏈接預測（Link prediction）平均排名（Mean Ranking， MR）和三元組分類（Triple Classification）準確度上有明顯提升。

1 知識表示學習相關工作

知識表示學習目標是為知識圖譜中以三元組（h，r，t） 表示的知識建模，將其實體與關系嵌入到低維連續向量空間中。在知識表示模型中，關系被定義為頭實體和尾實體之間的映射，通過一個分值函數f（h，r，t）對每個三元組計算可信度分值，存在于知識圖譜中的三元組（正樣本）會比不存在的三元組（負樣本）分值高。

目前主要有兩類知識表示學習模型：翻譯距離（Translation Distance）模型和語義匹配（Semantic Matching）模型。TransE首先引入了基于翻譯距離的分值函數，在這種模型下，關系向量r被視作從頭實體h到尾實體t的翻譯，當h+r與t距離越小時，三元組可信度越高。TransH在其基礎上作了擴展，使其更適用于一對多，多對多等復雜關系建模。另外還有很多TransE模型的變體在不同方面提升了性能，比如TransD、TransR[14]。RESCAL[15]是比較早期使用基于語義匹配的分值函數的工作之一，這類模型也被稱作矩陣分解模型。在這類模型中，關系向量被視為頭實體與尾實體之間的映射矩陣，用h Mr t矩陣乘積來衡量三元組可信度，ComplEx、DistMult和HolE[16]是這一類方法的變體。同時也有許多其他類型的模型使用神經網絡來擬合分值函數比如NTN[17]和ConvE[18]等。

在知識表示模型訓練過程中需要正樣本和負樣本，模型通過對正樣本和負樣本打分并排序計算代價函數，同時優化知識表示向量。由于大多數知識圖譜不提供負樣本，上述模型都是采用負采樣方法生成，但是這一方法很難生成高質量的負樣本。KBGAN首先提出使用生成對抗網絡進行知識表示模型訓練。在KBGAN中，用預訓練的語義匹配模型作為生成器，用預訓練的翻譯距離模型作為判別器進行對抗式訓練，最終采用判別器中的知識表示向量進行評估。在GAN4NEG中，作者提出翻譯距離模型中使用負采樣方法會導致零損失問題，也就是隨著訓練的進行，由于分值較差的負樣本很快被排到正確的位置，正負樣本之間的區別幾乎與負樣本無關，導致損失函數降為零。他們使用一個兩層全連接神經網絡作為生成器為正樣本生成相應負樣本?；陬愃频南敕?，ACE（Adversarial Constrastive Estimation）[19]為自然語言處理中常用的噪聲對比估計方法，提出了一個更通用的對抗式負采樣方法。但是由于經典生成對抗網絡是為生成連續的數據設計的，在梯度反向傳播時要求完全可微分，而生成實體時采樣過程阻斷了梯度的反向傳播。為了將生成對抗網絡擴展為支持生成離散自然語言詞組，很多自然語言生成工作[19-21]以及上述模型都使用REINFORCE[22]方法來完成梯度反向傳播。

2 對抗式知識表示學習

2.1 符號約定

本文中使用E代表知識圖譜中的實體集合，R代表關系集合，ξ和ξ′代表正樣本（h，r，t）和對應的負樣本。S代表一組三元組ξ，其中h，t∈E， r∈R，S中ξ對應的負樣本集合表示如下：

S′ξ={（h′，r，t）|h′∈E}∪{（h，r，t′）|t′∈E}

2.2 目標知識表示模型

為了檢驗對抗式負樣本生成器的性能，本文實現了幾個代表性的基于翻譯距離的模型（TransE[4]，TransH[5]，TransD[6]）和基于語義匹配的模型（ComplEx[8]， DistMult[7]）作為判別器，也作為知識表示目標模型。判別器內部的知識表示向量用于模型的評估。它們的分值函數在表1中說明。

翻譯距離模型使用基于距離的分值函數來估計三元組的置信度。在這類模型中關系作為頭實體和尾實體之間的翻譯向量，分值函數越小意味著置信度越高，同時使用Margin Ranking Loss作為損失函數：

LD=∑ξ∈S∑ξ′∈S′ξ[f（ξ）-f（ξ′）+γ]+（1）

其中：[x]+ 表示x的絕對值，γ表示間隔（margin）距離。

語義匹配模型使用基于語義相似度的分值函數。在這類模型中關系被表示為一個矩陣，代表了頭實體與尾實體之間的相互關系。這類模型使用Logistic Loss作為損失函數：

LD=∑ξ∈S∑ξ′∈S′ξ[l（+1， f（ξ））+l（-1， （ξ′））]（2）

其中l（β，x）是Softplus激活函數：

l（β，x）=1β*ln（1+exp（β*x）） （3）

在這兩類模型的原始實現中，S′ξ都是使用負采樣方法構建的;而在本文的對抗式訓練框架中，S′ξ是由生成器提供的，這一生成器可以更好地利用正樣本中的信息來生成置信度更高的負樣本。使用上述模型作為判別器，通過對抗訓練優化LD，同時使用分值函數來估計ξ′的回報：

RD=-f（ξ′）（4）

2.3 對抗式負樣本生成器

為了給判別器提供高質量的負樣本，生成器需要使用對應的正樣本作為額外信息。在MaskGAN[21]的啟發下，本文的生成器采用了一個基于Seq2Seq[23]的編碼解碼架構，如圖1。示例中實體到解碼器（decoder）表示的是采樣過程，是補全的尾實體，〈s〉表示的是開始解碼的標志。

訓練過程中，對每一批正樣本中的三元組，用〈m〉標記以相同的概率替換其頭或者尾實體（非同時替換），表示為m（ξ′）。m（ξ′）作為一個由雙向GRU[24]組成的編碼器（encoder）的輸入，編碼成正樣本的向量表示。解碼器（decoder）的目的是根據標記補全m（ξ′）中缺失的部分，其為由一個單層GRU單元和一個全連接層組成的神經網絡，輸入是編碼器編碼得到的正樣本隱藏表示向量以及上一個時間步中編碼器輸出的實體或關系標記。編碼器按順序在頭實體，關系與尾實體上解構其條件分布，經過softmax激活函數后，解碼器根據輸出的概率分布采樣得到正樣本中以〈m〉表示的缺失的實體t，補全的實體在圖1中用表示，然后補全的三元組ξ′作為負樣本。然而，由于采樣過程會導致輸出不可微，從而無法進行梯度反向傳播，所以需要使用策略梯度[25]（Policy Gradients）方法進行訓練。訓練目標定義為最大化生成實體填充的負樣本對應的回報（Reward）期望，如下：

EG[RD]=Eξ′～G（m（ξ;θ））RD（ξ′）

θEG[RD]=RD（ξ′）θ ln p（ξ′|ξ;θ）=

-f（ξ′）θ ln p（ξ′|ξ;θ）

（5）

在標準的強化學習算法中，本文的生成器可以看作其中的策略網絡，判別器可以看作值網絡，生成器內部表示策略分布，輸入的正樣本可以看作強化學習中的狀態（state），輸出補全的負樣本可以看作策略網絡輸出的動作（action）。判別器為選擇的動作進行評估，給出回報（reward），然后通過策略梯度方式進行反向傳播。整個訓練過程優化目標是最大化策略網絡輸出動作的分值期望。

2.4 對抗式訓練框架

首先對生成器使用極大似然估計進行預訓練，即最大化生成器還原輸入正樣本的概率。然后使用對抗式訓練框架對生成器和目標知識表示學習模型進行訓練，訓練算法如算法 1所示。

算法1 用于知識表示學習的生成式對抗訓練算法。

輸入：預訓練的生成器G，判別器D，訓練集S={（h，r，t）} ;

輸出：從D中學習得到的知識表示向量。

有序號的程序——————————Shift+Alt+Y

程序前

1）

Loop

2）

For G steps do

3）

從S中采樣一批正樣本Spos

4）

For each ξ∈Spos

5）

通過用〈m〉替換ξ中的h或t構建m（ξ）

6）

生成器G通過編碼m（ξ），生成負樣本ξ′加入到負樣本集合Sneg中

7）

End for

8）

判別器D用式（4）計算Rξ′

9）

用式（5）更新Gθ

10）

End for

11）

判別器D用Spos和Sneg通過式（1）和式（2）計算LD

12）

通過DθLD 更新Dθ

13）

End loop

程序后

由于生成器在整個知識庫實體集合上估計條件概率分布，生成的負樣本可能仍存在于知識庫三元組集合中，這類負樣本不能被視為錯誤的三元組，否則會誤導目標知識表示模型的訓練。在傳統的負采樣算法中，為了避免這種情況是通過重采樣來過濾錯誤的負樣本的，由于知識庫的稀疏性，隨機重采樣得到的負樣本為正樣本的概率很小。然而在本文的方法中，由于生成負樣本時考慮了正樣本作為額外信息，采樣得到的負樣本實際為正樣本的概率不可忽略，因為正樣本分值函數更高，也意味著其回報更高。所以本文在訓練時給此類假負樣本一個較大的負的回報作為懲罰，并強制其不參與目標知識表示模型的訓練。

同時模式崩潰也是生成對抗網絡中常見的問題。模式崩潰的意思是隨著訓練的進行，生成器所生成的候選實體很快集中到很少的幾個樣本，在這種情況下由于負采樣方法可以采樣到更大范圍的樣本，本文的方法可能會弱于負采樣方法。為了避免這種問題，本文使用了 ε-greedy[26]策略來平衡生成器探索與利用負樣本的過程。

3 實驗方案與結果分析

在鏈接預測（Link Prediction）和三元組分類（Triple Classification）任務上評估了本文方法，在實驗中使用了三個翻譯距離模型和兩個語義匹配模型與生成器進行對抗式訓練，實驗使用判別器的實體關系表示向量進行評估。

3.1 數據集

在實驗中使用了3個知識表示學習中的常用數據集：FB15K237、WN18和WN18RR，數據集詳細數據如表2。

3.2 實現細節

在預訓練階段使用極大似然法（Maximum Likelihood Estimation， MLE）訓練生成器，根據在驗證集上的三元組預測準確率選擇最佳模型，在WN18和WN18RR數據集上實體和關系向量維度為50，在FB15K237上維度為100，優化器使用Adam[27]。

在對抗式訓練環節，ε范圍是1.0到0.4，間隔γ在FB15K237上為1.0，在WN18和WN18RR上為3.0，生成器優化器為SGD，學習率為0.01。判別器的優化器翻譯距離模型選擇Adam，使用默認參數，語義匹配模型選擇Adagrad[28]，WN18和WN18RR的學習率為0.1，FB15K237的學習率為0.01。實驗運行了1000輪，每一輪將訓練集劃分為100個批次訓練。

3.3 實驗結果

3.3.1 鏈接預測

鏈接預測（Link Prediction）是知識庫補全中的一項主要任務，其目的是為給定的三元組預測缺失的頭或尾實體。鏈接預測主要是通過為一系列從知識庫取出的候選實體評分并進行排序來評價模型性能。

實驗中，首先輪流將測試集三元組的頭實體替換為E中的所有實體，然后為每一個生成的三元組評分并降序排列，然后在尾實體上實施相同的過程。每一組排序結果中正確的三元組被記錄下來，測試完成后將正確三元組的平均排名（Mean Rank， MR）以及正確三元組排序在前10%的比例（HIts@10）作為評價標準。由于某些生成的三元組可能也是正確的三元組（存在于S），這會導致某些生成的三元組會比所預測的三元組排名要高，而實際上這種情況不能說生成的三元組應該比所預測的三元組置信度更高，所以將排名中的正確三元組過濾掉作為最終結果。

表3列出了本文模型與基準模型和相關方法（KBGAN、GAN4NEG）在鏈接預測任務上不同數據集的性能對比。粗體表示的是對比實驗中的最優結果，下劃線表示的是次優結果。

表中表3中原始基準模型在WN18數據集上的實驗結果都是從原始論文中獲得，在FB15K237和WN18RR上的結果是使用OpenKE[29]工具包在與本實驗相同的參數設置下得到，相關模型KBGAN的結果是用作者提供的代碼在其預設參數下訓練得到，GAN4NEG作者沒有提供代碼，所以僅列出其在WN18上的實驗結果。KBGAN和GAN4NEG實驗結果都是在有預訓練的情況下得到。從結果可以看出，ANG模型在平均排名（MR）評價標準上超過了大部分基準模型與相關方法，Hits@10評價標準也在大部分實驗設置中比基準模型表現好。在Hits@10標準中，由于本模型中生成器輸出的采樣空間為整個知識庫實體集合，而KBGAN和GAN4NEG中都是在生成器輸入前從實體集合中隨機挑選一個較小的候選實體集合，然后生成器在候選集合中挑選條件概率最大的實體，所以其在訓練過程中可以更好地對排名相近的三元組進行判別，而本文方法采樣空間更大，所以對最終正樣本平均排名（MR）優化效果更好。

3.3.2 三元組分類

三元組分類（Triple Classification）目的是判斷給定三元組（h，r，t）是正樣本還是負樣本，也即是否存在于知識圖譜中。由于標準測試集中不存在負樣本，所以本文使用了與NTN[15]中相同的方法來構建測試集中的負樣本。首先將測試集中三元組的頭尾交換，然后根據交換后的實體是否在數據集中相應位置上出現過進行過濾，得到的三元組作為負樣本，然后為驗證集進行同樣操作得到驗證集中的負樣本。進行三元組分類測試時，首先在驗證集上進行分類測試，為每個關系r最大化分類準確率得到分類閾值δr，測試三元組（h，r，t）分值大于閾值δr時分類為正，否則為負。訓練過程中使用驗證集測試模型效果，然后在測試集上給出三元組分類準確率。

表4列出了本文模型和基準模型在三元組分類任務上的結果對比。由于相關方法KBGAN和GAN4NEG中沒有給出在這三個數據集上三元組分類的結果，在此不作比較。實驗表明，在大多數數據集上，ANG的表現都要明顯好于基準模型。

4 結語

本文提出了一種用于知識表示學習的對抗式負樣本生成器（ANG），ANG可以在傳統知識表示學習模型訓練過程中提供高質量的負樣本，避免了負采樣方法導致的模型快速收斂、模型難以優化的問題，同時實現了對抗式訓練框架用于訓練傳統知識表示學習模型，通過生成器與目標模型的對抗式訓練提升模型性能。由于訓練框架與模型無關，本文提出的生成器與訓練框架也可擴展用于其他知識表示學習模型的訓練。在鏈接預測和三元組分類任務上評估了本文模型，實驗結果表明通過在生成負樣本時使用正樣本提供的信息可以有效提高負樣本生成的質量，為模型優化提供更好的負樣本數據。

目前本文方法在鏈接預測Hits@10評價標準上弱于同類生成式算法，主要由于生成器采樣空間較大，采樣效率較低，為提高這一指標可以考慮壓縮生成器實體采樣空間，或者使用深度強化學習中經驗池的方法對生成空間進行多次采樣以加速優化生成器實體概率分布。

參考文獻

[1]MILLER G A. WordNet： a lexical database for English [J]. Communications of the ACM， 1995， 38（11）： 39-41.

[2]AUER S， BIZER C， KOBILAROV G， et al. DBpedia： a nucleus for a Web of open data [C]// Proceedings of the 2007 International Semantic Web Conference， LNCS 4825. Berlin： Springer， 2007： 722-735.

[3]BOLLACKER K， EVANS C， PARITOSH P， et al. Freebase： a collaboratively created graph database for structuring human knowledge [C]// Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data. New York： ACM， 2008： 1247-1250.

[4]BORDES A， USUNIER N， GARCIA-DURAN A， et al. Translating embeddings for modeling multi-relational data [C]// Proceedings of the 2013 Advances in Neural Information Processing Systems. 2013： 2787-2795.

BORDES A， USUNIER N， GARCIA-DURN A， et al. Translating embeddings for modeling multi-relational data [EB/OL]. [2019-01-06]. http：//citeseerx.ist.psu.edu/viewdoc/download？doi=10.1.1.447.6132&rep=rep1&type=pdf.

[5]WANG Z， ZHANG J， FENG J， et al. Knowledge graph embedding by translating on hyperplanes [C]// AAAI ‘14： Proceedings of the 28th AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2014： 1112-1119.

[6]JI G， HE S， XU L， et al. Knowledge graph embedding via dynamic mapping matrix [C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015， 1： 687-696.

[7]YANG B， YIH W， HE X， et al. Embedding entities and relations for learning and inference in knowledge bases [J]. arXiv preprint arXiv：1412.6575， 2014.

YANG B， YIH W， HE X， et al. Embedding entities and relations for learning and inference in knowledge bases [EB/OL]. [2019-01-06]. https：//arxiv.org/pdf/1412.6575.pdf.

[8]TROUILLON T， WELBL J， RIEDEL S， et al. Complex embeddings for simple link prediction [C]// International Conference on Machine Learning. 2016： 2071-2080.

TROUILLON T， WELBL J， RIEDEL S， et al. Complex embeddings for simple link prediction [EB/OL]. [2019-01-06]. https：//arxiv.org/pdf/1606.06357.pdf.

[9]GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets [C]// NIPS ‘14： Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014， 2： 2672-2680.

[10]CAI L， WANG W Y. KBGAN： adversarial learning for knowledge graph embeddings [C]// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）. 2018： 1470-1480.

CAI L， WANG W Y. KBGAN： adversarial learning for knowledge graph embeddings [EB/OL]. [2019-01-08]. https：//arxiv.org/pdf/1711.04071.pdf.

[11]WANG P， LI S， PAN R. Incorporating GAN for negative sampling in knowledge representation learning [C]// Thirty-Second AAAI Conference on Artificial Intelligence. 2018.

WANG P， LI S， PAN R. Incorporating GAN for negative sampling in knowledge representation learning [EB/OL]. [2019-01-08]. https：//arxiv.org/pdf/1809.11017.pdf.

[12]TOUTANOVA K， CHEN D. Observed versus latent features for knowledge base and text inference [C]// Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality. 2015： 57-66.

TOUTANOVA K， CHEN D. Observed versus latent features for knowledge base and text inference [EB/OL]. [2019-01-08]. http：//citeseerx.ist.psu.edu/viewdoc/download;jsessionid=332E017631F63128927CF06ABF216792？doi=10.1.1.709.9449&rep=rep1&type=pdf.

[13]DETTMERS T， MINERVINI P， STENETORP P， et al. Convolutional 2D knowledge graph embeddings [C]// Thirty-Second AAAI Conference on Artificial Intelligence. 2018.

DETTMERS T， MINERVINI P， STENETORP P， et al. Convolutional 2D knowledge graph embeddings [EB/OL]. [2019-01-08]. https：//arxiv.org/pdf/1707.01476.pdf.

[14]LIN Y， LIU Z， SUN M， et al. Learning entity and relation embeddings for knowledge graph completion [C]// AAAI ‘15： Proceedings of the 29th AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2015： 2181-2187.

[15]NICKEL M， TRESP V， KRIEGEL H P. A three-way model for collective learning on multi-relational data [C]// ICML ‘11： Proceedings of the 28th International Conference on International Conference on Machine Learning. Bellevue， Washington： Omnipress， 2011： 809-816.

[16]NICKEL M， ROSASCO L， POGGIO T. Holographic embeddings of knowledge graphs [C]// Thirtieth Aaai conference on artificial intelligence. 2016.

NICKEL M， ROSASCO L， POGGIO T. Holographic embeddings of knowledge graphs [EB/OL]. [2018-12-25]. https：//arxiv.org/pdf/1510.04935v2.pdf.

[17]SOCHER R， CHEN D， MANNING C D， et al. Reasoning with neural tensor networks for knowledge base completion [C]//NIPS ‘13： Proceedings of the 26th International Conference on Neural Information Processing Systems. Lake Tahoe， Nevada： Curran Associates， 2013： 926-934.

[18]BOSE A J， LING H， CAO Y. Adversarial Contrastive Estimation [C]// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. 2018： 1021-1032.

BOSE A J， LING H， CAO Y. Adversarial contrastive estimation [EB/OL]. [2019-01-09]. https：//arxiv.org/pdf/1805.03642.pdf.

[19]YU L， ZHANG W， WANG J， et al. SeqGAN： sequence generative adversarial nets with policy gradient [C]// Proceedings of the 31st AAAI Conference on Artificial Intelligence. 2017.

YU L， ZHANG W， WANG J， et al. SeqGAN： sequence generative adversarial nets with policy gradient [EB/OL]. [2019-01-09]. https：//arxiv.org/pdf/1609.05473.pdf.

[20]WANG J， YU L， ZHANG W， et al. IRGAN： a minimax game for unifying generative and discriminative information retrieval models [C]// Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2017： 515-524.

[21]FEDUS W， GOODFELLOW I， DAI A M. MaskGAN： better text generation via filling in the_[J]. arXiv preprint arXiv：1801.07736， 2018.

FEDUS W， GOODFELLOW I， DAI A M. MaskGAN： better text generation via filling in the_? [EB/OL]. [2019-01-09]. http：//export.arxiv.org/pdf/1801.07736.

[22]SUTTON R S， BARTO A G. Reinforcement learning： an introduction [EB/OL]. [2019-01-08]. http：//users.umiacs.umd.edu/～hal/courses/2016F_RL/RL9.pdf.

[23]SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks [C]// Advances in neural information processing systems. 2014： 3104-3112.

SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks [EB/OL]. [2019-01-08]. https：//arxiv.org/pdf/1409.3215.pdf.

[24]CHO K， van MERRIENBOER B， GULCEHRE C， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）. 2014： 1724-1734.

CHO K， van MERRIENBOER B， GULCEHRE C， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation [EB/OL]. [2019-01-08]. https：//arxiv.org/pdf/1406.1078.pdf.

[25]SUTTON R S， MCALLESTER D A， SINGH S P， et al. Policy gradient methods for reinforcement learning with function approximation [C]// Advances in neural information processing systems. 2000： 1057-1063.

SUTTON R S， MCALLESTER D A， SINGH S P， et al. Policy gradient methods for reinforcement learning with function approximation [EB/OL]. [2019-01-09]. https：//www.docin.com/p-1195188340.html.

[26]WATKINS C J C H. Learning from delayed rewards [D]. Cambridge： Kings College， 1989.

[27]KINGMA D P， BA J. Adam： a method for stochastic optimization[J]. arXiv preprint arXiv：1412.6980， 2014.

KINGMA D P， BA J L. Adam： a method for stochastic optimization [EB/OL]. [2019-01-09]. https：//arxiv.org/pdf/1412.6980.pdf.

[28]DUCHI J， HAZAN E， SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization [J]. Journal of Machine Learning Research， 2011， 12： 2121-2159.

[29]HAN X， CAO S， LV X， et al. OpenKE： an open toolkit for knowledge embedding [C]// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing： System Demonstrations. 2018： 139-144.

HAN X， CAO S， LV X， et al. OpenKE： an open toolkit for knowledge embedding [EB/OL]. [2019-01-09]. http：//nlp.csai.tsinghua.edu.cn/～lzy/publications/emnlp2018_openke.pdf.

This work is partially supported by the National Natural Science Foundation of China （U1613216， 61573386）， the Science and Technology Planning Project of Guangdong Province （2017B010110011）.

ZHANG Zhao， born in 1994， M.S. candidate. His research interests include knowledge representation learning， knowledge graph， natural language processing.

JI Jianmin， born in 1984， Ph. D.， associate professor. His research interests include cognitive robot， knowledge representation and reasoning.

CHEN Xiaoping， born in 1955， Ph. D.， professor. His research interests include logic based artificial intelligence， multi-agent system， intelligent robot.