0
| 本文作者： 栗峰 | 編輯：賈偉 | 2019-08-09 11:00 | 專題：ACL 2019 |
雷鋒網(wǎng)AI科技評(píng)論：ACL 2019已經(jīng)結(jié)束，但其空前的規(guī)模仍然震撼人心：2900多篇提交論文，660篇被接收，3000多名會(huì)議注冊(cè)人員，以及4個(gè)超過400人的研討會(huì)（比一些國(guó)際CS會(huì)議都大）。
值得一提的是，在本屆ACL中熱門話題（例如BERT系列、Transformers、機(jī)器翻譯等）受到熱烈關(guān)注，但除此之外還有一些新的趨勢(shì)，例如對(duì)抗學(xué)習(xí)、自然語言生成、知識(shí)圖譜等。以知識(shí)圖譜為例，本次會(huì)議中共有30篇接收論文，大約占了所有接收論文的5%。
會(huì)后總結(jié)是優(yōu)秀學(xué)者的必要行動(dòng)。隨著ACL會(huì)議的結(jié)束，在網(wǎng)上已經(jīng)先后出現(xiàn)了多篇關(guān)于ACL大會(huì)上各細(xì)分領(lǐng)域的總結(jié)文章。
例如來自德國(guó)Fraunhofer IAIS的研究科學(xué)家Michael Galkin近日便在Medium上發(fā)表了一篇關(guān)于知識(shí)圖譜@ACL2019的總結(jié)文。
在會(huì)議中熱門話題受到熱烈關(guān)注，例如BERT系列、Transformers、機(jī)器翻譯等。但除此之外，還有一些新的趨勢(shì)，例如對(duì)抗學(xué)習(xí)、自然語言生成、知識(shí)圖譜等。知識(shí)圖譜在本次會(huì)議中共有30篇接收論文，大約占了所有接收論文的5%。
文章本文則圍繞ACL大會(huì)上關(guān)于主要探討知識(shí)圖譜（KG）的研究進(jìn)行了詳細(xì)且完整的探討的內(nèi)容，。
共包含五個(gè)部分分別為：
1、基于知識(shí)圖譜的對(duì)話系統(tǒng)
2、知識(shí)圖譜事實(shí)的自然語言生成
3、基于知識(shí)圖譜的問答
4、基于知識(shí)圖譜的NER和關(guān)系鏈接
5、知識(shí)圖譜嵌入和圖表示
對(duì)話系統(tǒng)，傳統(tǒng)上分為目標(biāo)導(dǎo)向的agent和閑聊agent兩種。所謂目標(biāo)導(dǎo)向agent，即幫助用戶去完成某項(xiàng)任務(wù)，例如幫忙預(yù)定餐桌或安排代駕等。閑聊agent即智能對(duì)話，具有互動(dòng)性、娛樂性和話題性。
近來，我們可能聽到太多關(guān)于深度神經(jīng)網(wǎng)絡(luò)構(gòu)建端到端（不需要特定通道）對(duì)話系統(tǒng)的工作。然而，現(xiàn)在越來越明顯的一個(gè)趨勢(shì)就是，無論在目標(biāo)導(dǎo)向還是閑聊的agent中都需要擁有一些知識(shí)，前者需要領(lǐng)域知識(shí)，后者需要常識(shí)知識(shí)。
1、關(guān)于集成知識(shí)的趨勢(shì)，ACL主席周明在大會(huì)主旨演講中已經(jīng)表達(dá)的很清楚了。演講中，他強(qiáng)調(diào)了將知識(shí)圖譜、推理和背景納入對(duì)話系統(tǒng)的重要性。我想補(bǔ)充的一點(diǎn)是，知識(shí)圖譜也將同時(shí)提高agent對(duì)話的可解釋性。
圖1：ACL主席周明演講中提到知識(shí)圖譜的重要性
2、在NLP for Conversational AI 研討會(huì)[1]中討論了更多此類細(xì)節(jié)問題。華盛頓大學(xué)的 Yejin Choi[2]提出了一種在對(duì)話中整合基于知識(shí)種子的常識(shí)推理（knowledge-seeded commonsense reasoning）的方法。
圖2：Yejin Choi on COMET
3、亞馬遜的Ruhi Sarikaya[3]證實(shí)，Alexa有一部分仍需要在帶有從結(jié)構(gòu)源（例如圖）中提取知識(shí)的通道模式下執(zhí)行。
4、微軟研究院的Jianfeng Gao[4]闡釋了小冰是如何利用結(jié)構(gòu)化信息與用戶互動(dòng)的。值得注意的是，小冰目前為止仍然保持著最長(zhǎng)人機(jī)對(duì)話的記錄（23輪）。
5、Facebook AI的Moon等人[5]在2019年推出了OpenDialKG，這是一個(gè)新的開放式對(duì)話知識(shí)圖譜并行語料庫，有15K的標(biāo)注對(duì)話、91K輪（基于1M三元組、100k實(shí)體和1358個(gè)關(guān)系的Freebase子集）。這在構(gòu)建基于知識(shí)圖譜的對(duì)話系統(tǒng)上邁出了巨大的一步，希望Facebook的工作也會(huì)鼓勵(lì)到其他人。此外，作者提出了一種新穎的DialKG Walk架構(gòu)，能夠利用帶有一個(gè)基于注意力圖譜路徑解碼的E2E方式的知識(shí)圖譜。
圖3：ACL上FacebookAI 對(duì)OpenDialKG的報(bào)告
唯一值得擔(dān)心的是選定的圖（Freebase）從2014年起就正式停用了，并且很長(zhǎng)時(shí)間里都沒有支持了?；蛟S是時(shí)候該將社區(qū)數(shù)據(jù)切換到維基數(shù)據(jù)了？
生成連貫的自然語言話語（例如從結(jié)構(gòu)化數(shù)據(jù)）是一個(gè)熱門的新興話題。純粹的神經(jīng)端到端 NLG模型試圖解決的是生成“非?？菰铩钡奈谋镜膯栴}，而結(jié)構(gòu)化數(shù)據(jù)的NLG在表達(dá)自然語言的固有結(jié)構(gòu)方面則更具有挑戰(zhàn)性。知識(shí)圖譜難以用語言表述。例如，你可以從一個(gè)三元組(Berlin, capitalOf, Germany)生成多個(gè)不同的句子，但當(dāng)你有一組連接的三元組時(shí)(Berlin, capitalOf, Germany) (World_Cup_2006, hostedBy, Germany)時(shí)，以下哪個(gè)選項(xiàng)更有效呢？
l “Berlin is the capital of Germany which hosted the World Cup 2006”
l “Berlin is the capital of the country where World Cup 2006 took place”
令人驚訝的是，ACL會(huì)議中展示了相當(dāng)多關(guān)于知識(shí)圖譜三元組描述（verbalizing triples in KGs）的內(nèi)容。
首先，我要提一下由IBM研究院組織的關(guān)于storytelling研討會(huì)[6]，在這個(gè)研討會(huì)上提出了大量解決三元組描述問題的比賽和可行的方案。（可以去看相關(guān)的slides）.
在Logan等人展示的論文[7]和poster中，他們建議應(yīng)當(dāng)將語言模型（例如OpenAI GPT）與知識(shí)圖譜嵌入結(jié)合使用。作者還介紹了一個(gè)新的數(shù)據(jù)集Linked WikiText-2[8]，數(shù)據(jù)集中訓(xùn)練集包含了從Wikidata中標(biāo)注的41K個(gè)實(shí)體和1.5K個(gè)關(guān)系。
圖4：Taken from Logan et al.
在Logan等人展示的論文和poster中，他們建議應(yīng)當(dāng)將語言模型（例如OpenAI GPT）與知識(shí)圖譜嵌入結(jié)合使用。作者還介紹了一個(gè)新的數(shù)據(jù)集Linked WikiText-2，數(shù)據(jù)集中訓(xùn)練集包含了從Wikidata中標(biāo)注的41K個(gè)實(shí)體和1.5K個(gè)關(guān)系。
事實(shí)上并僅僅是在ACL 2019上有這些文章，在最近的NAACL 2019中，Moryossef等人的一項(xiàng)工作[9]也于此相關(guān)，他們提出一種基于三元組的自然語言生成雙重模型Chimera（two-fold model for NLG over triples）。首先，在給定三元組的情況下，他們生成如圖（graph）一樣的文本方案，其中保留了給定三元組的組合型；然后對(duì)這些文本方案進(jìn)行打分排序；最后，運(yùn)行一個(gè)典型的具有復(fù)制機(jī)制的神經(jīng)機(jī)器翻譯（NMT）來生成文本句子。其實(shí)驗(yàn)評(píng)估是就WebNLG數(shù)據(jù)集，有意思的是這個(gè)數(shù)據(jù)集也使用了Wikidata實(shí)體和謂詞ID。
并不是源自ACL 2019，但仍然是最近的NAACL 2019中，Moryossef等人的一項(xiàng)非常相關(guān)的工作。提出Chimera - NLG超過三倍的雙重模型。首先，給定一組三元組，它們生成文本計(jì)劃作為圖形，其保留給定三元組的組合性，對(duì)它們進(jìn)行排名，并最終運(yùn)行具有復(fù)制機(jī)制的典型神經(jīng)機(jī)器翻譯（NMT）系統(tǒng)以生成文本句子。評(píng)估基于WebNLG數(shù)據(jù)集，該數(shù)據(jù)集也使用維基數(shù)據(jù)的實(shí)體和謂詞ID！
問答（作為一個(gè)閱讀理解任務(wù)）是追蹤類似BERT這樣大型模型進(jìn)展的流行基準(zhǔn)之一。
“基于知識(shí)圖譜的問答（KGQA）旨在為用戶提供一個(gè)界面，讓用戶能夠用自然語言提問，且能使用他們自己的術(shù)語，然后通過查詢知識(shí)圖譜來得到簡(jiǎn)明的答案?！?/p>
以上的定義我引用了Chakraborty等人[10]的定義。在QA任務(wù)中，知識(shí)圖譜為用戶提供了可解釋的結(jié)果（實(shí)際上，一個(gè)圖模式可以/不可以在目標(biāo)圖中找到）。此外，它還可以執(zhí)行閱讀理解系統(tǒng)無法實(shí)現(xiàn)的復(fù)雜推理。在這方面，ACL 2019有許多state-of-art的研究，你可以去查一查。
Saha等人的工作[11]是復(fù)雜序列問答（Complex Sequential Question Answering，CSQA）數(shù)據(jù)集（帶有Wikidata ID），這個(gè)數(shù)據(jù)集目前包含了基于知識(shí)圖譜的最困難的問題，例如，
l 聚合：“Which people are the patron saint of around the same number of occupations as Hildegard of Bingen?”
l 驗(yàn)證：“Is that administrative territory sister town of Samatice and Shamsi, Iran?”
l 以及更多組織為帶有「基于實(shí)體和關(guān)系的指代消除」的對(duì)話。
沒有記憶的方法及時(shí)在簡(jiǎn)單問題上訓(xùn)練也會(huì)表現(xiàn)出非常差的性能，現(xiàn)在看來你需要某種格式化語言或語法來執(zhí)行邏輯動(dòng)作和聚合。Saha等人介紹了一種包含幾個(gè)動(dòng)作（例如交集、知識(shí)圖譜嵌入查找等）的語法，強(qiáng)化學(xué)習(xí)用它來推導(dǎo)出能夠在對(duì)話環(huán)境中回答以上復(fù)雜問題的邏輯程序。
圖5：Taken from Saha et al.
Weber等人還在繼續(xù)研究神經(jīng)序言，這是一種將符號(hào)推理和標(biāo)準(zhǔn)化的學(xué)習(xí)方法結(jié)合在句子嵌入上的可微邏輯方法，可以直接應(yīng)用于自然語言文本，而不需要將它們轉(zhuǎn)換為邏輯形式，這種方法需要使用Prolog形式的推理來進(jìn)行邏輯查詢。因此，一方面，框架是基于模糊邏輯和預(yù)先訓(xùn)練句子的嵌入式模型。在我看來社區(qū)中的神經(jīng)邏輯方法被低估了，當(dāng)研究工作進(jìn)行到開始爭(zhēng)取真正的可解釋性時(shí)，期望在這個(gè)領(lǐng)域能得到更多的關(guān)注，因?yàn)檫@個(gè)理論以及上面的論文提供了一個(gè)非常有根據(jù)和可解釋性的機(jī)制，解釋了它們是如何推斷出一個(gè)特定的答案。Weber等人[12]研究的是神經(jīng)Prolog，這是一個(gè)可微邏輯方法（differentiable logic approach），它將符號(hào)推理和基于句子嵌入的規(guī)則學(xué)習(xí)方法結(jié)合了起來，可以字節(jié)應(yīng)用到自然語言文本中，而不需要將文本轉(zhuǎn)化為邏輯形式，且可以使用Prolog形式的推理來進(jìn)行邏輯查詢。因此，這個(gè)框架事實(shí)上是建立在模糊邏輯和預(yù)訓(xùn)練句子嵌入模型之上的。我認(rèn)為神經(jīng)邏輯方法目前在社區(qū)中是一個(gè)被嚴(yán)重低估的領(lǐng)域，這篇文章以及上篇文章都為它們是如何推理出特定答案提供了一個(gè)非?；A(chǔ)的可解釋的機(jī)制；因此當(dāng)研究人員想要在真實(shí)可解釋性方面開辟戰(zhàn)場(chǎng)時(shí)，我希望這個(gè)領(lǐng)域能夠得到足夠的重視。
圖6：Taken from Weber et al.
針對(duì)處理起來相對(duì)簡(jiǎn)單的KGQA數(shù)據(jù)集，Xiong等人[13]提出了一種基于不完整知識(shí)圖譜的QA，在這里需要進(jìn)行一些鏈接預(yù)測(cè)；Sydorova等人[14]在TextKBQA任務(wù)（有兩個(gè)知識(shí)源：圖和文本段落）上獲得了不錯(cuò)的結(jié)果。另外一種方法是Yang等人[15]提出的，他們使用了帶有KG（本例中使用的是wordNet和NELL）的BERT形式的閱讀理解模型。截止2019年3月，他們的KT-NET在SQuAD1.1和ReCoRD上的表現(xiàn)優(yōu)于純粹的MRC系統(tǒng)，這說明這是一個(gè)有前景的研究方法。
基于閱讀理解的QA系統(tǒng)目前仍然是比較火熱的領(lǐng)域，在本次會(huì)議中有多個(gè)oral和poster的session都是關(guān)于這一方面的，所以我敢肯定隨后會(huì)有一些關(guān)于這個(gè)方面更詳細(xì)的解讀。。簡(jiǎn)而言之，類似WikiHop或HotpotQA這樣的新數(shù)據(jù)集是針對(duì)整個(gè) Wikipedia文章進(jìn)行multi-hopQA，您需要結(jié)合幾篇文章中方法來回答一個(gè)問題。CommensenseQA包含了從搜索引擎日志中獲取的真實(shí)問題，因此系統(tǒng)需要建立莫衷類型的常識(shí)推理。如果你想從一堆完全無意義的樣本中區(qū)分出有意義的部分，那么你就需要使用對(duì)抗訓(xùn)練了，今年ACL也提供了幾篇文章（Zhu等人[16]和Wu等人[17]），他們的對(duì)抗訓(xùn)練還不錯(cuò)。
最后，要為了克服訓(xùn)練數(shù)據(jù)集較小的問題，Alberti等人[18]提供了一種改寫數(shù)據(jù)增強(qiáng)方案（paraphrasing data augmentation schema），能夠生成多達(dá)50M額外的問題來訓(xùn)練他們的系統(tǒng)，結(jié)果顯示F1值有+2到+3的提升。
今年的ACL大會(huì)中，“信息抽取”毫無疑問是最受歡迎和最引人注目的一個(gè)方向。而KG在信息提取的命名實(shí)體識(shí)別、實(shí)體鏈接、關(guān)系抽取、關(guān)系鏈接等方面也展現(xiàn)出了真正的優(yōu)勢(shì)。此外，在本次會(huì)議上也出現(xiàn)了許多新的（帶有Wikidata IDs的）數(shù)據(jù)集和方法。
Bosselut等人[19]寫的文章是在本次會(huì)議中我最喜歡的文章Top-3之一，在這篇文章中他們介紹了一種常識(shí)transformer架構(gòu)：COMET。
圖7：Taken from Bosselut et al.
在COMET中，他們將語言模型（例如GPT-2）與種子知識(shí)圖譜（例如ATOMIC）結(jié)合在了一起。給COMET輸入圖的種子元組，COMET便能學(xué)到圖的結(jié)構(gòu)和關(guān)系。此外，這個(gè)語言模型是用圖表示構(gòu)建而成，而不是傳統(tǒng)的生成結(jié)點(diǎn)和邊然后把它們加入到種子圖中。更酷的是，你還可以得到一個(gè)表示為自然文本元組（例如(take a nap, CAUSES, have energy)）的圖。用這個(gè)架構(gòu)在大型數(shù)據(jù)集（例如Wikidata）上測(cè)試應(yīng)該是一件非常有意思的事情。
新數(shù)據(jù)集和關(guān)系提取的基線模型（它們都是基于Wikidata實(shí)體和謂詞，很好！）Yao和Ye等人[20]提出了一個(gè)大型數(shù)據(jù)集DocRED，其中共102K個(gè)文檔，包含了6個(gè)實(shí)體類型、96個(gè)關(guān)系、2.5M個(gè)實(shí)體（沒有WikidataIDs），828K個(gè)句子。Trisedya等人[21]提出了一個(gè)包含255K文本三元對(duì)、280K個(gè)實(shí)體和158個(gè)謂詞的數(shù)據(jù)集，基于這個(gè)數(shù)據(jù)集還提出了一個(gè)任務(wù)（從給定自然語言句子中構(gòu)建知識(shí)圖譜）和一個(gè)基準(zhǔn)模型。此外，Chen等人[22]提出了一個(gè)關(guān)系相似性的數(shù)據(jù)集，包含426K三元組、112K個(gè)實(shí)體和188個(gè)關(guān)系。
在對(duì)信息提取的深入研究方面，Zhu等人[23]利用圖注意力網(wǎng)絡(luò)在關(guān)系鏈接方面取得不錯(cuò)的結(jié)果。他們將句子中的實(shí)體和關(guān)系組合建模為一個(gè)圖，并使用能夠識(shí)別多重關(guān)系（multi-hop relations）的GNN。結(jié)果在SOTA有重大的提升。
Soares等人[24]提出了一個(gè)關(guān)系學(xué)習(xí)的新方法——預(yù)訓(xùn)練一個(gè)大型模型（例如BERT），將句子輸入它的編碼器獲得關(guān)系的抽象概念，然后在例如Wikidata、TACRED或DBpedia等特定模式中進(jìn)行微調(diào)來獲得一個(gè)帶有相應(yīng)ID的真實(shí)的謂詞。這種方法具有很大的現(xiàn)實(shí)意義。通?；贙G的信息抽取方法都是為特定的本體（ontology）而設(shè)定的，所以你有多少本體你就需要有多少任務(wù)。這里作者從所有方案中提取了一些普適性的關(guān)系，這些關(guān)系你可以加入到你自己的方案中，從而減少大量重復(fù)性工作。這種方法在zero-shot和few-shot任務(wù)特別管用，在訓(xùn)練數(shù)據(jù)非常有限的情況下使用這種方式可以顯著地提高你的模型的精確度。
圖8：Taken from Soares et al.
在實(shí)體鏈接上，Logeswaran等人[25]提出使用類BERT的預(yù)訓(xùn)練閱讀理解模型來將實(shí)體鏈接推廣到未知領(lǐng)域的未知實(shí)體上。為此，他們引入了一個(gè)域自適應(yīng)預(yù)訓(xùn)練（DAP）策略，以及在未知領(lǐng)域zero-shot實(shí)體鏈接的新任務(wù)。盡管目前他們的數(shù)據(jù)集僅包含了Wikia的文章，不過我認(rèn)為將他們的框架應(yīng)用到包含多語言標(biāo)注和同義詞或定義明確的特定領(lǐng)域本體的知識(shí)圖譜上應(yīng)該不會(huì)有太大問題。
Hosseini等人[26]的工作研究了從自然語言文本中直接提取關(guān)系圖的問題，他們?cè)诙鄠€(gè)評(píng)估數(shù)據(jù)集上獲得了顯著的改善。Shaw等人[27]也完成了一個(gè)類似的工作，他們用圖網(wǎng)絡(luò)（GNN這些天確實(shí)比較火）來獲得帶有實(shí)體的邏輯形式。
Wu等人[28]研究了KG中的關(guān)系表示，并提出一種表示適配模型（Representation Adapter model），這個(gè)模型可以推廣到基于已有KG嵌入的未知關(guān)系當(dāng)中。作者在文章中還將SimpleQuestion（SQ）數(shù)據(jù)集調(diào)整為SimpleQuestions-Balance（SQB）數(shù)據(jù)集，使得訓(xùn)練/測(cè)試拆分中實(shí)體與虛擬的謂詞的分布更加平衡。
在命名實(shí)體識(shí)別（Named Entity Recognition，NER）上，我強(qiáng)烈推薦Lopez等人的文章“Fine-grained Entity Typing in Hyperbolic Space”[29]。使用可能涉及的實(shí)體&實(shí)體類型的二維列表（flat list），作者構(gòu)建了一個(gè)雙曲嵌入空間，來推斷涉及的上下文，并將一個(gè)實(shí)體類型賦予給一個(gè)實(shí)體。例如，給定一個(gè)句子“A list of novels by Agatha Christie published in …”，其中“Agatha Christie”將不僅被標(biāo)記為“human”，同時(shí)在更細(xì)粒度上會(huì)被標(biāo)記為“writer”類中。實(shí)際中，這個(gè)框架在UltraFine數(shù)據(jù)集上的訓(xùn)練可以劃分三級(jí)；在OntoNotes上，結(jié)果與SOTA方法旗鼓相當(dāng)。
圖9：Taken from Lopez et al.
可能有人會(huì)認(rèn)為NLP的會(huì)議不是一個(gè)學(xué)習(xí)關(guān)于圖表示的最佳場(chǎng)所，但在ACL這次會(huì)議上確實(shí)出現(xiàn)了許多有見解的論壇，它們嘗試從結(jié)構(gòu)和語義兩方面對(duì)知識(shí)圖譜進(jìn)行編碼。
Nathani等人[30]介紹了一種基于圖譜注意力網(wǎng)絡(luò)（graph attention networks，GAT）的知識(shí)圖譜嵌入方法，該方法在注意力機(jī)制中考慮了結(jié)點(diǎn)（node）和邊緣（edge）的特征。作者采用了多頭注意力架構(gòu)（multi-head attention architecture），并重點(diǎn)強(qiáng)調(diào)了學(xué)習(xí)關(guān)系表示。論文中對(duì)四個(gè)數(shù)據(jù)集（WN18RR、FB15k-237、NELL-995、Kinship）進(jìn)行的基準(zhǔn)測(cè)試中顯著提高了SOTA性能。實(shí)際上，這種方法要比ACL會(huì)議上同一天展示的（下面介紹的）另外一個(gè)方法要更好。
圖10：Taken from Nathani et al.
Bansal等人[31]提出了A2N的方法，這是一種帶有近鄰注意力（neighbourhood attention）的知識(shí)圖譜嵌入技術(shù)。作者在評(píng)估中證明，從近鄰中獲取信息可以更好地表示多重關(guān)系（multi-hop relation）。在關(guān)系預(yù)測(cè)的基準(zhǔn)測(cè)試中，A2N的表現(xiàn)與ConvEx相當(dāng)，有時(shí)候甚至更好。不過與前面提到的方法比起來要稍顯遜色一些。我建議，作者可以比較一下訓(xùn)練時(shí)間和內(nèi)存消耗。
圖11：A2N，Google提出一種新穎的知識(shí)圖嵌入方法，關(guān)注鄰居結(jié)點(diǎn)
Xu和Li的工作[32]和前兩篇工作有些不一樣，他們使用二面體群（不懂的同學(xué)請(qǐng)翻翻群論的書）來給KG嵌入的關(guān)系建模。要想讀懂這篇論文就需要堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)了（可以嘗試挑戰(zhàn)一下自己，?），簡(jiǎn)單來說就是，二面體群可以為謂詞的非阿貝爾成分（譯者注：所謂非阿貝爾即，A*B!= B*A）建模，例如parent_of * spouse_of != spouse_of * parent_of（這里*表示矩陣乘積）。此外，這種方法也能夠?qū)χ^詞見的對(duì)稱和反對(duì)稱關(guān)系進(jìn)行建模。這種方法在傳統(tǒng)基準(zhǔn)測(cè)試中的表現(xiàn)并不比ConvE好多少（這主要是因?yàn)閭鹘y(tǒng)基準(zhǔn)包含了大量的阿貝爾元素成分），不過在作者構(gòu)建的更側(cè)重于非阿貝爾元素的數(shù)據(jù)集FAMILY上它們能夠取得優(yōu)秀的成績(jī)。需要強(qiáng)調(diào)的是，這篇文章絕對(duì)值得一看，不過確實(shí)需要一些數(shù)學(xué)基礎(chǔ)。
Kutuzov等人[33]提出了一種構(gòu)建知識(shí)嵌入的新框架，在這個(gè)框架中他們不再使用基于向量的距離函數(shù)，而是采用基于圖的最優(yōu)測(cè)度（類似于最短路徑），并插入了自定義結(jié)點(diǎn)相似度函數(shù)（例如Leacock-Chodorow）。不過，雖然這種方法能夠提高推理速度，但卻沒有充分利用結(jié)點(diǎn)和邊的特征。作者表示將在未來的工作中進(jìn)一步完善，期待ing！
Stadelmeier和Pado兩人[34]提出了一個(gè)上下文路徑模型（context path model，CPM），目的是在傳統(tǒng)KG嵌入方法的基礎(chǔ)上提供一個(gè)可解釋層。作者在文章中建議使用兩個(gè)優(yōu)化分?jǐn)?shù)：1）路徑校正分?jǐn)?shù)；2）三元組和路徑之間的相關(guān)性分?jǐn)?shù)。
Wang等人[35]在他們的論文“On Evaluating Embedding Models for Knowledge Base Completion”中提出了KG嵌入評(píng)估中反復(fù)出現(xiàn)的一個(gè)問題：KG嵌入預(yù)測(cè)在邏輯上是否一致？例如在圖中我們會(huì)有一些規(guī)則，像：
“Roger can’t be friends with David” (instance level)；
“Humans can’t be made of Wood” (class level)
這意味著應(yīng)該考慮KG嵌入，并降低此類陳述出現(xiàn)的可能性。但作者發(fā)現(xiàn)現(xiàn)在大部分KG嵌入模型都會(huì)給相當(dāng)不切實(shí)際的三元組分配一個(gè)非零的概率值。
雷鋒網(wǎng)小結(jié)一點(diǎn)：1）越來越多的人開始將知識(shí)圖譜應(yīng)用在NLP的各種領(lǐng)域；2）關(guān)于知識(shí)圖譜的各種新數(shù)據(jù)和新任務(wù)越來越頻繁地出現(xiàn)。這些可以在會(huì)議議程中查到。
參考資料：
[1]https://sites.google.com/view/nlp4convai/
[2]https://homes.cs.washington.edu/~yejin/
[3]https://sites.google.com/site/ruhisarikaya01/home
[4] https://www.microsoft.com/en-us/research/people/jfgao/
[5] https://www.aclweb.org/anthology/P19-1081
[6] https://sites.google.com/view/acl-19-nlg/slides
[7] https://www.aclweb.org/anthology/P19-1598
[8] https://rloganiv.github.io/linked-wikitext-2/
[9]https://arxiv.org/abs/1904.03396
[10]https://arxiv.org/pdf/1907.09361.pdf
[11] https://www.mitpressjournals.org/doi/pdf/10.1162/tacl_a_00262
[12]https://arxiv.org/pdf/1906.06187.pdf
[13] https://www.aclweb.org/anthology/P19-1417
[14] https://www.aclweb.org/anthology/P19-1488
[15] https://www.aclweb.org/anthology/P19-1226
[16] https://www.aclweb.org/anthology/P19-1415
[17] https://www.aclweb.org/anthology/P19-1616
[18] https://www.aclweb.org/anthology/P19-1620
[19] https://www.aclweb.org/anthology/P19-1470
[20] https://arxiv.org/pdf/1906.06127.pdf
[21] https://www.aclweb.org/anthology/P19-1023
[22] https://www.aclweb.org/anthology/P19-1278
[23] https://www.aclweb.org/anthology/P19-1128
[24] https://www.aclweb.org/anthology/P19-1279
[25] https://www.aclweb.org/anthology/P19-1335
[26] https://www.mitpressjournals.org/doi/pdf/10.1162/tacl_a_00250
[27] https://www.aclweb.org/anthology/P19-1010
[28] https://www.aclweb.org/anthology/P19-1616
[29] https://arxiv.org/pdf/1906.02505.pdf
[30] https://www.aclweb.org/anthology/P19-1466
[31] https://www.aclweb.org/anthology/P19-1431
[32] https://www.aclweb.org/anthology/P19-1026
[33] https://www.aclweb.org/anthology/P19-1325
[34] https://www.aclweb.org/anthology/W19-4816
[35] https://arxiv.org/pdf/1810.07180.pdf
雷鋒網(wǎng)引用原文鏈接：https://medium.com/@mgalkin/knowledge-graphs-in-natural-language-processing-acl-2019-7a14eb20fce8
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
