剛剛，ACL2019最佳論文獎出爐，劉群團(tuán)隊(duì)獲最佳長論文獎

本文作者：楊曉凡

2019-07-31 22:31

專題：ACL 2019

導(dǎo)語：劉群團(tuán)隊(duì)獲最佳長論文獎

雷鋒網(wǎng) AI 科技評論按：剛剛，ACL2019最佳論文出爐，共八篇文章獲獎。其中包含一篇最佳長論文、一篇最佳短論文、五篇杰出論文、一篇最佳 Demo 論文。

值得注意的是，最佳長論文獎、最佳短論文獎以及兩篇杰出論文獎（共 5 篇）一作皆為華人。

其中最佳長論文獎由張文（計(jì)算所）、馮洋（計(jì)算所）、孟凡東（騰訊）、Di You（Worcester）和劉群（華為諾亞方舟）獲得。最佳短論文由俄亥俄州立大學(xué)的Nanjiang Jiang獲得。

南京理工大學(xué)夏睿團(tuán)隊(duì)和港科大的 Pascale Fung 團(tuán)隊(duì)分別獲得了杰出論文獎。

雷鋒網(wǎng) AI 科技評論把論文頒獎情況介紹如下。

最佳長論文獎

Bridging the Gap between Training and Inference for Neural Machine Translation，彌補(bǔ)神經(jīng)機(jī)器翻譯在訓(xùn)練和推理過程之間的缺口

論文作者：Wen Zhang, Yang Feng（馮洋）, Fandong Meng, Di You and Qun Liu（劉群）

論文地址：https://arxiv.org/abs/1906.02448

獲獎理由：

該論文解決了seq2seq轉(zhuǎn)換中長期存在的暴露偏差問題；
論文所提出的解決方案是：判斷依據(jù)在“基于參考文本中的詞”和“解碼器自己的輸出中預(yù)選擇詞”兩種之間切換
這個方法適用于當(dāng)前的teacher-forcing訓(xùn)練范式，并改進(jìn)了規(guī)劃抽樣；
論文的實(shí)驗(yàn)做的非常完善，結(jié)果令人信服，并可能影響機(jī)器翻譯未來的工作；
該方法也適用于其他seq2seq任務(wù)。

論文摘要：

神經(jīng)機(jī)器翻譯（NMT）是以上下文為條件來預(yù)測下一個詞，從而順序地生成目標(biāo)詞。在訓(xùn)練時，它以ground truth詞匯作為上下文進(jìn)行預(yù)測；而在推理時，它必須從頭開始生成整個序列。反饋上下文信息的這種差異會導(dǎo)致誤差累積。此外，詞級訓(xùn)練要求所生成的序列與ground truth序列之間嚴(yán)格匹配，這導(dǎo)致對不同的但合理的翻譯的過度校正。在本文中，我們在模型訓(xùn)練中不僅從ground truth序列還從預(yù)測序列中來采樣上下文，其中預(yù)測序列是用句子級最優(yōu)來選擇的。我們在Chinese->English 和 WMT'14 English->German的翻譯任務(wù)的實(shí)驗(yàn)結(jié)果表明，我們的方法可以在多個數(shù)據(jù)集上實(shí)現(xiàn)顯著的改進(jìn)。

最佳短論文獎

剛剛，ACL2019最佳論文獎出爐，劉群團(tuán)隊(duì)獲最佳長論文獎

Do you know that Florence is packed with visitors? Evaluating state-of-the-art models of speaker commitment，“你知不知道佛羅倫薩全都是游客？”，評價最先進(jìn)的說話人承諾模型

論文作者：Nanjiang Jiang, Marie-Catherine de Marneffe

論文地址：https://www.aclweb.org/anthology/P19-1412

獲獎理由：

這篇論文展示出了帶有語言學(xué)知識的模型的巨大潛力
對基于規(guī)則的和雙向LSTM這兩種最先進(jìn)的說話人承諾模型進(jìn)行了系統(tǒng)的評價
論文中的語言學(xué)分析給人啟發(fā)，也展現(xiàn)出了系統(tǒng)的優(yōu)勢和劣勢

論文摘要：

當(dāng)一個人，比如 Mary，問你「你知不知道佛羅倫薩全都是游客？」，我們會認(rèn)為她相信佛羅倫薩全都是游客；但如果她問「你覺得佛羅倫薩游客多嗎？」，我們就不會這樣認(rèn)為。推斷說話人承諾（或者說事件真實(shí)度）是問答和信息提取任務(wù)中的關(guān)鍵部分。在這篇論文中，作者們探索了這樣一個假說：語言學(xué)信息的缺乏會影響說話人承諾模型中的錯誤模式。他們的驗(yàn)證方式是在一個有挑戰(zhàn)性的自然語言數(shù)據(jù)集上分析模型錯誤的語言學(xué)關(guān)聯(lián)性。作者們在 CommitmentBank 這個由自然英語對話組成的數(shù)據(jù)集上評價了兩個目前最好的說話人承諾模型。CommitmentBank 數(shù)據(jù)集已經(jīng)經(jīng)過了說話人承諾標(biāo)注，方式是在 4 種取消蘊(yùn)含的環(huán)境中向著時態(tài)嵌入動詞（比如知道、認(rèn)為）的補(bǔ)充內(nèi)容進(jìn)行標(biāo)注。作者們發(fā)現(xiàn)，一個帶有語言學(xué)知識的模型能展現(xiàn)比基于 LSTM 的模型更好的表現(xiàn)，這表明如果想要在這樣的有挑戰(zhàn)性的自然語言數(shù)據(jù)中捕捉這些信息的話，語言學(xué)知識是必不可少的。對語言學(xué)特征的逐項(xiàng)分析展現(xiàn)出了不對稱的錯誤模式：雖然模型能在某些狀況下得到好的表現(xiàn)（比如否定式），但它很難泛化到更豐富的自然語言的語言學(xué)結(jié)構(gòu)中（比如條件句式），這表明還有很大提升的空間。

杰出論文獎（五篇）

一：Emotion-Cause Pair Extraction: A New Task to Emotion Analysis in Texts，情緒-原因?qū)Φ奶崛。何谋厩楦蟹治鲋械囊粋€新任務(wù)

論文作者：Rui Xia（夏睿）, Zixiang Ding

論文地址：https://arxiv.org/abs/1906.01267

獲獎理由：

提出了一項(xiàng)新的有趣的任務(wù)：在文本中通過聯(lián)合學(xué)習(xí)來識別情感及原因。
提出一個新的有趣的模型：兩種不同類型的多任務(wù)架構(gòu)，一種是任務(wù)獨(dú)立的，另一種是交互的。
根據(jù)相互作用的方向，實(shí)現(xiàn)情緒（精確度）或原因（召回）的改善。

論文摘要：

情緒原因提取（Emotion cause extraction ，ECE）是一項(xiàng)旨在提取文本中某些情緒背后潛在原因的任務(wù)，近年來由于其廣泛的應(yīng)用而受到了很多關(guān)注。然而，它有兩個缺點(diǎn)：1）情緒必須在ECE原因提取之前進(jìn)行標(biāo)注，這極大地限制了它在現(xiàn)實(shí)場景中的應(yīng)用；2）先標(biāo)注情緒然后提取原因的方式忽略了它們是相互指示的事實(shí)。在這項(xiàng)工作中，我們提出了一項(xiàng)新任務(wù)：情緒 - 原因?qū)μ崛。╡motion-cause pair extraction ，ECPE）。這個任務(wù)旨在提取文本中潛在的情緒-原因?qū)?。我們提出了兩步法來解決這個新的ECPE任務(wù)。首先通過多任務(wù)學(xué)習(xí)單獨(dú)地進(jìn)行的情緒提取和原因提取，然后進(jìn)行情緒-原因配對和過濾?；鶞?zhǔn)情緒-原因語料庫的實(shí)驗(yàn)結(jié)果證明了ECPE任務(wù)的可行性以及我們方法的有效性。

二：A Simple Theoretical Model of Importance for Summarization，文本摘要重要性的一個簡單的理論模型

剛剛，ACL2019最佳論文獎出爐，劉群團(tuán)隊(duì)獲最佳長論文獎

論文作者：Maxime Peyrard

論文地址：https://www.aclweb.org/anthology/P19-1101

獲獎理由：

這篇文章討論了自動文本摘要中長期存在的深層問題：如何衡量摘要內(nèi)容的適用性？
提出了「內(nèi)容重要性」的三部分理論模型
提出了建設(shè)性的評估指標(biāo)
文章中還與標(biāo)準(zhǔn)指標(biāo)和人類判斷進(jìn)行了比較

論文摘要：

摘要研究主要由經(jīng)驗(yàn)方法驅(qū)動，手工精心調(diào)制的系統(tǒng)在在標(biāo)準(zhǔn)數(shù)據(jù)集上表現(xiàn)良好，但其中的信息重要性卻處于隱含狀態(tài)。我們認(rèn)為建立重要性（Importance）的理論模型會促進(jìn)我們對任務(wù)的理解，并有助于進(jìn)一步改進(jìn)摘要系統(tǒng)。為此，我們提出了幾個簡單但嚴(yán)格定義的概念：冗余（Redundancy），相關(guān)性（Relevance）和信息性（Informativeness）。這些概念之前只是直觀地用于摘要，而重要性是這些概念統(tǒng)一的定量描述。此外，我們提供了建議變量的直觀解釋，并用實(shí)驗(yàn)證明了框架的潛力以知道后續(xù)工作。

三：Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems，用于面向任務(wù)的對話系統(tǒng)的可傳輸?shù)亩囝I(lǐng)域狀態(tài)生成器

剛剛，ACL2019最佳論文獎出爐，劉群團(tuán)隊(duì)獲最佳長論文獎

論文作者：Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher and Pascale Fung

論文地址：https://arxiv.org/abs/1905.08743

獲獎理由：

本文解決了傳統(tǒng)但未解決的問題：對話狀態(tài)跟蹤中看不見的狀態(tài)；表明可以從用戶話語中生成對話狀態(tài)；
新方法可擴(kuò)展到大值集（large value sets）并能處理以前看不見的值；
除了展示最先進(jìn)的結(jié)果外，本文還研究了針對新領(lǐng)域的few-shot學(xué)習(xí)。

論文摘要：

過度依賴領(lǐng)域本體和缺乏跨領(lǐng)域知識共享是對話狀態(tài)跟蹤的兩個實(shí)際存在但研究較少的問題?，F(xiàn)有方法通常在在推理過程中無法跟蹤未知slot 值，且通常很難適應(yīng)新領(lǐng)域。在本文中，我們提出了一個可轉(zhuǎn)換對話狀態(tài)生成器（Transferable Dialogue State Generator，TRADE）它使用復(fù)制機(jī)制從話語中生成對話狀態(tài)，當(dāng)預(yù)測在訓(xùn)練期間沒有遇到的（domain，slot，value）三元組時可以促使知識轉(zhuǎn)移。我們的模型由一個話語編碼器、slot gate、狀態(tài)生成器組成，它們跨域共享。實(shí)驗(yàn)結(jié)果表明，TRADE在人類對話數(shù)據(jù)集MultiWOZ的五個領(lǐng)域中實(shí)現(xiàn)了最先進(jìn)的聯(lián)合目標(biāo)準(zhǔn)確率48.62%。此外，我們通過模擬針對未見過的領(lǐng)域的zero-shot和few-shot對話狀態(tài)跟蹤，證明了其傳輸性能。在其中一個zero-shot域中TRADE實(shí)現(xiàn)了60.58%的聯(lián)合目標(biāo)準(zhǔn)確率，并且能夠適應(yīng)少數(shù)幾個案例而不會忘記已經(jīng)訓(xùn)練過的域。

四：We need to talk about standard splits，我們需要談?wù)剺?biāo)準(zhǔn)的數(shù)據(jù)集分割做法

剛剛，ACL2019最佳論文獎出爐，劉群團(tuán)隊(duì)獲最佳長論文獎

論文作者：Kyle Gorman and Steven Bedrick

論文地址：https://wellformedness.com/papers/gorman-bedrick-2019.pdf

獲獎理由：

本文質(zhì)疑了評估NLP模型時公認(rèn)且廣泛運(yùn)用的方法；
本文提出了幾種關(guān)于數(shù)據(jù)集的標(biāo)準(zhǔn)拆分方法；
本文使用POS標(biāo)記說明了問題；
本文建議系統(tǒng)排名應(yīng)當(dāng)基于使用隨機(jī)分組的重復(fù)評估方法

論文摘要：

語音和語言技術(shù)的標(biāo)準(zhǔn)做法是根據(jù)在一個測試集上的性能來對系統(tǒng)進(jìn)行排名。然而很少有研究人員用統(tǒng)計(jì)的方法來測試性能之間的差異是否是由偶然原因造成的，且很少有人檢查同一個數(shù)據(jù)集中分割出不同的訓(xùn)練-測試集時的系統(tǒng)排名的穩(wěn)定性。我們使用了2000年至2018年間發(fā)布的九個詞性標(biāo)注器進(jìn)行復(fù)現(xiàn)實(shí)驗(yàn)，這些標(biāo)注器每個都聲稱在廣泛使用的標(biāo)準(zhǔn)的分割方式上獲得了最佳性能。然而當(dāng)我們使用隨機(jī)生成的訓(xùn)練-測試集分割時，根本無法可靠地重現(xiàn)某些排名。我們在此建議使用隨機(jī)生成的分割來進(jìn)行系統(tǒng)比較。

五：Zero-Shot Entity Linking by Reading Entity Descriptions，通過閱讀實(shí)體描述進(jìn)行零樣本實(shí)體鏈接

論文作者：Lajanugen Logeswaran, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Jacob Devlin and Honglak Lee

論文地址：https://arxiv.org/abs/1906.07348

獲獎理由：

本文提出了一種新穎的詞義消歧系統(tǒng)，專門用于提高稀少的和未見過的詞上的表現(xiàn)；
本文提出的感知選擇任務(wù)被視為連續(xù)任務(wù)，并且使用了資源的組合；
本文的結(jié)果富有洞察力，并且改善了現(xiàn)有水平。

論文摘要：

我們提出了zero-shot實(shí)體鏈接任務(wù)，其中mentions必須鏈接到?jīng)]有域內(nèi)標(biāo)記數(shù)據(jù)的未曾見過的實(shí)體。這樣做的目的是實(shí)現(xiàn)向高度專業(yè)化的領(lǐng)域的魯棒遷移，也因此我們不會假設(shè)有元數(shù)據(jù)或別名表。在這種設(shè)置中，實(shí)體僅通過文本描述進(jìn)行標(biāo)記，并且模型必須嚴(yán)格依賴語言理解來解析新實(shí)體。首先，我們表明對大型未標(biāo)記數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的閱讀理解模型可用于推廣到未曾見過的實(shí)體。其次，我們提出了一種簡單有效的自適應(yīng)預(yù)訓(xùn)練策略，我們將其稱為域自適應(yīng)預(yù)訓(xùn)練（domain-adaptive pre-training ，DAP），DAP可以解決與在新域中鏈接未見實(shí)體的域遷移問題。我們在為此任務(wù)構(gòu)建的新數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)，顯示了DAP在強(qiáng)預(yù)訓(xùn)練基線（包括BERT）上有所改進(jìn)。本文提供了數(shù)據(jù)集和代碼。

最佳 Demo 論文獎

OpenKiwi: An Open Source Framework for Quality Estimation

論文作者：Fabio Kepler, Jonay Trenous, Marcos Treviso, Miguel Vera and André F. T. Martins

論文地址：https://arxiv.org/abs/1902.08646

獲獎理由：

這是機(jī)器翻譯中第一個可以自由使用的用于執(zhí)行基于神經(jīng)的質(zhì)量估計(jì)的框架；
包含了WMT 2015-18基準(zhǔn)評估中四種最佳質(zhì)量評估系統(tǒng)的實(shí)現(xiàn)；
包含了易于使用的API和可復(fù)現(xiàn)的實(shí)驗(yàn)。

論文摘要：

我們介紹基于PyTorch的開源框架OpenKiwi，這個框架可用于翻譯質(zhì)量評估。OpenKiwi支持單詞級和句子級質(zhì)量評估系統(tǒng)的訓(xùn)練和測試，實(shí)現(xiàn)了WMT 2015-18 質(zhì)量評估比賽中的最佳系統(tǒng)。我們在WMT 2018（英-德 SMT 和NMT）的兩個數(shù)據(jù)集上對OpenKiwi進(jìn)行了基準(zhǔn)測試，在單詞級任務(wù)達(dá)到最先進(jìn)的水平，句子級任務(wù)中也能夠接近最先進(jìn)的水平。