0
雷鋒網(wǎng) AI 科技評(píng)論按：本篇屬于「頂會(huì)見聞系列」。Patrick Lewis 是 UCL 的自然語(yǔ)言處理博士生，早前參加了 EMNLP 2018，并在個(gè)人博客寫下了他的參會(huì)見聞，雷鋒網(wǎng) AI 科技評(píng)論對(duì)此進(jìn)行了有刪節(jié)的編譯。本文為頂會(huì)見聞的下篇，上篇可移步《「頂會(huì)見聞系列」之 EMNLP 2018 詳細(xì)參會(huì)見聞（上篇）》進(jìn)行閱讀。
EMNLP Session 2
《Adaptive Document Retrieval for Deep Question Answering》
《用于深度問(wèn)答的自適應(yīng)文檔檢索》
作者： Bernhard Kratzwald，Stefan Feuerriegel
我覺(jué)得這項(xiàng)研究很有意思，因?yàn)樗臀覀冊(cè)?Bloomsbury AI 內(nèi)部做過(guò)的實(shí)驗(yàn)很像。他們的發(fā)現(xiàn)也和我們的很像，但不完全一樣。通常來(lái)說(shuō)問(wèn)答系統(tǒng)都會(huì)包含一個(gè)信息檢索（information retrieval）步驟，收集相關(guān)的文檔，然后有一個(gè)閱讀步驟從候選的文檔中提取回答。這篇論文的作者們研究了能否為文檔檢索設(shè)定一個(gè)自適應(yīng)的數(shù)目，這個(gè)數(shù)目的選擇取決于語(yǔ)料庫(kù)大小以及問(wèn)題的類型。他們的研究動(dòng)機(jī)來(lái)自于，他們的實(shí)驗(yàn)表明，隨著語(yǔ)料庫(kù)大小增大，首位答案的召回率會(huì)變得不穩(wěn)定，而且需要用到比較多的文檔；但是對(duì)于小的語(yǔ)料庫(kù)，比較多的文檔反倒會(huì)導(dǎo)致準(zhǔn)確率下降，因?yàn)槟Ｐ捅辉S多可疑的答案干擾了。在 Bloomsbury AI 的時(shí)候我們就發(fā)現(xiàn)，在找包含回答的那個(gè)自然段的時(shí)候，我們的文本閱讀器的表現(xiàn)總是比信息檢索的表現(xiàn)要好，這個(gè)答案干擾對(duì)于我們不是什么問(wèn)題。
EMNLP Session 3
《Generating Syntactic Paraphrases》
《句法釋義的生成》
作者：Emilie Colin，Claire Gardent
兩名作者研究了句法釋義的產(chǎn)生。研究工作表明在句法約束條件下的句法生成將帶有獨(dú)特的句法釋義，而這些句法能夠從數(shù)據(jù)、文本或兩者的組合中生成。該任務(wù)被視為基于輸入與句法約束為條件的結(jié)構(gòu)化預(yù)測(cè)。同樣的輸入可以映射到多個(gè)輸出，且保證每個(gè)輸出可以滿足不同的句法約束。它們一共有 4 項(xiàng)任務(wù)：
輸入 RDF 三元組并生成文本。
輸入一個(gè)句子和一個(gè)約束，并生成文本。
輸入文本與 RDF 三元組，并生成含有 RFD 三元組的文本。
輸入文本與 RDF 三元組，并生成刪去 RDF 三元組的文本。
結(jié)果顯示，模型在所有的任務(wù)上表現(xiàn)良好，且語(yǔ)法約束極大地提升了 BLEU 得分。
EMNLP Session 4
我參加了主題為視覺(jué)問(wèn)答（VQA）的第 4 個(gè) session，可惜我不是很懂這個(gè)。會(huì)議將 RecipeQA 歸納到多模態(tài) QA 里，這讓我覺(jué)得很有意思，不過(guò)這個(gè)成果截止目前還沒(méi)有得到充分的研究。
《RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking Recipes.》
《RecipeQA：多模態(tài)理解食譜的挑戰(zhàn)數(shù)據(jù)集》
作者：semh Yagcioglu，Aykut Erdem，Erkut Erdem，Nazli Ikizler-Cinbis
作者留意到了當(dāng)今業(yè)界需要更多 QA 挑戰(zhàn)數(shù)據(jù)集的趨勢(shì)。他們借助食譜網(wǎng)站上的資料構(gòu)建了多模式程序化 RecipeQA 數(shù)據(jù)集。里頭的烹飪步驟分別附上了配圖，因此可視作多模式問(wèn)答數(shù)據(jù)集。數(shù)據(jù)集只有中等大?。?6K 個(gè)問(wèn)-答對(duì)），大部分問(wèn)題的形式是有多種選擇的完形填空。數(shù)據(jù)集中同時(shí)包含了視覺(jué) QA 和文本 QA。跟 ProPara（一個(gè)類似的實(shí)體狀態(tài)跟蹤數(shù)據(jù)集）的對(duì)比讓我們發(fā)現(xiàn)了一些很有趣的事情。那就是這個(gè)數(shù)據(jù)集包含更多的實(shí)例，然而每個(gè)文檔上的標(biāo)簽卻要少得多。
EMNLP Session 5
我們通過(guò) poster 在這個(gè)環(huán)節(jié)向公眾展示我們的 ShARC 工作成果。盡管開展的時(shí)間有點(diǎn)早（尤其是經(jīng)過(guò)前一天特別有意思的行業(yè)招待活動(dòng)后！），以及 Poster 的位置不太理想，然而我們還是得到了了前來(lái)參觀的人們的積極反饋。我們希望能有更多人參與到我們的任務(wù)中來(lái)，很快我會(huì)在博客中更新一篇介紹 ShARC 數(shù)據(jù)集與解決任務(wù)的文章！
EMNLP Session 6
《emrQA: A Large Corpus for Question Answering on Electronic Medical Records》
《emrQA：電子病歷問(wèn)答的大型語(yǔ)料庫(kù)》
作者： Anusri Pampari，Preethi Raghavan，Jennifer Liang ， Jian Peng
作者利用來(lái)自 i2b2 數(shù)據(jù)集的專家臨床記錄注釋。他們使用了半自動(dòng)的數(shù)據(jù)集創(chuàng)建方法，從而得以根據(jù)電子化的醫(yī)療檔案創(chuàng)建包含了 40 萬(wàn)個(gè)問(wèn)題-證據(jù)對(duì)的大規(guī)模醫(yī)療 QA 數(shù)據(jù)集。他們追加發(fā)布了 100 萬(wàn)個(gè)提問(wèn)-邏輯形式對(duì)。此外，還增加一些在 SQuad 等流行機(jī)器理解數(shù)據(jù)集中不存在的任務(wù)。這些任務(wù)更加注重計(jì)算與時(shí)間順序推理，這對(duì)于醫(yī)學(xué)問(wèn)題的回答來(lái)說(shuō)至關(guān)重要。他們是按以下的方式去構(gòu)建數(shù)據(jù)集：
先收集相關(guān)領(lǐng)域的問(wèn)題，然后將問(wèn)題形成模板。
將模板與經(jīng)過(guò)專家注釋的邏輯形式進(jìn)行關(guān)聯(lián)。
使用現(xiàn)有的數(shù)據(jù)注釋集來(lái)批量生成問(wèn)題和邏輯形式模版，進(jìn)而獲取答案。
目前可供他們使用的問(wèn)題模板只有 680 個(gè)，尚不足以用來(lái)大范圍生成自然語(yǔ)言問(wèn)題。
《HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering.》
《HotpotQA：用于多樣化、具有可解釋性的多跳問(wèn)答的數(shù)據(jù)集》
作者： Yang Zhilin Yang，Peng Qi，Saizheng Zhang，Yoshua Bengio，William Cohen，Ruslan Salakhutdinov，Christopher D. Manning
HotPotQA 是一套全新的 QA 數(shù)據(jù)集，試圖涵蓋許多種不同的現(xiàn)象，其中包括：多跳閱讀、基于文本的推理、不同領(lǐng)域、可解釋性以及比較問(wèn)題。HotPotQA 巧妙的地方在于，數(shù)據(jù)集中標(biāo)注出了哪些句子包含了回答問(wèn)題所需要的事實(shí)，因此也要求模型不僅僅要回答問(wèn)題，還要能用「引用」用于回答問(wèn)題的論述。這些論述可以作為模型訓(xùn)練階段的監(jiān)督。它們將多跳問(wèn)題分為兩大類：
類型 1：通過(guò)推斷完成第二步任務(wù)
類型 2：通過(guò)檢查多個(gè)限定內(nèi)容來(lái)獲取答案
所謂的比較問(wèn)題也很新（但這個(gè)歸納總覺(jué)得還是有些武斷了，但它們的「多跳」屬性是確定的，因?yàn)槟Ｐ捅仨毣卮痍P(guān)于被比較的事物最終與答案進(jìn)行比較的問(wèn)題）。
模型表明輔助論述在訓(xùn)練過(guò)程中起到了重要作用，然而他們的 BiDAF ++ 基線的表現(xiàn)與人類相比還是有點(diǎn)差了。
《Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering.》
《盔甲能夠進(jìn)行導(dǎo)電嗎？一套全新的 Open Book 問(wèn)答數(shù)據(jù)集》
作者：Todor Mihaylov，Peter Clark，Tushar Khot，Ashish Sabharwal
又有一套小規(guī)模的 AI2 挑戰(zhàn)數(shù)據(jù)集要介紹給大家——OpenBook 數(shù)據(jù)集。數(shù)據(jù)集的主要任務(wù)是利用部分上下文進(jìn)行多跳推理。它提供了論述（以開放查詢的形式）和一個(gè)問(wèn)題，這個(gè)問(wèn)題是一個(gè)需要運(yùn)用論述和常識(shí)知識(shí)才能正確回答的多項(xiàng)選擇問(wèn)題。該任務(wù)介于閱讀理解和開放式 QA 之間。數(shù)據(jù)集的體量非常?。?900 個(gè)問(wèn)題 對(duì)應(yīng) 1,326 條論述的開放查詢），因此需要進(jìn)行一些遷移學(xué)習(xí)。和 Swag 一樣，他們?cè)跇?gòu)建數(shù)據(jù)集時(shí)會(huì)測(cè)試現(xiàn)有的系統(tǒng)是否表現(xiàn)不佳，來(lái)使數(shù)據(jù)集變得更具有挑戰(zhàn)性。這雖然在理論上聽起來(lái)很棒，但我懷疑它是否會(huì)引入難以被檢測(cè)到的偏差因素。
《Evaluating Theory of Mind in Question Answering》
《評(píng)價(jià)問(wèn)答中的心智理論》
作者：Aida Nematzadeh，Kaylee Burns，Erin Grant，Alison Gopnik，Tom Griffiths
本文中的研究表明了一個(gè)有趣的變化。好的問(wèn)答需要進(jìn)行推理，而不僅依賴信息的查找。作者想知道模型是否使用了正確的信息來(lái)回答問(wèn)題？亦或純粹在作弊。BABI 任務(wù)不會(huì)檢測(cè)關(guān)于信念的推理。因此，作者設(shè)計(jì)了一套用于評(píng)估模型對(duì)于信念推理能力的任務(wù)，該任務(wù)被稱作「Sally Anne Tasks」。任務(wù)描述了一個(gè)相當(dāng)簡(jiǎn)單的情境，這里頭 Sally 和 Anne 將與物體產(chǎn)生互動(dòng)，但有些時(shí)候她們并不知道彼此之間當(dāng)下的狀態(tài)。我舉個(gè)例子：
Sally 把球放到盒子里，
Sally 離開了房間，
Anne 把球從盒子里取出并放入袋里。
然后 Sally 重新回到了房間。
當(dāng)模型被問(wèn)到「莎莉要上哪去找球呢？」，正確的答案需要模型理解 Sally 始終相信球放在她一開始置放的位置，也就是盒子，而不是袋子。
他們測(cè)試了幾種不同的信念任務(wù)：
一階真實(shí)信念：例如 Sally 觀察到了一個(gè)物體運(yùn)動(dòng)之后對(duì)它的信念
第一順序錯(cuò)誤信念：例如 Sally 未觀察到一個(gè)物體運(yùn)動(dòng)時(shí)對(duì)它的信念
第二個(gè)錯(cuò)誤的信念：例如 Anne 對(duì)于 Sally 信念的想法
他們使用了 memn2n、一個(gè)多觀察者模型（具有 sally、anne 與觀察者的獨(dú)立記憶）、Entnet 以及關(guān)系網(wǎng)絡(luò)（relnet）。最終結(jié)果顯示一階信念對(duì)于模型來(lái)說(shuō)更難理解，對(duì)人類（成人）來(lái)說(shuō)就不難理解，具備外顯記憶的模型基本上會(huì)在信念問(wèn)題上出現(xiàn)失誤，而 Entnet 和 relnet 則是在記憶問(wèn)題上出現(xiàn)失誤?？磥?lái)具有遞歸性質(zhì)的模型是構(gòu)建高階信念模型的必備。
EMNLP Session 7
我去參觀了一些小型 posters。有幾個(gè)讓我覺(jué)得非常有意思，在這里推薦其中的三個(gè)：
《Generating Natural Language Adversarial Examples.》
《生成自然語(yǔ)言的對(duì)抗性樣本》
作者：Moustafa Alzantot，Yash Sharma，Ahmed Elgohary，Bo-Jhang Ho，Mani Srivastava，Kai-Wei Chang
《Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion.》
《在翻譯中迷失：通過(guò)回溯條件學(xué)習(xí)雙語(yǔ)單詞映射》
作者：Armand Joulin，Piotr Bojanowski，Tomas Mikolov，HervéJégou，Edouard Grave
《Bayesian Compression for Natural Language Processing.》
《用于自然語(yǔ)言處理的貝葉斯壓縮》
作者： Nadezhda Chirkova，Ekaterina Lobacheva，Dmitry Vetrov
Keynote II：《Understanding the News that Moves Markets》
新聞報(bào)道如何推動(dòng)市場(chǎng)前進(jìn)
主講人是 Gideon Mann（Bloomberg，L.P。）
這是一場(chǎng)很有意思的演講，提醒了我們?yōu)楹斡胸?zé)任創(chuàng)建一個(gè)強(qiáng)大 NLP 系統(tǒng)，并且在社會(huì)上一些至關(guān)重要的系統(tǒng)里進(jìn)行采用。然而我們應(yīng)該如何建立合適的檢查與平衡機(jī)制，以確保 nlp 系統(tǒng)中的缺陷不會(huì)引發(fā)巨大的社會(huì)動(dòng)蕩？說(shuō)真的，市場(chǎng)對(duì)于財(cái)經(jīng)新聞的極速反應(yīng)讓人既感到敬畏又恐懼。
EMNLP Session 8
生成領(lǐng)域會(huì)議：這是一個(gè)非常高質(zhì)量的 session。雖然我對(duì)該領(lǐng)域了解的不算多，但會(huì)議里有很多具有啟發(fā)性的工作，有一些我已經(jīng)想好了如何在工作中應(yīng)用。
《Integrating Transformer and Paraphrase Rules for Sentence Simplification.》
《集成 Transformer 和釋義規(guī)則用于句子簡(jiǎn)化》
作者：Sanqiang Zhao，Rui Meng，Daqing He，Andi Saptono，Bambang Parmanto
本文任務(wù)試圖在保留原始含義的情況下對(duì)語(yǔ)言進(jìn)行簡(jiǎn)化，以便于兒童或非母語(yǔ)人士理解。他們使用了 Transformer 模型和簡(jiǎn)單的 PPDB KB 中的集成規(guī)則來(lái)增強(qiáng)簡(jiǎn)化效果，并選擇更加精確的簡(jiǎn)化規(guī)則。
模型整合規(guī)則的方式是引入一個(gè)新的損失，它會(huì)讓使用簡(jiǎn)單的規(guī)則的可能性最大化，另外也會(huì)讓一個(gè)序列生成損失變小。另外，他們還利用了一個(gè)記憶簡(jiǎn)化規(guī)則的框架來(lái)強(qiáng)化模型。
《Learning Neural Templates for Text Generation.》
《學(xué)習(xí)神經(jīng)模版用于文本生成》
作者：Sam Wiseman，Stuart Shieber，Alexander Rush
這項(xiàng)工作涉及到利用條件神經(jīng)半隱馬爾可夫模型進(jìn)行文本生成的學(xué)習(xí)模板。他們（正確地）認(rèn)為，通過(guò)自然語(yǔ)言模板生成的文本比直接神經(jīng)序列生成的文本更具備可解釋性和可控性。他們使用 wikiBio 數(shù)據(jù)集進(jìn)行文本生成，其中 wikidata 信息框通常用于對(duì)信息框的自然語(yǔ)言描述上。這是一個(gè)很酷的原創(chuàng)工作，使用了各種舊時(shí)熱門動(dòng)態(tài)編程算法構(gòu)建的應(yīng)用程序。
《Multi-Reference Training with Pseudo-References for Neural Translation and Text Generation.》
《用于神經(jīng)翻譯和文本生成的偽參考多參考訓(xùn)練》
作者：Renjie Zheng， Mingbo Ma，Liang Huang
本文的工作重點(diǎn)在于盡可能為翻譯與生成任務(wù)生成更多的參考資料，基本上與釋義生成任務(wù)沒(méi)什么不同。文中陳述了一個(gè)（通常避而不談的、讓人難以啟齒的）明顯的事實(shí)，即存在指數(shù)級(jí)的有效的、保留了原語(yǔ)義的示意/參考轉(zhuǎn)換句子。他們提出可以用點(diǎn)陣構(gòu)建方法生成更多這樣的句子。他們首先展示了如何通過(guò)「硬性對(duì)齊」來(lái)進(jìn)行點(diǎn)陣構(gòu)建，1，通過(guò)合并相同的單詞壓縮現(xiàn)有的參考（也許是遞歸式地？），2，遍歷這個(gè)點(diǎn)陣，為所有從節(jié)點(diǎn)出發(fā)一直到點(diǎn)陣結(jié)尾的所有可能路線創(chuàng)建一個(gè)偽參考。
最后，他們通過(guò)語(yǔ)言模型中的語(yǔ)義相似性來(lái)擴(kuò)展「硬性對(duì)齊」，以便該「對(duì)齊」同樣可以用于同義詞。該方法的缺點(diǎn)是產(chǎn)生的句子結(jié)構(gòu)與原出處的差異不是很大。
EMNLP Session 9
這里我穿插參與了幾項(xiàng)不同的會(huì)議議程以及海報(bào)環(huán)節(jié)。
《Noise Contrastive Estimation and Negative Sampling for Conditional Models: Consistency and Statistical Efficiency.》
《用于噪聲對(duì)比估計(jì)與負(fù)抽樣的條件模型：一致性和統(tǒng)計(jì)效率》
作者： Zhuang Ma， Michael Collins
這個(gè)（主要是理論上的）工作主要著眼于噪聲對(duì)比估計(jì)排序、分類損失以及和 MLE 的一致性。作者發(fā)現(xiàn)基于排序的損失相比分類損失，在更多任務(wù)上更加具有一致性（僅在假設(shè)分區(qū)函數(shù)保持不變的情況下具有一致性），不過(guò)兩者都會(huì)隨著 K 值的增加而更加接近 MSE。
《Pathologies of Neural Models Make Interpretations Difficult》
《神經(jīng)模型的病理學(xué)使解釋變得困難》
作者：Shi Feng， Eric Wallace， Alvin Grissom II， Mohit Iyyer， Pedro Rodriguez， Jordan Boyd-Graber
這項(xiàng)工作試圖探究一旦閱讀理解問(wèn)題因?yàn)閬G失單詞而「縮短」之后會(huì)發(fā)生什么。他們展示了一些例子，表明即使他們將問(wèn)題簡(jiǎn)化為單個(gè)詞仍然可以保持相同的答案。這個(gè)方法與一般常用的創(chuàng)建「對(duì)抗者」（不斷對(duì)輸入增加擾動(dòng)，直到輸出發(fā)生變化）的方法正好相反。他們?cè)谂袆e答案時(shí)會(huì)刪除了一個(gè)在他們看來(lái)「最不重要」的詞。他們認(rèn)為，隨著輸入變得不明確，輸出的置信度應(yīng)該隨之降低，并且概率分布也會(huì)更松散。他們舉了一些例子：
SQUAD：「特斯拉把錢花在什么地方？」>「錢」（0.78 - > 0.91）
VQA：「這朵花是什么顏色」>「花」（0.83 - > 0.82）
他們最終提出了一種解決問(wèn)題的方法，即是通過(guò)生成無(wú)用的樣本，然后訓(xùn)練模型遇到縮短的問(wèn)題時(shí)把輸出的熵最大化。
《Adversarial Deep Averaging Networks for Cross-Lingual Sentiment Classification.》
《用于跨語(yǔ)言情感分類的對(duì)抗性深度平均網(wǎng)絡(luò)》
作者：Xilun Chen，Yu Sun，Ben Athiwaratkun，Claire Cardie，Kilian Weinberg
沒(méi)有別的語(yǔ)言比英語(yǔ)有更多的情緒數(shù)據(jù)。本文試圖通過(guò)利用資源豐富的語(yǔ)言來(lái)處理其他語(yǔ)言中的情感任務(wù)，作者試圖僅使用單語(yǔ)數(shù)據(jù)來(lái)學(xué)習(xí)語(yǔ)言的固定特征。他們?cè)谇度胝Z(yǔ)言中使用了雙語(yǔ)/多語(yǔ)言詞嵌入和語(yǔ)言鑒別器網(wǎng)絡(luò)。
EMNLP Session 10
這段時(shí)間里我都在問(wèn)題回答的分會(huì)場(chǎng)。
《Joint Multitask Learning for Community Question Answering Using Task-Specific Embeddings.》
使用任務(wù)特定嵌入進(jìn)行社區(qū)問(wèn)答的聯(lián)合多任務(wù)學(xué)習(xí)
作者： Shafiq Joty，LluísMàrquez，Preslav Nakov
作者試圖利用圖形模型（很高興能在 QA 中看到這個(gè)）融合社區(qū)問(wèn)答的三個(gè)任務(wù)來(lái)處理社區(qū)問(wèn)答所面臨的問(wèn)題。在社區(qū)問(wèn)答中他們定義的三個(gè)任務(wù)分別是：
找到與新問(wèn)題類似的問(wèn)題
找到與新問(wèn)題相關(guān)的答案
確認(rèn)一個(gè)帖子中某個(gè)問(wèn)題的回答是否是一個(gè)好的答案
由于三個(gè)任務(wù)之間互相能夠受益，因此作者使用符合聯(lián)合規(guī)范的 CRF 將三者進(jìn)行建模，并使用 rmsprop 進(jìn)行訓(xùn)練，最后再通過(guò) LoopyBP 進(jìn)行推理演算。
《What Makes Reading Comprehension Questions Easier?》
《是什么使得閱讀理解問(wèn)題變得容易？》
作者： Saku Sugawara，Kentaro Inui，Satoshi Sekine，Akiko Aizawa
本文與我在 EMNLP 期間看到其他一些工作中反復(fù)提到的趨勢(shì)有關(guān)，其中包括有點(diǎn)相關(guān)但讀起來(lái)卻不是很有趣的最佳短篇論文獎(jiǎng)。作者試圖評(píng)估不同 QA 數(shù)據(jù)集的難度。本文定義了一些啟發(fā)式方法來(lái)回答問(wèn)題，并斷言如果能夠通過(guò)簡(jiǎn)單的啟發(fā)式方法來(lái)回答問(wèn)題，就說(shuō)明這個(gè)問(wèn)題很簡(jiǎn)單。
在一些數(shù)據(jù)集中，尋找與問(wèn)題最相似的句子是一個(gè)行之有效的回答問(wèn)題的方法。Triviaqa、race、mctest、arc-e 和 arc-c 都是公認(rèn)的非常具有挑戰(zhàn)性的數(shù)據(jù)集，而其中 Qangaroo 則被發(fā)現(xiàn)有富有變化性，即是簡(jiǎn)單的問(wèn)題會(huì)非常簡(jiǎn)單，而困難的問(wèn)題則會(huì)非常困難。作者也充分思考了到底是這些問(wèn)題回答起來(lái)有難度，還是這些問(wèn)題就無(wú)法回答。
總的來(lái)說(shuō)，TriviaQA、Quangaroo 和 ARC 被發(fā)現(xiàn)擁有相當(dāng)多「無(wú)法解決」的問(wèn)題。
EMNLP Session 11
《The Importance of Being Recurrent for Modeling Hierarchical Structure》
《探究對(duì)層次化的結(jié)構(gòu)建模時(shí)，循環(huán)結(jié)構(gòu)的重要性》
作者：Ke Tran，Arianna Bisazza，Christof Monz
作者們專門探究了 LSTM 和 Tranformer 模型在那些對(duì)層次化結(jié)構(gòu)有專門要求的任務(wù)中的建模表現(xiàn)。他們觀察了模型生成的語(yǔ)言中賓語(yǔ)-動(dòng)詞一致性以及邏輯推理的表現(xiàn)。他們得到了一個(gè)有意思的結(jié)論，和大多數(shù)人的直覺(jué)以及研究社區(qū)里大家積極投入的方向相反，他們發(fā)現(xiàn)基于 LSTM 的模型總是能以一個(gè)很小的、但是足以察覺(jué)到的差別勝過(guò) Tranformer 模型。可別忘了，Tranformer 模型是能有力地發(fā)現(xiàn)句子中不同的詞之間的相互聯(lián)系的。這個(gè)結(jié)果很難給出合理的解釋，但是理應(yīng)得到更多的研究，以及嘗試復(fù)現(xiàn)他們的結(jié)果。
最佳論文獎(jiǎng)
《How Much Reading Does Reading Comprehension Require? A Critical Investigation of Popular Benchmarks》
《閱讀理解需要閱讀多少文本？對(duì)熱門 benchmark 的重點(diǎn)調(diào)查》
作者：Divyansh Kaushik，Zachary C. Lipton
這篇論文研究的課題很熱門、很簡(jiǎn)單、也很自洽。作者們僅僅用問(wèn)答的上下文或者問(wèn)題來(lái)訓(xùn)練模型，有意識(shí)地不讓模型獲得理論上解決任務(wù)所必須的信息。今年 EMNLP 中還有幾篇論文也思考了類似的問(wèn)題，作者們正確地引用了前幾年中的自然語(yǔ)言推理方面的類似的研究成果，以及其它相關(guān)設(shè)置的論文，很棒。
《Linguistically-Informed Self-Attention for Semantic Role Labeling》
《用于語(yǔ)義角色標(biāo)注的考慮語(yǔ)言學(xué)信息的自我注意力方法》
作者：Emma Strubell， Patrick Verga， Daniel Andor，David Weiss，Andrew McCallum
這是一項(xiàng)很棒的研究，他們的演講也非常棒。作者們首先指出，對(duì)于互聯(lián)網(wǎng)規(guī)模的自然語(yǔ)言處理應(yīng)用部署，快速、準(zhǔn)確、魯棒是非常關(guān)鍵的特性。作者們研究了語(yǔ)義角色標(biāo)注問(wèn)題，他們通過(guò)增加針對(duì)語(yǔ)言現(xiàn)象的多任務(wù)學(xué)習(xí)技術(shù)，在領(lǐng)域內(nèi)和領(lǐng)域外都取得了明顯的進(jìn)步。他們通過(guò)引入一種新形式的自我注意力機(jī)制，「關(guān)注句法的自我注意力」（syntactically informed self attention），對(duì) Tranformer 模型架構(gòu)進(jìn)行了增強(qiáng)。其中的一個(gè)注意力計(jì)算點(diǎn)會(huì)用來(lái)參與到單詞的句法計(jì)算點(diǎn)中。除此之外，他們用了 Tranformer 模型的不同層來(lái)計(jì)算其它各種語(yǔ)法內(nèi)容，比如姿態(tài)標(biāo)注、論述檢測(cè)、語(yǔ)義角色擴(kuò)張以及標(biāo)簽
《Phrase-Based & Neural Unsupervised Machine Translation》
《基于詞語(yǔ)的、無(wú)監(jiān)督的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯》
作者：Guillaume Lample， Myle Ott，Alexis Conneau， Ludovic Denoyer，Marc Aurelio Ranzato
在這個(gè)壓軸演講中，Guillaume 講解了這項(xiàng)（現(xiàn)在已經(jīng)名聲遠(yuǎn)揚(yáng)的）無(wú)監(jiān)督機(jī)器翻譯研究。這個(gè)過(guò)程可以被總結(jié)成三個(gè)步驟：
初始化：兩個(gè)語(yǔ)言分布可以通過(guò)無(wú)監(jiān)督地學(xué)習(xí)詞組到詞組、或者詞到詞的翻譯進(jìn)行粗略的對(duì)齊
語(yǔ)言建模：在每個(gè)語(yǔ)言中分別獨(dú)立地學(xué)習(xí)一個(gè)語(yǔ)言模型，它可以用來(lái)為句子降噪
反向翻譯：從一個(gè)已有的源句子開始，把這個(gè)句子通過(guò)現(xiàn)有模型翻譯成目標(biāo)語(yǔ)言，然后通過(guò)源語(yǔ)言到目標(biāo)語(yǔ)言的翻譯對(duì)這個(gè)句子進(jìn)行重構(gòu)。其中的差異就可以用來(lái)訓(xùn)練目標(biāo)語(yǔ)言到源語(yǔ)言的翻譯模型。
他們也展示了用他們的框架做風(fēng)格轉(zhuǎn)換的研究的預(yù)覽，真的超級(jí)棒。
哇，終于寫完了。好大一摞論文啊。
（下篇完）
這是「頂會(huì)見聞系列」之 EMNLP 2018 的下篇，大家可移步《「頂會(huì)見聞系列」之 EMNLP 2018 詳細(xì)參會(huì)見聞（上篇）》閱讀前面的精彩內(nèi)容。
via：https://www.patricklewis.io/post/emnlp2018/，雷鋒網(wǎng) AI 科技評(píng)論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
