0
雷鋒網(wǎng) AI 科技評論按：本篇屬于「頂會見聞系列」。Patrick Lewis 是 UCL 的自然語言處理博士生，早前參加了 EMNLP 2018，并在個人博客寫下了他的參會見聞，雷鋒網(wǎng) AI 科技評論對此進(jìn)行了有刪節(jié)的編譯。本文為頂會見聞的下篇，上篇可移步《「頂會見聞系列」之 EMNLP 2018 詳細(xì)參會見聞（上篇）》進(jìn)行閱讀。
EMNLP Session 2
《Adaptive Document Retrieval for Deep Question Answering》
《用于深度問答的自適應(yīng)文檔檢索》
作者： Bernhard Kratzwald，Stefan Feuerriegel
我覺得這項(xiàng)研究很有意思，因?yàn)樗臀覀冊?Bloomsbury AI 內(nèi)部做過的實(shí)驗(yàn)很像。他們的發(fā)現(xiàn)也和我們的很像，但不完全一樣。通常來說問答系統(tǒng)都會包含一個信息檢索（information retrieval）步驟，收集相關(guān)的文檔，然后有一個閱讀步驟從候選的文檔中提取回答。這篇論文的作者們研究了能否為文檔檢索設(shè)定一個自適應(yīng)的數(shù)目，這個數(shù)目的選擇取決于語料庫大小以及問題的類型。他們的研究動機(jī)來自于，他們的實(shí)驗(yàn)表明，隨著語料庫大小增大，首位答案的召回率會變得不穩(wěn)定，而且需要用到比較多的文檔；但是對于小的語料庫，比較多的文檔反倒會導(dǎo)致準(zhǔn)確率下降，因?yàn)槟Ｐ捅辉S多可疑的答案干擾了。在 Bloomsbury AI 的時候我們就發(fā)現(xiàn)，在找包含回答的那個自然段的時候，我們的文本閱讀器的表現(xiàn)總是比信息檢索的表現(xiàn)要好，這個答案干擾對于我們不是什么問題。
EMNLP Session 3
《Generating Syntactic Paraphrases》
《句法釋義的生成》
作者：Emilie Colin，Claire Gardent
兩名作者研究了句法釋義的產(chǎn)生。研究工作表明在句法約束條件下的句法生成將帶有獨(dú)特的句法釋義，而這些句法能夠從數(shù)據(jù)、文本或兩者的組合中生成。該任務(wù)被視為基于輸入與句法約束為條件的結(jié)構(gòu)化預(yù)測。同樣的輸入可以映射到多個輸出，且保證每個輸出可以滿足不同的句法約束。它們一共有 4 項(xiàng)任務(wù)：
輸入 RDF 三元組并生成文本。
輸入一個句子和一個約束，并生成文本。
輸入文本與 RDF 三元組，并生成含有 RFD 三元組的文本。
輸入文本與 RDF 三元組，并生成刪去 RDF 三元組的文本。
結(jié)果顯示，模型在所有的任務(wù)上表現(xiàn)良好，且語法約束極大地提升了 BLEU 得分。
EMNLP Session 4
我參加了主題為視覺問答（VQA）的第 4 個 session，可惜我不是很懂這個。會議將 RecipeQA 歸納到多模態(tài) QA 里，這讓我覺得很有意思，不過這個成果截止目前還沒有得到充分的研究。
《RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking Recipes.》
《RecipeQA：多模態(tài)理解食譜的挑戰(zhàn)數(shù)據(jù)集》
作者：semh Yagcioglu，Aykut Erdem，Erkut Erdem，Nazli Ikizler-Cinbis
作者留意到了當(dāng)今業(yè)界需要更多 QA 挑戰(zhàn)數(shù)據(jù)集的趨勢。他們借助食譜網(wǎng)站上的資料構(gòu)建了多模式程序化 RecipeQA 數(shù)據(jù)集。里頭的烹飪步驟分別附上了配圖，因此可視作多模式問答數(shù)據(jù)集。數(shù)據(jù)集只有中等大小（36K 個問-答對），大部分問題的形式是有多種選擇的完形填空。數(shù)據(jù)集中同時包含了視覺 QA 和文本 QA。跟 ProPara（一個類似的實(shí)體狀態(tài)跟蹤數(shù)據(jù)集）的對比讓我們發(fā)現(xiàn)了一些很有趣的事情。那就是這個數(shù)據(jù)集包含更多的實(shí)例，然而每個文檔上的標(biāo)簽卻要少得多。
EMNLP Session 5
我們通過 poster 在這個環(huán)節(jié)向公眾展示我們的 ShARC 工作成果。盡管開展的時間有點(diǎn)早（尤其是經(jīng)過前一天特別有意思的行業(yè)招待活動后！），以及 Poster 的位置不太理想，然而我們還是得到了了前來參觀的人們的積極反饋。我們希望能有更多人參與到我們的任務(wù)中來，很快我會在博客中更新一篇介紹 ShARC 數(shù)據(jù)集與解決任務(wù)的文章！
EMNLP Session 6
《emrQA: A Large Corpus for Question Answering on Electronic Medical Records》
《emrQA：電子病歷問答的大型語料庫》
作者： Anusri Pampari，Preethi Raghavan，Jennifer Liang ， Jian Peng
作者利用來自 i2b2 數(shù)據(jù)集的專家臨床記錄注釋。他們使用了半自動的數(shù)據(jù)集創(chuàng)建方法，從而得以根據(jù)電子化的醫(yī)療檔案創(chuàng)建包含了 40 萬個問題-證據(jù)對的大規(guī)模醫(yī)療 QA 數(shù)據(jù)集。他們追加發(fā)布了 100 萬個提問-邏輯形式對。此外，還增加一些在 SQuad 等流行機(jī)器理解數(shù)據(jù)集中不存在的任務(wù)。這些任務(wù)更加注重計(jì)算與時間順序推理，這對于醫(yī)學(xué)問題的回答來說至關(guān)重要。他們是按以下的方式去構(gòu)建數(shù)據(jù)集：
先收集相關(guān)領(lǐng)域的問題，然后將問題形成模板。
將模板與經(jīng)過專家注釋的邏輯形式進(jìn)行關(guān)聯(lián)。
使用現(xiàn)有的數(shù)據(jù)注釋集來批量生成問題和邏輯形式模版，進(jìn)而獲取答案。
目前可供他們使用的問題模板只有 680 個，尚不足以用來大范圍生成自然語言問題。
《HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering.》
《HotpotQA：用于多樣化、具有可解釋性的多跳問答的數(shù)據(jù)集》
作者： Yang Zhilin Yang，Peng Qi，Saizheng Zhang，Yoshua Bengio，William Cohen，Ruslan Salakhutdinov，Christopher D. Manning
HotPotQA 是一套全新的 QA 數(shù)據(jù)集，試圖涵蓋許多種不同的現(xiàn)象，其中包括：多跳閱讀、基于文本的推理、不同領(lǐng)域、可解釋性以及比較問題。HotPotQA 巧妙的地方在于，數(shù)據(jù)集中標(biāo)注出了哪些句子包含了回答問題所需要的事實(shí)，因此也要求模型不僅僅要回答問題，還要能用「引用」用于回答問題的論述。這些論述可以作為模型訓(xùn)練階段的監(jiān)督。它們將多跳問題分為兩大類：
類型 1：通過推斷完成第二步任務(wù)
類型 2：通過檢查多個限定內(nèi)容來獲取答案
所謂的比較問題也很新（但這個歸納總覺得還是有些武斷了，但它們的「多跳」屬性是確定的，因?yàn)槟Ｐ捅仨毣卮痍P(guān)于被比較的事物最終與答案進(jìn)行比較的問題）。
模型表明輔助論述在訓(xùn)練過程中起到了重要作用，然而他們的 BiDAF ++ 基線的表現(xiàn)與人類相比還是有點(diǎn)差了。
《Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering.》
《盔甲能夠進(jìn)行導(dǎo)電嗎？一套全新的 Open Book 問答數(shù)據(jù)集》
作者：Todor Mihaylov，Peter Clark，Tushar Khot，Ashish Sabharwal
又有一套小規(guī)模的 AI2 挑戰(zhàn)數(shù)據(jù)集要介紹給大家——OpenBook 數(shù)據(jù)集。數(shù)據(jù)集的主要任務(wù)是利用部分上下文進(jìn)行多跳推理。它提供了論述（以開放查詢的形式）和一個問題，這個問題是一個需要運(yùn)用論述和常識知識才能正確回答的多項(xiàng)選擇問題。該任務(wù)介于閱讀理解和開放式 QA 之間。數(shù)據(jù)集的體量非常小（5900 個問題 對應(yīng) 1,326 條論述的開放查詢），因此需要進(jìn)行一些遷移學(xué)習(xí)。和 Swag 一樣，他們在構(gòu)建數(shù)據(jù)集時會測試現(xiàn)有的系統(tǒng)是否表現(xiàn)不佳，來使數(shù)據(jù)集變得更具有挑戰(zhàn)性。這雖然在理論上聽起來很棒，但我懷疑它是否會引入難以被檢測到的偏差因素。
《Evaluating Theory of Mind in Question Answering》
《評價問答中的心智理論》
作者：Aida Nematzadeh，Kaylee Burns，Erin Grant，Alison Gopnik，Tom Griffiths
本文中的研究表明了一個有趣的變化。好的問答需要進(jìn)行推理，而不僅依賴信息的查找。作者想知道模型是否使用了正確的信息來回答問題？亦或純粹在作弊。BABI 任務(wù)不會檢測關(guān)于信念的推理。因此，作者設(shè)計(jì)了一套用于評估模型對于信念推理能力的任務(wù)，該任務(wù)被稱作「Sally Anne Tasks」。任務(wù)描述了一個相當(dāng)簡單的情境，這里頭 Sally 和 Anne 將與物體產(chǎn)生互動，但有些時候她們并不知道彼此之間當(dāng)下的狀態(tài)。我舉個例子：
Sally 把球放到盒子里，
Sally 離開了房間，
Anne 把球從盒子里取出并放入袋里。
然后 Sally 重新回到了房間。
當(dāng)模型被問到「莎莉要上哪去找球呢？」，正確的答案需要模型理解 Sally 始終相信球放在她一開始置放的位置，也就是盒子，而不是袋子。
他們測試了幾種不同的信念任務(wù)：
一階真實(shí)信念：例如 Sally 觀察到了一個物體運(yùn)動之后對它的信念
第一順序錯誤信念：例如 Sally 未觀察到一個物體運(yùn)動時對它的信念
第二個錯誤的信念：例如 Anne 對于 Sally 信念的想法
他們使用了 memn2n、一個多觀察者模型（具有 sally、anne 與觀察者的獨(dú)立記憶）、Entnet 以及關(guān)系網(wǎng)絡(luò)（relnet）。最終結(jié)果顯示一階信念對于模型來說更難理解，對人類（成人）來說就不難理解，具備外顯記憶的模型基本上會在信念問題上出現(xiàn)失誤，而 Entnet 和 relnet 則是在記憶問題上出現(xiàn)失誤。看來具有遞歸性質(zhì)的模型是構(gòu)建高階信念模型的必備。
EMNLP Session 7
我去參觀了一些小型 posters。有幾個讓我覺得非常有意思，在這里推薦其中的三個：
《Generating Natural Language Adversarial Examples.》
《生成自然語言的對抗性樣本》
作者：Moustafa Alzantot，Yash Sharma，Ahmed Elgohary，Bo-Jhang Ho，Mani Srivastava，Kai-Wei Chang
《Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion.》
《在翻譯中迷失：通過回溯條件學(xué)習(xí)雙語單詞映射》
作者：Armand Joulin，Piotr Bojanowski，Tomas Mikolov，HervéJégou，Edouard Grave
《Bayesian Compression for Natural Language Processing.》
《用于自然語言處理的貝葉斯壓縮》
作者： Nadezhda Chirkova，Ekaterina Lobacheva，Dmitry Vetrov
Keynote II：《Understanding the News that Moves Markets》
新聞報(bào)道如何推動市場前進(jìn)
主講人是 Gideon Mann（Bloomberg，L.P。）
這是一場很有意思的演講，提醒了我們?yōu)楹斡胸?zé)任創(chuàng)建一個強(qiáng)大 NLP 系統(tǒng)，并且在社會上一些至關(guān)重要的系統(tǒng)里進(jìn)行采用。然而我們應(yīng)該如何建立合適的檢查與平衡機(jī)制，以確保 nlp 系統(tǒng)中的缺陷不會引發(fā)巨大的社會動蕩？說真的，市場對于財(cái)經(jīng)新聞的極速反應(yīng)讓人既感到敬畏又恐懼。
EMNLP Session 8
生成領(lǐng)域會議：這是一個非常高質(zhì)量的 session。雖然我對該領(lǐng)域了解的不算多，但會議里有很多具有啟發(fā)性的工作，有一些我已經(jīng)想好了如何在工作中應(yīng)用。
《Integrating Transformer and Paraphrase Rules for Sentence Simplification.》
《集成 Transformer 和釋義規(guī)則用于句子簡化》
作者：Sanqiang Zhao，Rui Meng，Daqing He，Andi Saptono，Bambang Parmanto
本文任務(wù)試圖在保留原始含義的情況下對語言進(jìn)行簡化，以便于兒童或非母語人士理解。他們使用了 Transformer 模型和簡單的 PPDB KB 中的集成規(guī)則來增強(qiáng)簡化效果，并選擇更加精確的簡化規(guī)則。
模型整合規(guī)則的方式是引入一個新的損失，它會讓使用簡單的規(guī)則的可能性最大化，另外也會讓一個序列生成損失變小。另外，他們還利用了一個記憶簡化規(guī)則的框架來強(qiáng)化模型。
《Learning Neural Templates for Text Generation.》
《學(xué)習(xí)神經(jīng)模版用于文本生成》
作者：Sam Wiseman，Stuart Shieber，Alexander Rush
這項(xiàng)工作涉及到利用條件神經(jīng)半隱馬爾可夫模型進(jìn)行文本生成的學(xué)習(xí)模板。他們（正確地）認(rèn)為，通過自然語言模板生成的文本比直接神經(jīng)序列生成的文本更具備可解釋性和可控性。他們使用 wikiBio 數(shù)據(jù)集進(jìn)行文本生成，其中 wikidata 信息框通常用于對信息框的自然語言描述上。這是一個很酷的原創(chuàng)工作，使用了各種舊時熱門動態(tài)編程算法構(gòu)建的應(yīng)用程序。
《Multi-Reference Training with Pseudo-References for Neural Translation and Text Generation.》
《用于神經(jīng)翻譯和文本生成的偽參考多參考訓(xùn)練》
作者：Renjie Zheng， Mingbo Ma，Liang Huang
本文的工作重點(diǎn)在于盡可能為翻譯與生成任務(wù)生成更多的參考資料，基本上與釋義生成任務(wù)沒什么不同。文中陳述了一個（通常避而不談的、讓人難以啟齒的）明顯的事實(shí)，即存在指數(shù)級的有效的、保留了原語義的示意/參考轉(zhuǎn)換句子。他們提出可以用點(diǎn)陣構(gòu)建方法生成更多這樣的句子。他們首先展示了如何通過「硬性對齊」來進(jìn)行點(diǎn)陣構(gòu)建，1，通過合并相同的單詞壓縮現(xiàn)有的參考（也許是遞歸式地？），2，遍歷這個點(diǎn)陣，為所有從節(jié)點(diǎn)出發(fā)一直到點(diǎn)陣結(jié)尾的所有可能路線創(chuàng)建一個偽參考。
最后，他們通過語言模型中的語義相似性來擴(kuò)展「硬性對齊」，以便該「對齊」同樣可以用于同義詞。該方法的缺點(diǎn)是產(chǎn)生的句子結(jié)構(gòu)與原出處的差異不是很大。
EMNLP Session 9
這里我穿插參與了幾項(xiàng)不同的會議議程以及海報(bào)環(huán)節(jié)。
《Noise Contrastive Estimation and Negative Sampling for Conditional Models: Consistency and Statistical Efficiency.》
《用于噪聲對比估計(jì)與負(fù)抽樣的條件模型：一致性和統(tǒng)計(jì)效率》
作者： Zhuang Ma， Michael Collins
這個（主要是理論上的）工作主要著眼于噪聲對比估計(jì)排序、分類損失以及和 MLE 的一致性。作者發(fā)現(xiàn)基于排序的損失相比分類損失，在更多任務(wù)上更加具有一致性（僅在假設(shè)分區(qū)函數(shù)保持不變的情況下具有一致性），不過兩者都會隨著 K 值的增加而更加接近 MSE。
《Pathologies of Neural Models Make Interpretations Difficult》
《神經(jīng)模型的病理學(xué)使解釋變得困難》
作者：Shi Feng， Eric Wallace， Alvin Grissom II， Mohit Iyyer， Pedro Rodriguez， Jordan Boyd-Graber
這項(xiàng)工作試圖探究一旦閱讀理解問題因?yàn)閬G失單詞而「縮短」之后會發(fā)生什么。他們展示了一些例子，表明即使他們將問題簡化為單個詞仍然可以保持相同的答案。這個方法與一般常用的創(chuàng)建「對抗者」（不斷對輸入增加擾動，直到輸出發(fā)生變化）的方法正好相反。他們在判別答案時會刪除了一個在他們看來「最不重要」的詞。他們認(rèn)為，隨著輸入變得不明確，輸出的置信度應(yīng)該隨之降低，并且概率分布也會更松散。他們舉了一些例子：
SQUAD：「特斯拉把錢花在什么地方？」>「錢」（0.78 - > 0.91）
VQA：「這朵花是什么顏色」>「花」（0.83 - > 0.82）
他們最終提出了一種解決問題的方法，即是通過生成無用的樣本，然后訓(xùn)練模型遇到縮短的問題時把輸出的熵最大化。
《Adversarial Deep Averaging Networks for Cross-Lingual Sentiment Classification.》
《用于跨語言情感分類的對抗性深度平均網(wǎng)絡(luò)》
作者：Xilun Chen，Yu Sun，Ben Athiwaratkun，Claire Cardie，Kilian Weinberg
沒有別的語言比英語有更多的情緒數(shù)據(jù)。本文試圖通過利用資源豐富的語言來處理其他語言中的情感任務(wù)，作者試圖僅使用單語數(shù)據(jù)來學(xué)習(xí)語言的固定特征。他們在嵌入語言中使用了雙語/多語言詞嵌入和語言鑒別器網(wǎng)絡(luò)。
EMNLP Session 10
這段時間里我都在問題回答的分會場。
《Joint Multitask Learning for Community Question Answering Using Task-Specific Embeddings.》
使用任務(wù)特定嵌入進(jìn)行社區(qū)問答的聯(lián)合多任務(wù)學(xué)習(xí)
作者： Shafiq Joty，LluísMàrquez，Preslav Nakov
作者試圖利用圖形模型（很高興能在 QA 中看到這個）融合社區(qū)問答的三個任務(wù)來處理社區(qū)問答所面臨的問題。在社區(qū)問答中他們定義的三個任務(wù)分別是：
找到與新問題類似的問題
找到與新問題相關(guān)的答案
確認(rèn)一個帖子中某個問題的回答是否是一個好的答案
由于三個任務(wù)之間互相能夠受益，因此作者使用符合聯(lián)合規(guī)范的 CRF 將三者進(jìn)行建模，并使用 rmsprop 進(jìn)行訓(xùn)練，最后再通過 LoopyBP 進(jìn)行推理演算。
《What Makes Reading Comprehension Questions Easier?》
《是什么使得閱讀理解問題變得容易？》
作者： Saku Sugawara，Kentaro Inui，Satoshi Sekine，Akiko Aizawa
本文與我在 EMNLP 期間看到其他一些工作中反復(fù)提到的趨勢有關(guān)，其中包括有點(diǎn)相關(guān)但讀起來卻不是很有趣的最佳短篇論文獎。作者試圖評估不同 QA 數(shù)據(jù)集的難度。本文定義了一些啟發(fā)式方法來回答問題，并斷言如果能夠通過簡單的啟發(fā)式方法來回答問題，就說明這個問題很簡單。
在一些數(shù)據(jù)集中，尋找與問題最相似的句子是一個行之有效的回答問題的方法。Triviaqa、race、mctest、arc-e 和 arc-c 都是公認(rèn)的非常具有挑戰(zhàn)性的數(shù)據(jù)集，而其中 Qangaroo 則被發(fā)現(xiàn)有富有變化性，即是簡單的問題會非常簡單，而困難的問題則會非常困難。作者也充分思考了到底是這些問題回答起來有難度，還是這些問題就無法回答。
總的來說，TriviaQA、Quangaroo 和 ARC 被發(fā)現(xiàn)擁有相當(dāng)多「無法解決」的問題。
EMNLP Session 11
《The Importance of Being Recurrent for Modeling Hierarchical Structure》
《探究對層次化的結(jié)構(gòu)建模時，循環(huán)結(jié)構(gòu)的重要性》
作者：Ke Tran，Arianna Bisazza，Christof Monz
作者們專門探究了 LSTM 和 Tranformer 模型在那些對層次化結(jié)構(gòu)有專門要求的任務(wù)中的建模表現(xiàn)。他們觀察了模型生成的語言中賓語-動詞一致性以及邏輯推理的表現(xiàn)。他們得到了一個有意思的結(jié)論，和大多數(shù)人的直覺以及研究社區(qū)里大家積極投入的方向相反，他們發(fā)現(xiàn)基于 LSTM 的模型總是能以一個很小的、但是足以察覺到的差別勝過 Tranformer 模型?？蓜e忘了，Tranformer 模型是能有力地發(fā)現(xiàn)句子中不同的詞之間的相互聯(lián)系的。這個結(jié)果很難給出合理的解釋，但是理應(yīng)得到更多的研究，以及嘗試復(fù)現(xiàn)他們的結(jié)果。
最佳論文獎
《How Much Reading Does Reading Comprehension Require? A Critical Investigation of Popular Benchmarks》
《閱讀理解需要閱讀多少文本？對熱門 benchmark 的重點(diǎn)調(diào)查》
作者：Divyansh Kaushik，Zachary C. Lipton
這篇論文研究的課題很熱門、很簡單、也很自洽。作者們僅僅用問答的上下文或者問題來訓(xùn)練模型，有意識地不讓模型獲得理論上解決任務(wù)所必須的信息。今年 EMNLP 中還有幾篇論文也思考了類似的問題，作者們正確地引用了前幾年中的自然語言推理方面的類似的研究成果，以及其它相關(guān)設(shè)置的論文，很棒。
《Linguistically-Informed Self-Attention for Semantic Role Labeling》
《用于語義角色標(biāo)注的考慮語言學(xué)信息的自我注意力方法》
作者：Emma Strubell， Patrick Verga， Daniel Andor，David Weiss，Andrew McCallum
這是一項(xiàng)很棒的研究，他們的演講也非常棒。作者們首先指出，對于互聯(lián)網(wǎng)規(guī)模的自然語言處理應(yīng)用部署，快速、準(zhǔn)確、魯棒是非常關(guān)鍵的特性。作者們研究了語義角色標(biāo)注問題，他們通過增加針對語言現(xiàn)象的多任務(wù)學(xué)習(xí)技術(shù)，在領(lǐng)域內(nèi)和領(lǐng)域外都取得了明顯的進(jìn)步。他們通過引入一種新形式的自我注意力機(jī)制，「關(guān)注句法的自我注意力」（syntactically informed self attention），對 Tranformer 模型架構(gòu)進(jìn)行了增強(qiáng)。其中的一個注意力計(jì)算點(diǎn)會用來參與到單詞的句法計(jì)算點(diǎn)中。除此之外，他們用了 Tranformer 模型的不同層來計(jì)算其它各種語法內(nèi)容，比如姿態(tài)標(biāo)注、論述檢測、語義角色擴(kuò)張以及標(biāo)簽
《Phrase-Based & Neural Unsupervised Machine Translation》
《基于詞語的、無監(jiān)督的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯》
作者：Guillaume Lample， Myle Ott，Alexis Conneau， Ludovic Denoyer，Marc Aurelio Ranzato
在這個壓軸演講中，Guillaume 講解了這項(xiàng)（現(xiàn)在已經(jīng)名聲遠(yuǎn)揚(yáng)的）無監(jiān)督機(jī)器翻譯研究。這個過程可以被總結(jié)成三個步驟：
初始化：兩個語言分布可以通過無監(jiān)督地學(xué)習(xí)詞組到詞組、或者詞到詞的翻譯進(jìn)行粗略的對齊
語言建模：在每個語言中分別獨(dú)立地學(xué)習(xí)一個語言模型，它可以用來為句子降噪
反向翻譯：從一個已有的源句子開始，把這個句子通過現(xiàn)有模型翻譯成目標(biāo)語言，然后通過源語言到目標(biāo)語言的翻譯對這個句子進(jìn)行重構(gòu)。其中的差異就可以用來訓(xùn)練目標(biāo)語言到源語言的翻譯模型。
他們也展示了用他們的框架做風(fēng)格轉(zhuǎn)換的研究的預(yù)覽，真的超級棒。
哇，終于寫完了。好大一摞論文啊。
（下篇完）
這是「頂會見聞系列」之 EMNLP 2018 的下篇，大家可移步《「頂會見聞系列」之 EMNLP 2018 詳細(xì)參會見聞（上篇）》閱讀前面的精彩內(nèi)容。
via：https://www.patricklewis.io/post/emnlp2018/，雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
