0
雷鋒網(wǎng) AI科技評(píng)論按：本文將推薦4篇精選前沿論文，以供參考學(xué)習(xí)。每篇薦文將包含推薦人簡(jiǎn)評(píng)、推薦人研究方向等。如對(duì)論文有疑問(wèn)或者想進(jìn)一步交流，歡迎大家聯(lián)系推薦人共同討論。
本文內(nèi)容轉(zhuǎn)載自哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心 公眾號(hào)（微信ID：HIT_SCIR）的「賽爾推薦」欄目第0期，可關(guān)注公眾號(hào)獲得更多資訊。雷鋒網(wǎng)AI科技評(píng)論獲其授權(quán)轉(zhuǎn)載。
論文題目：A Knowledge-Grounded Neural Conversation Model（AAAI 2018）
作者：Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen-tau Yih, Michel Galley
推薦人：張偉男（研究方向：人機(jī)對(duì)話，自然語(yǔ)言處理）
論文主要相關(guān)：人機(jī)對(duì)話，神經(jīng)網(wǎng)絡(luò)模型，知識(shí)工程
簡(jiǎn)評(píng)：在傳統(tǒng)的 Encoder-Decoder 對(duì)話生成框架中，融入知識(shí)庫(kù)作為中間件，生成相關(guān)性更好、信息更豐富的回復(fù)。這篇文章的亮點(diǎn)在于在完全數(shù)據(jù)驅(qū)動(dòng)的端到端框架下，融入外部知識(shí)做生成內(nèi)容的控制，當(dāng)然完全數(shù)據(jù)驅(qū)動(dòng)以及端到端訓(xùn)練本身已經(jīng)不算什么新意，但將外部知識(shí)表示成若干的 Facts 并通過(guò)一個(gè)額外的記憶網(wǎng)絡(luò)編碼后加入到解碼過(guò)程中則是文章主要的創(chuàng)新點(diǎn)。實(shí)驗(yàn)設(shè)計(jì)中規(guī)中矩，對(duì)比系統(tǒng)略顯單薄。
論文題目：Annotation Artifacts in Natural Language Inference Data（NAACL 2018）
作者：Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel R. Bowman, Noah A. Smith
推薦人：劉一佳（研究方向：句法分析、語(yǔ)義分析）
論文主要相關(guān)：自然語(yǔ)言推理
簡(jiǎn)評(píng)：這是一篇即將發(fā)表在 NAACL 2018 上的論文。第一作者 Suchin Gururangan 來(lái)自華盛頓大學(xué)語(yǔ)言系，其余作者包括 Omer Levy、Sam Bowman、Noah Smith 等知名學(xué)者。本文提出一個(gè)值得討論的問(wèn)題：自然語(yǔ)言推理（NLI）數(shù)據(jù)在構(gòu)造的過(guò)程中存在一系列的人工模式，這種模式的直接后果是模型可以在不需要知道推理前提（premise）的條件下就可以以 67%的準(zhǔn)確率判斷推理假設(shè)（hypothesis）是否是蘊(yùn)含（entailment）中立（neural）或?qū)αⅲ╟ontradiction）。文中值得關(guān)注的地方包括：如何分析數(shù)據(jù)，發(fā)掘其中的人工模式；如何在發(fā)掘了人工模式的基礎(chǔ)上重新審視現(xiàn)有模型。另外，一個(gè)更泛化的問(wèn)題是：我們的模型是真的完成我們對(duì)于相應(yīng)任務(wù)的目標(biāo)，還是在單純「玩弄」數(shù)據(jù)？
論文鏈接：https://arxiv.org/pdf/1803.02324.pdf
論文題目：Dynamic Coattention Network for Question Answering（ICLR 2017）
作者：Caiming Xiong, Victor Zhong, Richard Socher
推薦人：施琦（研究方向：?jiǎn)柎鹣到y(tǒng)）
論文主要相關(guān)：基于文檔集的問(wèn)答（Document-based Question Answering）
簡(jiǎn)評(píng)：這是一篇發(fā)表于 ICLR 2017 上的文章，最近在 arxiv 上做了更新。本文在傳統(tǒng)的 seq2seq 框架的 encoder 部分中加入了 co-attention 機(jī)制去融合表示問(wèn)題和文檔信息，然后再通過(guò) Bi-LSTM 對(duì)已融合的信息和文檔再次融合，得到最終表示結(jié)果；Decoder 部分通過(guò) HMN 預(yù)測(cè)結(jié)果，并通過(guò) LSTM 保存歷史預(yù)測(cè)信息進(jìn)行動(dòng)態(tài)迭代。實(shí)驗(yàn)部分采用 EM 和 F1 來(lái)評(píng)價(jià)。文章主要亮點(diǎn)主要仍在于模型的創(chuàng)新，encoder 中的 co-attention 機(jī)制以及 decoder 中的動(dòng)態(tài)迭代機(jī)制。通過(guò)動(dòng)態(tài)迭代機(jī)制，可以避免模型陷入局部最優(yōu)解從而得到錯(cuò)誤的答案。
論文鏈接：https://arxiv.org/pdf/1611.01604.pdf
數(shù)據(jù)集鏈接：https://rajpurkar.github.io/SQuAD-explorer/
作者：David Alvarez-Melis, Tommi S. Jaakkola
推薦人：趙森棟（研究方向：文本挖掘）
論文主要相關(guān)：sequence-to-sequence 模型，預(yù)測(cè)的可解釋性，機(jī)器翻譯
簡(jiǎn)評(píng)：這是一篇理論性很強(qiáng)的文章，作者來(lái)自于著名的 MIT CSAIL(麻省理工人工智能實(shí)驗(yàn)室)。這篇文章的立意非常有意思，因?yàn)槲覀兌贾溃疃葘W(xué)習(xí)的可解釋性是很多人的一塊心病。本文試圖解釋神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作機(jī)制，旨在研究深度神經(jīng)網(wǎng)絡(luò) sequence-to-sequence 模型的輸入和輸出之間的因果關(guān)聯(lián)，進(jìn)而解釋輸入序列和輸出序列之間的映射關(guān)系。
很多 NLP 任務(wù)都用到的結(jié)構(gòu)預(yù)測(cè)模大多數(shù)不具有可解釋性。例如，很多面向 NLP 的深度學(xué)習(xí)模型中有大量的參數(shù)和復(fù)雜的結(jié)構(gòu)。這些黑盒系統(tǒng)雖然在很多 NLP 任務(wù)上都獲得了最好的結(jié)果，但是它們的結(jié)果卻不可解釋。如果模型有很好的解釋能力，那么好處是很明顯的。例如可以提高我們對(duì)模型的信任，可以更清楚的進(jìn)行錯(cuò)誤分析進(jìn)而對(duì)模型進(jìn)行更有針對(duì)性的優(yōu)化。例如，在醫(yī)療決策系統(tǒng)中，不可解釋、不能被醫(yī)學(xué)專家驗(yàn)證的預(yù)測(cè)是不被接受的。如果無(wú)法理解系統(tǒng)輸入是如何映射到輸出上的，那么對(duì)于錯(cuò)誤來(lái)源的分析也會(huì)是很大的挑戰(zhàn)。
目前對(duì)于可解釋性的研究，已有的工作主要從兩個(gè)角度來(lái)進(jìn)行：模型的可解釋性，即使結(jié)構(gòu)本身可解釋；和預(yù)測(cè)的可解釋性，即解釋模型的特定預(yù)測(cè)。尋求讓模型完全透明化是不太可能的。因此，在這篇文章中作者提出了一個(gè)針對(duì)預(yù)測(cè)可解釋性的新方法。這個(gè)方法會(huì)返回一個(gè)「解釋」，由一組輸入和輸出符號(hào)組成，并且輸入和輸出是因果相關(guān)的。這種因果依賴通過(guò)分析模型輸入上的擾動(dòng)產(chǎn)生的效果來(lái)獲得。對(duì)于每個(gè)句子，用一個(gè)變異的 auto encoder 來(lái)產(chǎn)生變化，句子的變化都是語(yǔ)義相關(guān)的。由此推斷出的因果依賴（區(qū)間估計(jì)）會(huì)產(chǎn)生一個(gè)在符號(hào)上的二部圖（例如，詞序列到詞序列的連接二部圖）。「解釋」可以被推導(dǎo)為這個(gè)二部圖上的最小割k-分劃。
論文鏈接：http://aclweb.org/anthology/D17-1042
大事專用區(qū)
如果您在自己的研究和學(xué)習(xí)過(guò)程中也有想要分享的優(yōu)質(zhì)文章，請(qǐng)將推薦文章及相關(guān)信息通過(guò)郵件發(fā)送到zengbingyu@leiphone.com 或 微信聯(lián)系（zengbingyu1018）。推薦內(nèi)容包括：
1. 論文名字
2. 作者/機(jī)構(gòu)
3. 錄用渠道（選填）
4. 論文領(lǐng)域
5. 推薦簡(jiǎn)介（200-300字）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
