雷鋒網(wǎng)AI科技評論按：計算機語言學(xué)和自然語言處理最頂尖的會議之一ACL 正在2017年7月30日至8月4日期間在加拿大溫哥華舉行。雷鋒網(wǎng) AI科技評論將赴前線帶來一手報道，并對論文及大會概況進行梳理。

ACL 2017中，谷歌的參與力度極大

在剛剛結(jié)束的 CVPR 2017中，來自各大科技界公司的論文就數(shù)量眾多；ACL 2017 中業(yè)界公司們同樣是一股重要力量。谷歌就已經(jīng)發(fā)文對自己參加 ACL 2017 的各方面情況做了介紹，雷鋒網(wǎng) AI 科技評論編譯如下。

作為自然語言處理和理解方面水平領(lǐng)先的研究團隊、以及 ACL 2017 的鉑金贊助商，谷歌會在這屆 ACL 上大展拳腳，研究范圍涵蓋句法、語義、論述、交談、多語言建模、情緒分析、問答、總結(jié)，以及構(gòu)建一般意義上的監(jiān)督和無監(jiān)督系統(tǒng)、頂尖水平的建模以及根據(jù)非直接的監(jiān)督學(xué)習(xí)。谷歌希望 ACL 2017 的參會者都可以到谷歌的展位前留步，看看他們的demo、見見他們的研究者，以及討論谷歌正在進行的項目和可能的研究機會，來為地球上的幾十億人解決一些有價值的問題。

在此次 ACL 中，有兩位谷歌的研究員 Sujith Ravi 和 Thang Luong 分別擔任機器學(xué)習(xí)和機器翻譯兩個區(qū)域的區(qū)域主席；還有 Margaret Mitchell 擔任著公關(guān)主席。

研究成果和大會活動方面，谷歌此次公有9篇論文被 ACL 接受；另外還有12個Workshop和2個Tutorial，可謂是相當充實精彩。

9 篇 ACL 接受論文簡介

• A Polynomial-Time Dynamic Programming Algorithm for Phrase-Based Decoding with a Fixed Distortion Limit

• 一種用于基于短語的翻譯模型解碼的、帶有固定失真限制的多項式-動態(tài)時間編程算法

• 論文簡介：基于短語的翻譯模型解碼一般情況下都被認為是NP完全問題，可以看作是旅行商問題的簡化形式（Knight，1999）。在實際使用中，人們經(jīng)常為基于短語的翻譯系統(tǒng)增加一個硬性失真限制，限制翻譯過程中短語的移動。然而，增加的這種限制對復(fù)雜度的影響并沒有得到充分的研究。這篇論文中描述了一個為基于短語的解碼器設(shè)計的、帶有固定失真限制的動態(tài)編程算法。這種算法的時間復(fù)雜度是O(nd!lh^{d+1})，其中 n 為句子長度，d 為失真限制，l 是從句子中任意位置算起的短語數(shù)目邊界，h 則與任意待翻譯的詞在目標語言中的翻譯種類的最大數(shù)目有關(guān)。這個算法使用了一種新的表征，而這樣的表征給人們?nèi)绾卫斫饣诙陶Z的翻譯模型解碼帶來了新的視角。

• 這篇論文有口頭報告環(huán)節(jié)
  

• 論文地址：https://www.transacl.org/ojs/index.php/tacl/article/view/1020 

• Cross-Sentence N-ary Relation Extraction with Graph LSTMs 

• 利用圖 LSTM 做跨句子的 n 元關(guān)系提取

• 論文簡介：以往關(guān)系抽取方面的研究都關(guān)注的是單個句子中的二進制關(guān)系。近期的 NLP 研究開始進軍高價值的領(lǐng)域，激發(fā)了在更通用的設(shè)定下跨越多個句子提取 n 元關(guān)系的研究熱情。這篇論文中，作者們研究了一種基于圖 LSTM 的關(guān)系提取框架，它可以輕松地進行拓展用于多個句子間的 n 元關(guān)系提取。圖的格式提供了一種統(tǒng)一的方式用來探索不同的 LSTM 方案并包含多種句內(nèi)和句間的依賴性，比如序列、句法、論述關(guān)系?？梢詾檫@些實體學(xué)習(xí)出一個魯棒的內(nèi)容表征，然后把它作為關(guān)系分類器的輸入，這樣就可以方便地拓展為任意數(shù)目的多元關(guān)系，從關(guān)聯(lián)關(guān)系中進行多任務(wù)學(xué)習(xí)也可以。論文中用精準醫(yī)療中的兩個重要領(lǐng)域?qū)λ岬目蚣苓M行了評估，展現(xiàn)出它在監(jiān)督學(xué)習(xí)和弱監(jiān)督的條件下都可以發(fā)揮作用?？缇渥拥年P(guān)系抽取可以產(chǎn)生更多的知識，多任務(wù)學(xué)習(xí)也顯著提升了抽取的準確率。論文中還詳盡對比了不同的 LSTM 方法，對語言學(xué)分析會如何影響模型表現(xiàn)提出了有趣的見解。

• 這篇論文有口頭報告環(huán)節(jié)

• 論文地址：https://www.transacl.org/ojs/index.php/tacl/article/view/1028 

• Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision

• 神經(jīng)象征機器：通過弱監(jiān)督學(xué)習(xí)Freebase中的語義分析器
  

• 論文簡介：利用神經(jīng)網(wǎng)絡(luò)的統(tǒng)計能力做語言理解和象征推理是很難的，這需要神經(jīng)網(wǎng)絡(luò)在大規(guī)模知識數(shù)據(jù)庫中執(zhí)行高效的集成操作。在這項研究中，作者們介紹了一種神經(jīng)象征機器（Neural Symbolic Machine，NSM），其中包含兩個部分：1，一個神經(jīng)網(wǎng)絡(luò)“編程器”，也就是一個把語言映射到程序的串到串模型，其中還使用了一個可變值的內(nèi)存來處理組合性；2，一個計算象征的“計算機”，也就是一個 Lisp 解釋器，它可以執(zhí)行程序，而且可以通過修剪搜索空間來幫助找到好程序。作者們把所構(gòu)建的預(yù)測問題作為一個任務(wù)，然后用強化學(xué)習(xí)的方法來直接優(yōu)化任務(wù)反饋。為了在弱監(jiān)督的條件下訓(xùn)練模型，并提升強化學(xué)習(xí)的穩(wěn)定性，作者們使用了一個迭代的最大似然訓(xùn)練過程對其進行了增強。NSM在 WebQuestionsSP 數(shù)據(jù)集上只用問-答對訓(xùn)練就可以取得前所未見的表現(xiàn)，不需要另外獲取任何特征工程或者特定領(lǐng)域的知識。

• 論文地址：https://arxiv.org/abs/1611.00020 

• Coarse-to-Fine Question Answering for Long Documents

• 用于長文章的粗讀到精度問題回答

• 論文簡介：論文中提出了一種用于回答問題的框架，它對于較長的文檔也可以保持現(xiàn)有模型性能的最佳水平，甚至有所提升。多數(shù)成功的閱讀理解方案都依靠的是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs），在長句子上運行這樣的網(wǎng)絡(luò)非常的慢，因為很難并行處理多個句子。人類閱讀時可以在段落間快速跳轉(zhuǎn)、找到有關(guān)聯(lián)的部分、然后仔細閱讀這些部分形成答案，作者們就受此啟發(fā)把一個用于選擇有關(guān)的句子的粗大、快速的模型和從選擇到的句子中生成答案的高成本 RNN 組合在一起。這些選出的句子也就是從答案中合并訓(xùn)練得到的潛變量，這個過程只用到了強化學(xué)習(xí)。實驗中這個模型在富有挑戰(zhàn)性的 WIKIREADING 數(shù)據(jù)集的子集和一個新數(shù)據(jù)集中都表現(xiàn)出了頂級的水平，同時模型的速度還提升了3.5倍到6.7倍。

• 論文地址：https://homes.cs.washington.edu/~eunsol/papers/acl17eunsol.pdf 

• Automatic Compositor Attribution in the First Folio of Shakespeare

• 用于莎士比亞的 First Folio 的自動創(chuàng)作者歸因

• 論文簡介：創(chuàng)作者歸因是一項依賴對頁面做拼寫變化分析和視覺細節(jié)檢查的書目研究，它能夠發(fā)現(xiàn)歷史印刷品中的一組頁面是出自誰的手中。這篇論文中介紹了一種新的無監(jiān)督模型，它可以聯(lián)合描述所需的文本和視覺特征用來區(qū)分創(chuàng)作者。把這種方法應(yīng)用在莎士比亞的 First Folio 的圖像之后，該模型預(yù)測出的屬性結(jié)果和書目研究學(xué)者的人工判斷契合度達到了87%，即便是在ORC后的文本輸出結(jié)果上。

• 論文地址：https://arxiv.org/abs/1704.07875 

• A Nested Attention Neural Hybrid Model for Grammatical Error Correction

• 用于語法錯誤更正的含有注意力的混合神經(jīng)網(wǎng)絡(luò)模型

• 論文簡介：語法錯誤更正系統(tǒng)努力完成兩類任務(wù)，一類是更正語序和用法方面的大范圍錯誤，另一類是糾正局部的拼寫和變形錯誤。通過在近期的神經(jīng)機器翻譯方法基礎(chǔ)上進行進一步開發(fā)，論文中為語法錯誤更正提出了一種新的用于帶有內(nèi)含的注意力層的混合式神經(jīng)網(wǎng)絡(luò)模型。實驗表明這種新模型通過單詞集成和字符級別信息的方法，對以上兩類錯誤都可以有效更正，在標準 CoNLL-14數(shù)據(jù)集上的 benchmark 結(jié)果也顯示出該模型的表現(xiàn)相比以往模型有著顯著提高。進一步的分析還表明，內(nèi)含的注意力機制的使用對所提模型的性能提升起到了很大作用，可以證明它對于需要在拼寫上進行細微修改的局部錯誤更正中發(fā)揮的作用尤其好。

• 論文地址：https://arxiv.org/abs/1707.02026 

• Get To The Point: Summarization with Pointer-Generator Networks
  

• 指向重點：用指針-生成器網(wǎng)絡(luò)進行文本總結(jié)

• 論文簡介：串到串的神經(jīng)網(wǎng)絡(luò)編碼模型為文本的抽象總結(jié)提供了一種可行的新途徑（這意味著這些總結(jié)不再局限于簡單地從原始文本中對段落做選擇和重新排序）。然而，這些模型都有兩個缺點：它們?nèi)菀壮霈F(xiàn)不準確的事實表達，而且容易用詞經(jīng)常重復(fù)。在這篇論文中，作者們提出了一個新穎的架構(gòu)，它可以用兩種正交的方式增強標準的串到串注意力模型。首先，論文中使用了一個混合“指針-生成器”網(wǎng)絡(luò)，它可以通過指針的方式從源文本中復(fù)制詞匯，這有助于提高重新生成的信息的準確率，同時還能靠生成器保留生成新詞的能力；其次，作者們使用了覆蓋率的指標來追蹤已經(jīng)得到總結(jié)的內(nèi)容，這可以抑制重復(fù)。把這種方法用于 CNN、Daily Mail 文章的總結(jié)任務(wù)中，表現(xiàn)可以領(lǐng)先當時最好的抽象方法 ROUGE 分數(shù)2分以上。

• 論文地址：https://arxiv.org/abs/1704.04368 

• Identifying 1950s American Jazz Composers: Fine-Grained IsA Extraction via Modifier Composition

• 辨別1950年代的美國爵士作曲家：依靠修改器創(chuàng)作的細粒度 IsA 提取

• 論文簡介：論文中介紹了一種生成帶有實例的細粒度分類名稱的方法。與當時最好的方法往往把類別標簽作為單個詞法單元不同，論文中所提的方法考慮了每個標簽修改器與開頭之間的關(guān)系。把重新構(gòu)建維基百科的分類頁面作為評價方式，基準方案依靠的是得到了廣泛運用的 Hearst 模式法，有不錯的表現(xiàn)，新方法仍然在準確率方面取得了10以上的提升。
  

• 論文地址：https://www.seas.upenn.edu/~epavlick/papers/finegrained-isa.pdf 

• Learning to Skim Text

• 學(xué)會跳過文本

• 論文簡介：循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在自然語言處理的許多自領(lǐng)域中都體現(xiàn)出了不小的潛力，包括文檔分類、機器翻譯、自動回答問題等等。但是在這些潛力之外，許多 RNN 模型都需要逐字地讀完整段文字，這樣就讓它們處理長文檔的時候非常慢。舉例說明的話，讓 RNN 讀一本書然后回答關(guān)注書的問題就很難。在這篇論文中，作者們展示了一種在有必要的情況下邊閱讀文字邊跳過不重要的信息的做法。其中的模型是一個循環(huán)神經(jīng)網(wǎng)絡(luò)，它能夠?qū)W會看到輸入文本的前幾個字之后就知道跳過多遠。作者們使用了一種標準的策略梯度方法來訓(xùn)練模型做出離散的跳過決定。論文中在四個不同的任務(wù)中對模型進行了測試，包括數(shù)字預(yù)測、情緒識別、新聞文章分類以及自動問答，這個修改后帶有跳過功能的 LSTM 可以比標準的序列 LSTM 快達6倍，同時還能保留同等的甚至略微提升的準確率。

• https://arxiv.org/abs/1704.06877 
  

谷歌的研究人員還參與了12個workshop

• 2017 ACL Student Research Workshop

• 學(xué)生研究 workshop

• 網(wǎng)址： https://sites.google.com/site/aclsrw2017/ 

• WiNLP: Women and Underrepresented Minorities in Natural Language Processing

• WiNLP NLP界女性和未被充分代表的少數(shù)群體 workshop

• 網(wǎng)址： http://www.winlp.org/winlp-workshop/ 

• BUCC: 10th Workshop on Building and Using Comparable Corpora
  

• BUCC 第十屆對比語料庫的構(gòu)建和應(yīng)用 workshop

• 網(wǎng)址：https://comparable.limsi.fr/bucc2017/ 

• CLPsych: Computational Linguistics and Clinical Psychology – From Linguistic Signal to Clinical Reality

• CLPsych 計算性語言學(xué)和臨床心理學(xué) - 從語言學(xué)信號到臨床現(xiàn)實

• 網(wǎng)址：http://clpsych.org/ 

• Repl4NLP: 2nd Workshop on Representation Learning for NLP

• Repl4NLP：第二屆NLP表征學(xué)習(xí)workshop

• 網(wǎng)址： https://sites.google.com/site/repl4nlp2017/ 

• RoboNLP: Language Grounding for Robotics

• RoboNLP：機器人語言基礎(chǔ)

• 網(wǎng)址：https://robonlp2017.github.io/ 

• CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies

• CoNLL 2017共享任務(wù)：從原始文本到通用從屬的多語言分割

• 網(wǎng)址：http://universaldependencies.org/conll17/ 

• CoNLL-SIGMORPHON-2017 Shared Task: Universal Morphological Reinflection

• CoNLL-SIGMORPHON-2017共享任務(wù)：通用形態(tài)再感染

• 網(wǎng)址：https://sites.google.com/corp/view/conll-sigmorphon2017/ 

• SemEval: 11th International Workshop on Semantic Evaluation

• SemEval：第11屆語義提取國際workshop
  

• 網(wǎng)址：http://alt.qcri.org/semeval2017/ 

• ALW1: 1st Workshop on Abusive Language Online

• ALW1：第一屆網(wǎng)上不文明用語workshop

• 網(wǎng)址：https://sites.google.com/site/abusivelanguageworkshop2017/ 

• EventStory: Events and Stories in the News

• EventStory：新聞中的事件和故事

• 網(wǎng)址：https://sites.google.com/site/eventsandstoriesinthenews/ 

• NMT: 1st Workshop on Neural Machine Translation

• NMT：第一屆神經(jīng)機器翻譯workshop

• 網(wǎng)址：https://sites.google.com/site/acl17nmt/ 

谷歌還組織了兩個 Tutorial

• Natural Language Processing for Precision Medicine

• 用于精準醫(yī)療的自然語言處理

• 網(wǎng)址：http://acl2017.org/tutorials/ 

• Deep Learning for Dialogue Systems

• 用于對話系統(tǒng)的深度學(xué)習(xí)

• 網(wǎng)址：http://acl2017.org/tutorials/ 

ACL 2017現(xiàn)在正在熱烈進行中，以上的研究內(nèi)容中有感興趣的可以根據(jù)網(wǎng)址進行參與。

雷鋒網(wǎng) AI 科技評論會繼續(xù)在 ACL 2017和近期的多個學(xué)術(shù)會議中帶來各方面的報道，請感興趣的讀者繼續(xù)關(guān)注我們。

相關(guān)文章：

ACL 正會在即，哪兩位重量級嘉賓將出席做主題演講？| ACL 2017

現(xiàn)場：ACL 2017 Day 0, 計算機語言學(xué)思想碰撞的浪潮開啟 | ACL 2017

ACL開幕式最全解讀：大會的三個「最」和三個「第一次」都是什么？主席們分享了哪些肺腑之言？｜ACL 2017

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。