EMNLP 是自然語(yǔ)言處理領(lǐng)域的頂級(jí)會(huì)議，它的全稱是 Conference on Empirical Methods in Natural Language Processing（自然語(yǔ)言處理中的經(jīng)驗(yàn)方法會(huì)議），由國(guó)際語(yǔ)言學(xué)會(huì)（ACL）的 SIGDAT 小組主辦，今年 10 月 31 日-11 月 4 日將在比利時(shí)布魯塞爾舉行。

今年是騰訊 AI Lab 第 2 次參加 EMNLP，共有 16 篇文章入選，涵蓋語(yǔ)言理解、語(yǔ)言生成、機(jī)器翻譯等多個(gè)研究主題。以下為摘要解讀。

此外，在今年的多個(gè)頂級(jí)學(xué)術(shù)會(huì)議中，騰訊 AI Lab 也入選多篇論文，位居國(guó)內(nèi)企業(yè)前列，包括機(jī)器學(xué)習(xí)領(lǐng)域頂會(huì) NIPS（20 篇）和 ICML（16 篇）、計(jì)算機(jī)視覺(jué)領(lǐng)域頂會(huì) CVPR（21 篇）和 ECCV（19 篇），以及語(yǔ)音領(lǐng)域頂會(huì) Interspeech（8 篇）等。

1. QuaSE: 量化指導(dǎo)下的序列編輯

QuaSE: Sequence Editing under Quantifiable Guidance

論文地址：https://arxiv.org/abs/1804.07007

本文由騰訊 AI Lab 主導(dǎo)，與香港中文大學(xué)合作完成。本文提出了量化指導(dǎo)下的序列編輯（QuaSE）的任務(wù)：編輯輸入序列以生成滿足用于定量序列某種特定屬性的數(shù)值的輸出序列，同時(shí)保持輸入序列的主要內(nèi)容。例如，輸入序列可以是字的序列，例如評(píng)論句子和廣告文本。對(duì)于評(píng)論句子，數(shù)值可以是打分; 對(duì)于廣告，數(shù)值可以是點(diǎn)擊率。QuaSE 的一個(gè)主要挑戰(zhàn)是如何感知與數(shù)值相關(guān)的措辭，并僅編輯它們以改變結(jié)果。在本文中，所提出的框架包含兩個(gè)潛在因子，即結(jié)果因子和內(nèi)容因子，為輸入句子提供方便的編輯以改變數(shù)值結(jié)果并保留內(nèi)容。本文的框架通過(guò)對(duì)其內(nèi)容相似性和結(jié)果差異進(jìn)行建模來(lái)探索利用偽平行句對(duì)，以便更好地解耦潛在因子，從而允許生成更好地滿足期望數(shù)值結(jié)果并保持內(nèi)容的輸出。對(duì)偶重構(gòu)結(jié)構(gòu)通過(guò)利用偽平行句對(duì)的潛在因子的耦合關(guān)系，進(jìn)一步增強(qiáng)了生成滿足預(yù)期的輸出的能力。為了評(píng)估，研究人員準(zhǔn)備了 Yelp 評(píng)論句子的數(shù)據(jù)集，用打分作為數(shù)值結(jié)果。本文報(bào)告和深入討論了實(shí)驗(yàn)結(jié)果，以闡述框架的特點(diǎn)。

2. 利用深層表示進(jìn)行神經(jīng)機(jī)器翻譯

Exploiting Deep Representations for Neural Machine Translation

本文由騰訊 AI Lab 主導(dǎo)，與南京大學(xué)合作完成。神經(jīng)機(jī)器翻譯系統(tǒng)通常由多層編碼器和解碼器構(gòu)成，這允許系統(tǒng)對(duì)于復(fù)雜函數(shù)進(jìn)行建模并捕獲復(fù)雜的語(yǔ)言結(jié)構(gòu)。然而，通常情況下，翻譯過(guò)程僅利用了編碼器和解碼器的頂層，這錯(cuò)過(guò)了利用在其他層中的有用信息的機(jī)會(huì)。在這項(xiàng)工作中，研究人員提出用層聚合和多層注意機(jī)制的方法同時(shí)暴露和傳輸所有這些信號(hào)。此外，本文引入輔助的正則化以鼓勵(lì)不同的層捕獲不同的信息。研究人員在廣泛使用的 WMT14 英語(yǔ)到德語(yǔ)和 WMT17 中文到英語(yǔ)翻譯數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明了方法的有效性和普遍性。

3. 自注意力神經(jīng)網(wǎng)絡(luò)模型的局部性建模

Modeling Localness for Self-Attention Networks

本文由騰訊 AI Lab 主導(dǎo)，與澳門大學(xué)合作完成。自注意力模型可以直接注意所有輸入元素，在很多任務(wù)中被證明具有捕獲全局依賴的能力。然而，這種依賴信息的捕獲是通過(guò)加權(quán)求和操作完成的，這可能會(huì)導(dǎo)致其忽視相鄰元素間的關(guān)系。本文為自注意力網(wǎng)絡(luò)建立局部性模型，以增強(qiáng)其學(xué)習(xí)局部上下文的能力。具體而言，我們將局部模型設(shè)計(jì)為一種可學(xué)習(xí)的高斯偏差，這種高斯偏差表示了所強(qiáng)化的局部范圍。隨后，所得到的高斯偏差被用于修正原始注意力分布以得到局部強(qiáng)化的權(quán)重分布。此外，我們發(fā)現(xiàn)在多層自注意網(wǎng)絡(luò)中，較低層趨向于關(guān)注于尺寸較小的局部范圍，而較高層則更注重全局信息的捕獲。因此，為了保持原模型捕獲長(zhǎng)距離依賴能力的同時(shí)強(qiáng)化其對(duì)局部信息的建模, 本文僅將局部性建模應(yīng)用于較低層的自注意力網(wǎng)絡(luò)中。在漢英和英德翻譯任務(wù)的定量和定性分析證明了所提出方法的有效性和適用性。

4. 用于短文本分類的主題記憶網(wǎng)絡(luò)

Topic Memory Networks for Short Text Classification

本文由騰訊 AI Lab 主導(dǎo)，與香港中文大學(xué)合作完成。許多分類模型在短文本分類上性能欠佳，其主要原因是短文本所產(chǎn)生的數(shù)據(jù)稀疏性問(wèn)題。為了解決這一問(wèn)題，本文提出了一種新穎的主題記憶機(jī)制用于編碼那些對(duì)分類有用的主題表示，以提升短文本分類的性能。前人的工作主要專注于用額外的知識(shí)擴(kuò)充文本特征或者利用已經(jīng)訓(xùn)練好的主題模型，不同于過(guò)去的工作，本文的模型能夠在記憶網(wǎng)絡(luò)框架下通過(guò)端到端的方式同時(shí)學(xué)習(xí)主題表示和文本分類。四個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了本文的模型不僅在短文本分類上的性能超過(guò)了之前最先進(jìn)的模型，同時(shí)也能夠產(chǎn)生有意義的主題。

5. 一種用于自動(dòng)構(gòu)造中文錯(cuò)字檢查語(yǔ)料的混合方法

A Hybrid Approach to Automatic Corpus Generation for Chinese Spelling Check

本文由騰訊 AI Lab 主導(dǎo)，與清華大學(xué)和騰訊 SNG 合作完成。中文錯(cuò)字的自動(dòng)檢查是一個(gè)富有挑戰(zhàn)又十分有意義的任務(wù)，該任務(wù)不僅用于許多自然語(yǔ)言處理應(yīng)用的預(yù)處理階段，而且可以極大促進(jìn)人們的日常讀寫。數(shù)據(jù)驅(qū)動(dòng)的方法在中文錯(cuò)字檢查十分有效，然而卻面臨著標(biāo)注數(shù)據(jù)缺乏的挑戰(zhàn)。這個(gè)工作提出了一種自動(dòng)構(gòu)造用于拼寫檢查數(shù)據(jù)集的方法，分別通過(guò)基于 OCR 和 SR 的方法構(gòu)造視覺(jué)上和聽(tīng)覺(jué)上相似的字來(lái)模擬錯(cuò)字。利用本文提出的方法，研究人員構(gòu)造了一個(gè)大規(guī)模的數(shù)據(jù)集用于訓(xùn)練不同的錯(cuò)字自動(dòng)檢查模型，在三個(gè)標(biāo)準(zhǔn)的測(cè)試集上的實(shí)驗(yàn)結(jié)果證明了本文自動(dòng)構(gòu)造數(shù)據(jù)集方法的合理性和有效性。

6. 基于對(duì)抗條件變分自編碼器的中文詩(shī)歌生成

Generating Classical Chinese Poems via Conditional Variational Autoencoder and Adversarial Training

本文為騰訊犀牛鳥(niǎo)合作項(xiàng)目，與北京大學(xué)合作完成。計(jì)算機(jī)自動(dòng)創(chuàng)作表達(dá)流暢、文字優(yōu)美的詩(shī)歌是一個(gè)難題。雖然之前的相關(guān)研究已經(jīng)取得了引人注目的成果，自動(dòng)生成的詩(shī)歌依然和詩(shī)人創(chuàng)作的有很大差距，尤其是主旨一致性和用詞的新穎性。在本文中，研究人員提出結(jié)合條件變分自編碼器和對(duì)抗訓(xùn)練的策略來(lái)生成詩(shī)歌。實(shí)驗(yàn)結(jié)果表明，不管是自動(dòng)指標(biāo)還是人工測(cè)評(píng)，本文的模型都有顯著的提高。

7. 面向摘要生成的交互文檔表表征學(xué)習(xí)及潤(rùn)色

Iterative Document Representation Learning Towards Summarization with Polishing

本文為騰訊犀牛鳥(niǎo)合作項(xiàng)目，與北京大學(xué)合作完成。通過(guò)觀察人類生成摘要時(shí)對(duì)文檔閱讀及理解多遍的事實(shí)，文本提出了基于交互式文本摘要技術(shù)的抽取式摘要生成模型?？紤]到當(dāng)前摘要生成技術(shù)局限于對(duì)待生成摘要文本只處理一遍，多數(shù)文本表達(dá)無(wú)法得到全局最優(yōu)的結(jié)果。針對(duì)這種情況，本文提出的方法能夠持續(xù)選擇，更新相應(yīng)文本及優(yōu)化相應(yīng)的文本表征。在 CNN/DailyMail 和 DUC2002 數(shù)據(jù)及上的實(shí)驗(yàn)結(jié)果證明，本文提出的方法在自動(dòng)及人工評(píng)測(cè)方面均超越了以往最好的模型。

8. 面向回復(fù)生成的變分自回歸解碼器

Variational Autoregressive Decoder for Neural Response Generation

本文由騰訊 AI Lab 參與，與哈爾濱工業(yè)大學(xué)合作完成。由于結(jié)合了概率圖模型與神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，條件變分自編碼機(jī)（Conditional Variational Auto-encoder (CVAE)）在諸多自然語(yǔ)言處理應(yīng)用例如開(kāi)放域?qū)υ捇貜?fù)上，表現(xiàn)出了優(yōu)秀的性能。然而，傳統(tǒng) CVAE 模型通常從單一的潛在變量中生成對(duì)話回復(fù)，這一模型很難對(duì)回復(fù)中的多樣性進(jìn)行準(zhǔn)確建模。為了解決這一問(wèn)題，本文提出了一種將序列化的潛在變量引入對(duì)話生成過(guò)程中的模型。在此模型中，研究人員使用一個(gè)后向循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）擴(kuò)展近似后驗(yàn)概率分布，其中后向循環(huán)神經(jīng)網(wǎng)絡(luò)使得本文的模型能更好捕捉文本生成過(guò)程中的長(zhǎng)距離依賴問(wèn)題。為了更好訓(xùn)練本文提出模型，研究人員在訓(xùn)練過(guò)程中加入了預(yù)測(cè)后續(xù)文本詞袋（bag-of-words）的輔助目標(biāo)。在 OpenSubtitle 和 Reddit 對(duì)話生成數(shù)據(jù)集的實(shí)驗(yàn)上表明本文提出的模型可以顯著提升生成回復(fù)的相關(guān)性與多樣性。

9. 具有差異性約束的多頭注意力機(jī)制

Multi-Head Attention with Disagreement Regularization

本文由騰訊 AI Lab 主導(dǎo)，與香港中文大學(xué)和澳門大學(xué)合作完成。多頭注意力機(jī)制因其能在不同子空間學(xué)習(xí)不同表征的能力受到研究者歡迎。在這個(gè)工作中，本文引入一種差異性約束來(lái)顯式地鼓勵(lì)多個(gè)注意力頭的多樣性。具體地，本文提出了 3 種差異性約束，分別鼓勵(lì)每個(gè)注意力頭在輸入子空間、注意力對(duì)齊矩陣、輸出表示上跟其他的注意力頭不一樣。研究人員在廣泛使用的 WMT14 英語(yǔ)到德語(yǔ)和 WMT17 中文到英語(yǔ)翻譯數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明了方法的有效性和普遍性。

10. 一種基于共享重構(gòu)機(jī)制的缺略代詞還原與神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯聯(lián)合學(xué)習(xí)方法

Learning to Jointly Translate and Predict Dropped Pronouns with a Shared Reconstruction Mechanism

論文地址: https://arxiv.org/abs/1810.06195

本文由騰訊 AI Lab 主導(dǎo)，與都柏林城市大學(xué)合作完成。在代詞缺略語(yǔ)言（如，漢語(yǔ)）中，代詞常常會(huì)被省略，但是這給機(jī)器翻譯結(jié)果的完整性帶來(lái)了極大挑戰(zhàn)。最近 Wang et al. (2018) (Translating Pro-Drop Languages with Reconstruction Models) 的工作提出了利用重構(gòu)機(jī)制來(lái)緩解神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯中的缺略代詞問(wèn)題。本文從兩個(gè)方面進(jìn)一步加強(qiáng)了原有的重構(gòu)模型。首先，本文提出了共享式重構(gòu)器來(lái)充分利用編碼器和解碼器端的表示。第二，為了避免額外的缺略代詞標(biāo)注系統(tǒng)的錯(cuò)誤傳遞，本文利用聯(lián)合學(xué)習(xí)方法提出了缺略代詞預(yù)測(cè)和翻譯的端到端模型。

11. 一種減少神經(jīng)網(wǎng)絡(luò)對(duì)話模型生成通用回復(fù)的統(tǒng)計(jì)重加權(quán)方法

Towards Less Generic Responses in Neural Conversation Models: A Statistical Re-weighting Method

本文由騰訊 AI Lab 主導(dǎo)，與蘇州大學(xué)和武漢大學(xué)合作完成。序列到序列（Seq2Seq）的神經(jīng)網(wǎng)絡(luò)生成模型已經(jīng)在短文的對(duì)話生成任務(wù)中取得了不錯(cuò)表現(xiàn)。但是，這些生成模型往往容易生成通用、乏味的回復(fù)，非常影響對(duì)話的體驗(yàn)。研究人員觀察到在對(duì)話任務(wù)中，每個(gè)輸入語(yǔ)句都有可能對(duì)應(yīng)著多個(gè)合理回復(fù)，即表現(xiàn)為 1 對(duì) n（或者以整個(gè)語(yǔ)料集的角度看是 m 對(duì) n）的形式。這種情形下，使用標(biāo)準(zhǔn)的 Seq2Seq 的目標(biāo)函數(shù)，模型參數(shù)容易通過(guò)損失代價(jià)被通用（高頻）的句子樣式主導(dǎo)。受此啟發(fā)，本文提出一種基于統(tǒng)計(jì)重加權(quán)的方法賦予輸入語(yǔ)句對(duì)應(yīng)的多個(gè)可接受回復(fù)不同的權(quán)值，并使用經(jīng)典的神經(jīng)網(wǎng)絡(luò)生成模型進(jìn)行訓(xùn)練。在一份大型的中文對(duì)話語(yǔ)料集上的實(shí)驗(yàn)結(jié)果表明，本文提出的方法在提高模型生成回復(fù)的接受率的同時(shí)，明顯地減少了通用回復(fù)的數(shù)量。

12. 將數(shù)學(xué)問(wèn)題翻譯為表達(dá)式樹(shù)

Translating a MathWord Problem to a Expression Tree

本文由騰訊 AI Lab 主導(dǎo)，與電子科技大學(xué)和香港中文大學(xué)合作完成。序列到序列模型已經(jīng)成功的在自動(dòng)解數(shù)學(xué)題方向取得了較大成功。然而，這種方法雖然十分的簡(jiǎn)單有效，卻仍然存在一個(gè)缺點(diǎn)： 一個(gè)數(shù)學(xué)問(wèn)題可以被多個(gè)方程正確的解出。這種非確定性的映射關(guān)系損害了最大似然估計(jì)的性能。本文利用表達(dá)式樹(shù)的唯一性提出了一種公式歸一化的方法。此外，本文還分析了三種目前最流行的序列到序列模型在自動(dòng)解數(shù)學(xué)題任務(wù)上的性能。研究人員發(fā)現(xiàn)每個(gè)模型都有自己的優(yōu)點(diǎn)和缺點(diǎn)，因此本文進(jìn)一步提出了一個(gè)集成模型來(lái)結(jié)合他們的優(yōu)點(diǎn)。在數(shù)據(jù)集 Math23K 上的實(shí)表明使用公式歸一化的的集成模型明顯優(yōu)于以往最先進(jìn)的方法。

13. 循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型下 n-gram 的邊際概率估計(jì)

Estimating Marginal Probabilities of n-grams for Recurrent Neural Language Models

本文為騰訊 AI Lab 犀牛鳥(niǎo) Gift Fund 項(xiàng)目，與美國(guó)西北大學(xué)合作完成。循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型（RNNLMs）是當(dāng)前統(tǒng)計(jì)語(yǔ)言建模的主流方法。然而，RNNLMs 只能對(duì)完整的文本序列進(jìn)行概率計(jì)算。在一些實(shí)際應(yīng)用當(dāng)中，往往需要計(jì)算上下文無(wú)關(guān)的（context-independent）短語(yǔ)的概率。本文中，研究人員探索了如何計(jì)算 RNNLMs 的邊際概率：在前文（preceding context）缺失的情況下，模型如何計(jì)算一個(gè)短文本的概率。本文提出了一種改變 RNNLM 訓(xùn)練的方法，使得模型能夠更加精確地計(jì)算邊際概率。實(shí)驗(yàn)結(jié)果表明，本文的技術(shù)優(yōu)于基線系統(tǒng)，如傳統(tǒng)的 RNNLM 以及重要度采樣法。本文還給出了如何利用邊際概率改善 RNNLM 的方法，即在訓(xùn)練中使邊際概率接近于一個(gè)大數(shù)據(jù)集中 n-gram 的概率。

14. 基于混合注意力機(jī)制的在線論辯贊成/反對(duì)關(guān)系識(shí)別

Hybrid Neural Attention for Agreement/Disagreement Inference in Online Debates

本文由騰訊 AI Lab 參與，與哈爾濱工業(yè)大學(xué)合作完成。推斷辯論尤其是在線辯論文本間的贊成/反對(duì)關(guān)系是論辯挖掘的基本任務(wù)之一。贊成/反對(duì)的表達(dá)通常依賴于文本中的議論性表達(dá)以及辯論參與者之間的互動(dòng)，而以往的工作通常缺乏聯(lián)合建模這兩個(gè)因素的能力。為了解決這一問(wèn)題，本文提出了一種基于神經(jīng)網(wǎng)絡(luò)的混合注意力機(jī)制，其結(jié)合了自我注意力機(jī)制以及交叉注意力機(jī)制，分別通過(guò)上下文語(yǔ)境和用戶間的交互信息來(lái)定位文本中的重要部分。在三個(gè)在線辯論數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的模型優(yōu)于現(xiàn)有的最優(yōu)模型。

15. XL-NBT: 一種跨語(yǔ)言神經(jīng)網(wǎng)絡(luò)置信跟蹤框架

XL-NBT: A Cross-Lingual Neural Belief Tracking Framework

論文地址：https://arxiv.org/pdf/1808.06244.pdf

本文為騰訊 AI Lab 犀牛鳥(niǎo) Gift Fund 項(xiàng)目，與美國(guó)俄亥俄州立大學(xué)和加州大學(xué)圣塔芭芭拉分校合作完成。實(shí)現(xiàn)跨語(yǔ)種對(duì)話系統(tǒng)在實(shí)際應(yīng)用（如自動(dòng)客服）中具有重要的實(shí)際意義?，F(xiàn)有方法實(shí)現(xiàn)多語(yǔ)種支持通常需要對(duì)每一個(gè)語(yǔ)言單獨(dú)標(biāo)注。為了避免大量的標(biāo)注成本，作為實(shí)現(xiàn)多語(yǔ)種通用對(duì)話系統(tǒng)這一終極目標(biāo)的第一步，本文研究一個(gè)完全不需要新語(yǔ)種標(biāo)注的跨語(yǔ)種的神經(jīng)網(wǎng)絡(luò)置信跟蹤框架。具體來(lái)講，本文假設(shè)源語(yǔ)言（例如英語(yǔ)）存在一個(gè)已經(jīng)訓(xùn)練好的置信跟蹤器，而目標(biāo)語(yǔ)言（如德語(yǔ)或者意大利語(yǔ)）不存在相應(yīng)的用于訓(xùn)練跟蹤器的標(biāo)注數(shù)據(jù)。本文采用源語(yǔ)言的跟蹤器作為教師網(wǎng)絡(luò)，而目標(biāo)語(yǔ)言的跟蹤器作為學(xué)生網(wǎng)絡(luò)，同時(shí)對(duì)置信跟蹤器進(jìn)行結(jié)構(gòu)解耦并借助外部的一些平行語(yǔ)料來(lái)幫助實(shí)現(xiàn)遷移學(xué)習(xí)。本文具體討論了兩種不同類型的平行語(yǔ)料，得到兩種不同類型 的遷移學(xué)習(xí)策略。實(shí)驗(yàn)中研究人員用英語(yǔ)作為源語(yǔ)言，用德語(yǔ)和意大利語(yǔ)分別作為目標(biāo)語(yǔ)言，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出方法的有效性。

16. 自然語(yǔ)言視頻時(shí)域定位

Temporally Grounding Natural Sentence in Video

本文由騰訊 AI Lab 主導(dǎo)，與新加坡國(guó)立大學(xué)合作完成。本文介紹一種有效且高效的方法，可以在長(zhǎng)的未修剪的視頻序列中定位自然語(yǔ)句表達(dá)的相應(yīng)的視頻內(nèi)容。具體而言，本文提出了一種新穎的 Temporal GroundNet（TGN），用于捕獲視頻和句子之間不斷演變的細(xì)粒度視頻幀與單詞之間的交互信息。TGN 基于所挖掘的視頻幀與單詞之間的交互信息地對(duì)每幀的一組候選者進(jìn)行評(píng)分，并最終定位對(duì)應(yīng)于該句子的視頻片段。與以滑動(dòng)窗口方式分別處理重疊段的傳統(tǒng)方法不同，TGN 考慮了歷史信息并在單次處理視頻后生成最終的定位結(jié)果。研究人員在三個(gè)公共數(shù)據(jù)集上廣泛評(píng)估本文提出的 TGN。實(shí)驗(yàn)證明 TGN 顯著的提高了現(xiàn)有技術(shù)的性能。本文通過(guò)相應(yīng)對(duì)比試驗(yàn)和速度測(cè)試進(jìn)一步顯示 TGN 的有效性和高效率。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。