雷鋒網(wǎng)按：近日，三角獸科技 AI Lab 的一篇論文，被世界頂級自然語言處理會議 EMNLP 高分錄取，論文題目為：Neural Response Generation via GAN with an Approximate Embedding Layer，由三角獸研究團(tuán)隊(duì)與哈工大 ITNLP 實(shí)驗(yàn)室合作完成。論文中提出了一種新的對話文本對抗生成學(xué)習(xí)框架，目的是解決文本生成過程中的采樣操作帶來的誤差無法反向傳導(dǎo)的實(shí)際問題，從而實(shí)現(xiàn)基于對抗學(xué)習(xí)的聊天回復(fù)生成模型。

以下為三角獸研究團(tuán)隊(duì)所寫的論文精華導(dǎo)讀，雷鋒網(wǎng)授權(quán)首發(fā)：

引言

在最近幾年里，深度學(xué)習(xí) （Deep Learning, DL）在自然語言處理領(lǐng)域不斷攻城略地，使得過去被認(rèn)為很難取得突破的研究方向的難度有所降低，其中最為人們所津津樂道案例的當(dāng)屬 Sequence-to-Sequence (S2S) 在對統(tǒng)計(jì)機(jī)器翻譯（Statistical Machine Translation, SMT）領(lǐng)域的顛覆性突破，進(jìn)而產(chǎn)生了全新的基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯（Neural Machine Translation, NMT）范式[1, 2]。這個新范式的影響甚至已經(jīng)波及到了其他相關(guān)領(lǐng)域，其中就包括本文即將討論的生成式自動聊天系統(tǒng)（Generation based Chatting System）[3, 4, 5]。

通常認(rèn)為自動聊天系統(tǒng)（Automatic Chatting Systems）可以通過兩種技術(shù)路線實(shí)現(xiàn)：一種是將信息檢索系統(tǒng)構(gòu)建于大規(guī)模對話數(shù)據(jù)集之上，通過建立有效的問句匹配和問答相關(guān)度量化模型實(shí)現(xiàn)對用戶 query的合理回復(fù)[6]，本文不做贅述；另一種技術(shù)路線則試圖通過構(gòu)建端到端（End-to-End）的深度學(xué)習(xí)模型，從海量對話數(shù)據(jù)中自動學(xué)習(xí) query 和 response 之間的語義關(guān)聯(lián)，從而達(dá)到對于任何用戶 query 都能夠自動生成回復(fù)的目的。如果說基于信息檢索的技術(shù)路線偏重工程實(shí)現(xiàn)的話，那么基于生成的技術(shù)路線則顯得更加學(xué)術(shù)。

生成式聊天模型的提出與 NMT 有著極為緊密的關(guān)聯(lián)，這種關(guān)聯(lián)可以追溯到深度學(xué)習(xí)尚未如此風(fēng)行的年代：在早期的問答系統(tǒng)（Question Answering Systems）的相關(guān)研究中，人們就已經(jīng)把SMT 的相關(guān)模型和方法應(yīng)用在答案篩選排序模塊里，并取得了不錯的效果[7]。這背后的原因是，為一個問題尋找答案的過程可以看作是一種特殊的翻譯過程，在這個特殊的翻譯過程中，問題和答案分別位于翻譯模型的兩端，如此一來，一個 question-answer pair 實(shí)際上等價于 SMT 需要處理的一條平行語料，而 SMT 的訓(xùn)練過程實(shí)際上也就等價于構(gòu)建問題和答案當(dāng)中詞語的語義關(guān)聯(lián)過程。在 NMT 取得巨大成功之后，這種新的范式很自然的被應(yīng)用在聊天回復(fù)的自動生成上，于是本文所要討論的第一個直觀思維產(chǎn)生了：聊天可以看作是一種特殊的不以獲取信息為目的的問答，同時 SMT 可以用來尋找答案，且 NMT 是 SMT 的一種高級形態(tài)，那么 NMT 模型可望用來實(shí)現(xiàn)聊天回復(fù)的自動生成。如今，我們把這種新的自動聊天模型架構(gòu)命名為 Neural Response Generation（NRG）。

NRG 面臨的挑戰(zhàn)

不可否認(rèn)，采用 NRG 模型生成的一部分聊天回復(fù)在主題上確實(shí)能夠做到與相應(yīng)的 query 吻合，甚至?xí)袀€別語義相關(guān)度較高且可讀性很好的回復(fù)可以被生成出來，饒是如此，恐怕不會有人認(rèn)為 NRG 復(fù)制了 NMT 模型在機(jī)器翻譯領(lǐng)域的成功，其主要原因就是，這種端到端模型生成的絕大多數(shù)答案嚴(yán)重趨同，且不具有實(shí)際價值，即無法讓人機(jī)對話進(jìn)一步進(jìn)行下去，例如，對于任何的用戶 query，生成的結(jié)果都有可能是“我也覺得”或“我也是這么認(rèn)為的”。無論模型在中文數(shù)據(jù)還是在英文數(shù)據(jù)上進(jìn)行訓(xùn)練，這種現(xiàn)象都非常明顯，由于模型生成的絕大多數(shù)結(jié)果對于任何 query 都勉強(qiáng)可以作為回復(fù)，于是我們把這種生成結(jié)果形象的命名為 safe response[8]。

顯而易見，safe response 的大量存在將使自動聊天系統(tǒng)顯得索然無味，使用戶失去與系統(tǒng)互動的熱情，因此目前的實(shí)用聊天系統(tǒng)仍然是以信息檢索模型為主要架構(gòu)。簡而言之，NRG 模型如果想要在實(shí)際產(chǎn)品中發(fā)揮作用，避免 safe response 的生成是必須要解決的問題，無可回避。

Safe response 問題的產(chǎn)生可能是多種因素共同作用的結(jié)果，本文僅從最直觀的方向切入這個問題。這里不妨思考這樣一個問題：在同樣的數(shù)據(jù)組織形式，同樣的模型結(jié)構(gòu)，合理的假設(shè)的情況下，為什么 NMT模型沒有遇到如此明顯的 safe translating result 的問題？這時候回顧 NMT 模型的工作流程是很有必要的：NMT 模型由兩個部分組成，一部分負(fù)責(zé)對 source sentence 進(jìn)行語義表示，將其壓縮成指定維度的語義向量，因此可以稱其為 encoder；另一部分負(fù)責(zé)接收 encoder 提供的語義向量，并在語義向量的“指導(dǎo)”下，逐個挑選詞語組成 target sentence，這個部分通常被稱作 decoder。一言以蔽之，encoder 負(fù)責(zé)提供輸入信號的語義表示，decoder則實(shí)際上實(shí)現(xiàn)了一個以該語義表示為初始條件的語言模型。

圖1 經(jīng)典的 Sequence-to-Sequence 模型[1]

如此一來，safe response 的癥結(jié)之一就呼之欲出了：如果比較機(jī)器翻譯和聊天的訓(xùn)練數(shù)據(jù)就不難發(fā)現(xiàn)，聊天數(shù)據(jù)中詞語在句子不同位置的概率分布具有非常明顯的長尾特性，這一特性通常在句子開頭幾個詞語上體現(xiàn)得尤為明顯，例如，相當(dāng)大比例的聊天回復(fù)是以“我”“也”作為開頭的句子，相對地，對于主要以正規(guī)文本為數(shù)據(jù)源形成的 SMT 平行語料來說，這種情況出現(xiàn)的可能會依數(shù)量級地減少。在這樣的情況下，詞語概率分布上的模式會優(yōu)先被 decoder 的語言模型學(xué)到，并在生成過程中嚴(yán)重抑制 query 與 response 之間詞語關(guān)聯(lián)模式的作用，直觀來看，即便有了 query 的語義向量作為條件，decoder 仍然會挑選概率最大的“我”作為 response 的第一個詞語，又由于語言模型的特性，接下來的詞語將極有可能是“也”……以此類推，一個 safe response 從此產(chǎn)生。

一個直觀的解決方案

NRG 模型產(chǎn)生 safe response 的問題可以說是意料之外情理之中的事情，于是人們堅(jiān)定地對這個難題發(fā)起了挑戰(zhàn)。常見的解決方案包括：通過引入 attention mechanism 強(qiáng)化 query 中重點(diǎn)的語義信息[4]，削弱 decoder 中語言模型的影響[8]，從廣義上來說，引入 user modeling 或者外部知識等信息也能夠增強(qiáng)生成回復(fù)的多樣性[9, 10]。

而當(dāng)我們跳出對于模型或者數(shù)據(jù)的局部感知，從更加全局的角度考慮 safe response 的問題的時候，一個非常直觀的方案撲面而來：產(chǎn)生 safe response 的 S2S 模型可以認(rèn)為是陷入了一個局部的最優(yōu)解，而我們需要的是給模型施加一個干擾，使其跳出局部解，進(jìn)入更加優(yōu)化的狀態(tài)，那么最簡單的正向干擾是，告知模型它生成的 safe response 是很差的結(jié)果，盡管生成這樣的結(jié)果的 loss 是較小的。

一個直觀的思想，開啟了生成式對抗網(wǎng)絡(luò)（Generative Adversarial Networks, GAN）[11]在生成式聊天問題中的曲折探索。

知易行難

將 GAN 引入聊天回復(fù)生成的思路顯得如此水到渠成：使用 encoder-decoder 架構(gòu)搭建一個回復(fù)生成器G，負(fù)責(zé)生成指定 query 的一個 response，同時搭建一個判別器 D 負(fù)責(zé)判斷生成的結(jié)果與真正的 response 尚存多大的差距，并根據(jù)判別器的輸出調(diào)整生成器 G，使其跳出產(chǎn)生 safe response 的局部最優(yōu)局面。

然而當(dāng)我們試圖通過對抗學(xué)習(xí)實(shí)現(xiàn)文本生成的時候，一個在圖像生成的 GAN 模型中從未遇到的問題出現(xiàn)在面前，那就是如何實(shí)現(xiàn)判別器D訓(xùn)練誤差向生成器G的反向傳播（Backpropagation）。對于基于 GAN的圖像生成模型來說，這種誤差的反向傳播是如此的自然，因?yàn)?G 生成圖像的整個過程都是連續(xù)可導(dǎo)的，因此 D 的訓(xùn)練誤差可以從 D 的輸出層直接傳導(dǎo)到 G 的輸入層。而對于文本的生成來說，一個文本樣本的生成必然伴隨 G 在輸出層對詞語的采樣過程，無論這種采樣所遵循的原則是選取最大概率的 greedy思想還是 beam searching，它實(shí)際上都引入了離散的操作，這種不可導(dǎo)的過程就像道路上突然出現(xiàn)的斷崖，阻擋了反向傳播的腳步，使對于 G 的對抗訓(xùn)練無法進(jìn)行下去。

為了解決文本生成過程中的采樣操作帶來的誤差無法傳導(dǎo)的實(shí)際問題，從而實(shí)現(xiàn)基于對抗學(xué)習(xí)的聊天回復(fù)生成模型，三角獸研究團(tuán)隊(duì)在論文 Neural Response Generation via GAN with an Approximate Embedding Layer 中提出了一種新的對話文本對抗生成學(xué)習(xí)框架，目前本論文已經(jīng)被 EMNLP 2017 錄用。

圖2 基于GAN-AEL的對抗學(xué)習(xí)框架

圖2展示了論文提出的 GAN with an Approximate Embedding Layer （GAN-AEL）的基本框架。我們使用 GRU 構(gòu)建回復(fù)生成模型 G 的主體，用 CNN 構(gòu)建判別器 D 用以判斷 query 與（真實(shí)存在的或模型生成的）response 之間的語義是否相關(guān)。在給定一個 query 的情況下，模型 G 通過 encoding-decoding 過程生成一個 fake response，這個 fake response 將與 query 構(gòu)成一個負(fù)樣本，同時，query 在與訓(xùn)練數(shù)據(jù)里的真正的 response 構(gòu)成一個正樣本，判別器 D 的訓(xùn)練目標(biāo)即是盡可能的區(qū)分上述正負(fù)樣本。

如前文所述，引入對抗學(xué)習(xí)改善文本生成的關(guān)鍵問題是如何解決文本生成過程中由采樣帶來的不可導(dǎo)問題，從而實(shí)現(xiàn)判別器誤差向生成器的正確傳播。本文直面此問題，為生成器 G 構(gòu)建了一個 Approximate Embedding Layer （AEL 如圖中紅色矩形框中所示，其細(xì)節(jié)在圖右側(cè)部分給出），這一層的作用是近似的表達(dá)每次采樣過程，在每一個 generation step 中不再試圖得到具體的詞，而是基于詞語的概率分布算出一個采樣向量。這個操作的具體過程是，在每一個 generation step 里，GRU 輸出的隱狀態(tài) h_i 在加入一個隨機(jī)擾動 z_i 之后，經(jīng)過全連接層和 softmax 之后得到整個詞表中每個詞語的概率分布，我們將這個概率分布作為權(quán)重對詞表中所有詞語的 embedding 進(jìn)行加權(quán)求和，從而得到一個當(dāng)前采樣的詞語的近似向量表示（如圖2中右側(cè)綠框所示），并令其作為下一個 generation step 的輸入。同時，此近似向量同樣可以用來拼接組成 fake response 的表示用于 D 的訓(xùn)練。不難看出，這種對于采樣結(jié)果的近似表示操作是連續(xù)可導(dǎo)的，并且引入這種近似表示并不改變模型 G 的訓(xùn)練目標(biāo)。

我們的一小步

作為生成器和判別器的耦合媒介，AEL 的建立保證了對抗學(xué)習(xí)框架在面向聊天的 response generation 問題上應(yīng)用的合理性。為了驗(yàn)證這種合理性，我們在目前常見的中英文對話數(shù)據(jù)上對我們的模型進(jìn)行了驗(yàn)證，其結(jié)果如下表所示：

表格中的 Seq2Seq、MMI-anti 和 Adver-REGS 分別代表經(jīng)典 encoder-decoder、引入 anti-language model 機(jī)制的 S2S 和一種基于強(qiáng)化學(xué)習(xí)的 GAN 模型架構(gòu)。我們試圖從生成結(jié)果的語義相關(guān)性（Relevance）和多樣性（Diversity）兩個方面對比幾個模型，可以看到本文提出的 GAN-AEL 在保證語義相關(guān)性的情況下，明顯提高了生成 response 的多樣性。

為了直觀的展現(xiàn)模型在多樣性方面的提升，我們給出了一些實(shí)際生成結(jié)果的樣例，如下表所示。

我們的模型給出了有關(guān)模型的理論細(xì)節(jié)、評測指標(biāo)以及baseline方法的具體描述，有興趣的讀者可以持續(xù)關(guān)注我們放出的論文。

結(jié)語

兩個直觀的 idea，開啟了基于深度學(xué)習(xí)模型的端到端自動聊天系統(tǒng)的研究，引出了對抗學(xué)習(xí)在聊天回復(fù)生成中的曲折探索。誠然，當(dāng)前最引人關(guān)注的模型配上最熱的研究方向，對于任何的研究者來說都具有很強(qiáng)的吸引力，但是，要做到直面關(guān)鍵問題，潛心尋找解決問題的途徑，需要的則是務(wù)實(shí)的鉆研，任何浮躁的心態(tài)都有可能讓研究工作最終淪為無聊的灌水。

讓機(jī)器自動生成任何 query 的回復(fù)是一個極其困難的問題，因?yàn)槲覀冊噲D挑戰(zhàn)的是人類的語言能力。挑戰(zhàn)難題的過程就像登山，任何一個新的方法的提出未必代表我們鋪建了通往山頂?shù)穆罚墙o人們提供了一根登山杖，讓人們走得更遠(yuǎn)。

參考文獻(xiàn)

[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. 2014. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Information Processing Systems, NIPS’14, pages 3104–3112, Cambridge, MA, USA. MIT Press.

[2] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. 2014. Learning phrase representations using rnn encoder–decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 1724– 1734, Doha, Qatar. Association for Computational Linguistics

[3] Baotian Hu, Zhengdong Lu, Hang Li, and Qingcai Chen. 2014. Convolutional neural network architectures for matching natural language sentences. In Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014, pages 2042–2050

[4] Lifeng Shang, Zhengdong Lu, and Hang Li. 2015. Neural responding machine for short-text conversation. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pages 1577–1586, Beijing, China. Association for Computational Linguistics.

[5] Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian-Yun Nie, Jianfeng Gao, and Bill Dolan. 2015. A neural network approach to context-sensitive generation of conversational responses. In NAACL HLT 2015, pages 196–205

[6] Bowen Wu, Baoxun Wang, and Hui Xue. 2016. Ranking responses oriented to conversational relevance in chat-bots. In COLING 2016, 26th International Conference on Computational Linguistics, Proceedings of the Conference: Technical Papers, December 11-16, 2016, Osaka, Japan, pages 652–662.

[7] Delphine Bernhard and Iryna Gurevych, Combining Lexical Semantic Resources with Question & Answer Archives for Translation-Based Answer Finding

[8] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. 2016a. A diversity-promoting objective function for neural conversation models. In Proceedings of NAACL-HLT, pages 110–119.

[9] Jiwei Li, Michel Galley, Chris Brockett, Georgios P. Spithourakis, Jianfeng Gao, and William B. Dolan. 2016b. A persona-based neural conversation model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016, August 7-12, 2016, Berlin, Germany.

[10] Xing Chen, Wu Wei, Wu Yu, Liu Jie, Huang Yalou, Zhou Ming, and Ma Wei-Ying. 2017. Topic aware neural response generation. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, February 4-9, 2017, San Francisco, California, USA., pages 3351–3357.

[11] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarial nets. In Advances in neural information processing systems, pages 2672–2680.

---

AI慕課學(xué)院近期推出了《NLP工程師入門實(shí)踐班：基于深度學(xué)習(xí)的自然語言處理》課程!

三大模塊，五大應(yīng)用，海外博士講師手把手教你入門NLP，更有豐富項(xiàng)目經(jīng)驗(yàn)相授；算法+實(shí)踐，搭配典型行業(yè)應(yīng)用；隨到隨學(xué)，專業(yè)社群，講師在線答疑！

課程地址：http://www.mooc.ai/course/427

加入AI慕課學(xué)院人工智能學(xué)習(xí)交流QQ群：624413030，與AI同行一起交流成長

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。