雷鋒網(wǎng)AI科技評論按：ICLR 2017 將于4月24-26日在法國土倫舉行，雷鋒網(wǎng)AI科技評論的編輯們也在法國帶來一線報(bào)道。在這個(gè)深度學(xué)習(xí)會議舉辦之前，雷鋒網(wǎng)也將圍繞會議議程及論文介紹展開一系列的覆蓋和專題報(bào)道，敬請期待。

今天介紹的這篇論文由Facebook AI Research兩位大牛Antonie Bordes和 Jason Weston 2016 年發(fā)表于arXiv，并當(dāng)選 ICLR 2017 oral paper。

論文展示了一種即可以做自由對話又可以與知識庫的API調(diào)用相結(jié)合的聊天機(jī)器人，針對目標(biāo)導(dǎo)向的聊天機(jī)器人進(jìn)行了研究。傳統(tǒng)面向目標(biāo)的對話系統(tǒng)在應(yīng)用時(shí)的需要做大量的特定領(lǐng)域的手工修正，每擴(kuò)展到一個(gè)新領(lǐng)域也需要做對應(yīng)的修改。而基于深度學(xué)習(xí)的目標(biāo)導(dǎo)向聊天機(jī)器人掃除了這一障礙。

面向目標(biāo)的聊天機(jī)器人定義了兩種不同的評價(jià)標(biāo)準(zhǔn)：每一次回復(fù)和針對每一個(gè)目標(biāo)的一輪完整對話的正確率。該系統(tǒng)期望去理解用戶的需求并通過有限輪次的對話完成明確的目標(biāo)，文中以餐館預(yù)訂為例，目標(biāo)是通過對話的方式幫助用戶預(yù)訂餐館。每個(gè)餐館的屬性包括：口味，地點(diǎn)，價(jià)格區(qū)間，桌子大小，地址，電話，用戶評分7個(gè)維度。整個(gè)訂餐任務(wù)被劃分為5個(gè)子任務(wù)：

圖1 基于端到端深度學(xué)習(xí)的目標(biāo)導(dǎo)向聊天機(jī)器人服務(wù)示例

任務(wù)1. 用戶使用的給定的請求語句，向系統(tǒng)發(fā)起預(yù)定餐廳的請求，對話系統(tǒng)比對API調(diào)用所需的參數(shù)，通過提問題的方式向用戶請求缺失的字段信息。

任務(wù)2.獲取任務(wù)1中得到的字段后，詢問用戶是否更改當(dāng)前查詢信息，給用戶1~4次修改需求的機(jī)會。

任務(wù)3. 根據(jù)用戶需求調(diào)用相應(yīng) API查詢知識庫中存儲的餐館信息，并將候選結(jié)果按評分由高至低的順序，列舉給用戶，直到用戶接受為止。

任務(wù)4. 待用戶選定候選餐廳后，提供該餐廳的其他信息服務(wù)，比如提供詳細(xì)電話、地址信息。

任務(wù)5. 整合所有的對話，返回用戶在第三個(gè)任務(wù)中選擇的結(jié)果。

Facebook團(tuán)隊(duì)把訂餐這個(gè)場景，人為得分為了5種不同難度等級的任務(wù)，從最簡單的能夠發(fā)出API Call，到能夠完成整段對話。這樣拆成5個(gè)步驟的對話系統(tǒng)，每個(gè)任務(wù)的目標(biāo)都很明確，從而一定程度上避開了對話質(zhì)難以評估的問題。

團(tuán)隊(duì)還測試目前的模型能夠達(dá)到的性能以及未來的研究方向。文中所用數(shù)據(jù)并非全部為真實(shí)數(shù)據(jù)，F(xiàn)acebook團(tuán)隊(duì)生成了一些模擬的對話數(shù)據(jù)，5個(gè)任務(wù)用的都是模擬對話，模擬的方法是用43種語言模式生成用戶會話，用20種語言模式生成聊天機(jī)器人會話。也使用了DSTC(Dialog State Tracking Challenge)的訂餐數(shù)據(jù)，并將DSTC的數(shù)據(jù)轉(zhuǎn)換成為了系統(tǒng)所定義的格式。因此，大家并不能直接比較這篇文章和DSTC里其他工作做性能比較。

該系統(tǒng)使用的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)是 端到端記憶網(wǎng)絡(luò)結(jié)構(gòu)(End-to-End Memory Networks)，為了適用目標(biāo)導(dǎo)向的應(yīng)用場景，作者對Memory Networks做了如下的擴(kuò)展：

• 每一步對話中，當(dāng)前的用戶語句和系統(tǒng)的回答都需要存入Memory里面（這個(gè)Memory不是一般的Memory，而是Facebook 重量級項(xiàng)目Memory Networks的一個(gè)特殊設(shè)施）；

• 除此以外，系統(tǒng)還需要存放額外的信息，包括Time Index和目前是誰（用戶還是系統(tǒng)）在說話，有一個(gè)注意力機(jī)制（Attention Mechanism）來Memory里查找合適的信息。

• 最后，輸出機(jī)制是在一大堆自然語言輸出和API 調(diào)用之間進(jìn)行選擇。

其中Memory Network為了處理新出現(xiàn)的餐廳名等實(shí)體詞(OOV)導(dǎo)致缺失word embbeding或者不同電話號碼的embeddings不可區(qū)分問題, 作者對實(shí)體詞添加7種預(yù)定義的類型詞(type word)，取得不錯(cuò)效果。

在餐廳預(yù)定模擬的語料上，為了驗(yàn)證處理Out-of-Vocabulary等能力, 作者進(jìn)一步把菜系和地點(diǎn)實(shí)體詞分成兩份，然后根據(jù)兩份實(shí)體詞把KB分成兩個(gè)，一個(gè)KB用于產(chǎn)生訓(xùn)練集，測試集和驗(yàn)證集，另一個(gè)KB只產(chǎn)生測試集(OOV test sets)。然后把對話任務(wù)分解成5個(gè)子任務(wù)，在這個(gè)模擬語料上訓(xùn)練，用每一次回復(fù)和每一輪完整對話的正確率作為評價(jià)標(biāo)準(zhǔn)。為了驗(yàn)證模型遷移到其他真實(shí)場景的能力，作者收集禮賓服務(wù)的語料數(shù)據(jù)。

文章中分別對基于記憶神經(jīng)網(wǎng)絡(luò)的方法、有監(jiān)督的嵌入模型、基于檢索的方法以及基于規(guī)則的方法進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)表明基于記憶神經(jīng)網(wǎng)絡(luò)的方法優(yōu)于其他方法。Memory Networks在所有的任務(wù)上都有不錯(cuò)的表現(xiàn)。由于模型定義得非常個(gè)性化，在適應(yīng)性方面，記憶絡(luò)網(wǎng)結(jié)構(gòu)相比其他模型有較大差距。

ICLR對這篇文章的的評語：

目前大多數(shù)對話系統(tǒng)都是基于自由聊天模型， 本文探討了目標(biāo)導(dǎo)向的對話系統(tǒng)，類似訂餐館時(shí)的對話， 雖然該方法論適應(yīng)場景少，但這不是本文的主要重點(diǎn)。本文的成果是作者提供了具有創(chuàng)意的對話評估標(biāo)準(zhǔn)和開放的數(shù)據(jù)集。會議評論者喜歡這篇論文，這篇論文在一個(gè)廣泛探索的話題上樹立了很好的口碑，并開辟了一個(gè)相當(dāng)新穎的方向。

Via  Learning End-to-End GoalOriented Dialog

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。