0
本文作者: 彭鵬 | 編輯:郭奕欣 | 2017-04-25 18:20 | 專(zhuān)題:ICLR 2017 |
雷鋒網(wǎng)按:在 ICLR 2017 舉辦之際,F(xiàn)AIR實(shí)驗(yàn)室撰文展示了團(tuán)隊(duì)在理解對(duì)話所做的研究和貢獻(xiàn),雷鋒網(wǎng)進(jìn)行編譯,未經(jīng)許可不得轉(zhuǎn)載。
在 Facebook 的人工智能研究中心(FAIR),理解對(duì)話一直被認(rèn)為是一個(gè)宏大和長(zhǎng)期的 AI 研究目標(biāo)。
一個(gè)真正有效的對(duì)話系統(tǒng)應(yīng)該是一項(xiàng)輔助性的技術(shù),這個(gè)系統(tǒng)很可能包括一個(gè)可以用自然語(yǔ)言與人類(lèi)交流的與聊天機(jī)器人類(lèi)似的系統(tǒng)。它可以幫助人們更好地理解周?chē)氖澜?,更有效地和周?chē)娜诉M(jìn)行交流,消除溝通上的障礙。隨著數(shù)字化內(nèi)容的不斷增多,研發(fā)此類(lèi)技術(shù)將會(huì)變得越來(lái)越重要。
嘗試著去理解和解釋對(duì)話并不是一個(gè)新奇的想法。早在 20 年前,就有人嘗試著去建造一臺(tái)人類(lèi)可以與之交流并且可以教它學(xué)習(xí)如何去對(duì)話的機(jī)器。它們結(jié)合了技術(shù)和工程,但是使用預(yù)編程的腳本響應(yīng)就顯得視野十分狹窄了。
多虧了近年來(lái)機(jī)器學(xué)習(xí)技術(shù)的發(fā)展,機(jī)器學(xué)習(xí)技術(shù)讓 AI 智能體與人類(lèi)用自然語(yǔ)言交流成為了一個(gè)更加現(xiàn)實(shí)的想法,得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。
然而,現(xiàn)在的大多數(shù)對(duì)話系統(tǒng)仍然是腳本化的:它們的自然語(yǔ)言理解的模塊可能是基于機(jī)器學(xué)習(xí)的,但是它們的應(yīng)答內(nèi)容通常是由 if/then 語(yǔ)句或規(guī)則引擎來(lái)決定的。盡管相對(duì)于數(shù)十年前已經(jīng)取得了進(jìn)步,但是在很大程度上還是依據(jù)其巨大的文本數(shù)據(jù)庫(kù)來(lái)創(chuàng)建它們的回答。
與聊天機(jī)器人進(jìn)行自然語(yǔ)言的對(duì)話仍然是一個(gè)挑戰(zhàn),這將需要一系列研究上的突破。 FAIR 選擇從兩個(gè)方向來(lái)解決這個(gè)問(wèn)題:一般的 AI 和機(jī)器通過(guò)交流進(jìn)行推理以及在當(dāng)前的對(duì)話系統(tǒng)中進(jìn)行研究。并從實(shí)際使用的聊天機(jī)器人中吸取經(jīng)驗(yàn)。 FAIR 的優(yōu)勢(shì)在于跨越兩種方法的所遇到的多樣性。從長(zhǎng)期的類(lèi)似于 CommAI intiative 的基礎(chǔ)性研究,到短期的類(lèi)似于 FastText 和 Facebook M 的應(yīng)用型嘗試。通過(guò)這些努力,再加上團(tuán)隊(duì)在 AI 頻譜、從深度學(xué)習(xí) NLP 到增強(qiáng)學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和工程方面的專(zhuān)業(yè)知識(shí), FAIR 希望能夠取得有意義的自然語(yǔ)言對(duì)話進(jìn)展。
FAIR 在對(duì)話方面工作的重要一點(diǎn)是, 團(tuán)隊(duì)如何將它置于一個(gè)明確的基礎(chǔ)之中:
強(qiáng)大的基礎(chǔ): 針對(duì)于 NLP 問(wèn)題的高級(jí)學(xué)習(xí)系統(tǒng)應(yīng)該展現(xiàn)出比傳統(tǒng)方法更好地性能。為了達(dá)到這個(gè)目的, FAIR 構(gòu)建了 FastText, 用相對(duì)簡(jiǎn)單和容易理解的技巧來(lái)提供可達(dá)到的最佳效果。
清晰的評(píng)估:評(píng)價(jià)一個(gè)對(duì)話系統(tǒng)是一個(gè)很困難的問(wèn)題。FAIR 提出了一個(gè)更好的工具來(lái)做到這一點(diǎn)。在 ICLR 2017,F(xiàn)acebook 與學(xué)術(shù)界分享了它們的發(fā)現(xiàn)和工具。其中包括訓(xùn)練和評(píng)估推理模型的 CommAI environment,以及可用于測(cè)試端對(duì)端對(duì)話模型的 bAbI. 由于 FAIR 與 Facebook M 的合作,這些工具已經(jīng)在實(shí)際生產(chǎn)條件下進(jìn)行了測(cè)試。
開(kāi)放的研究:FAIR 通過(guò)會(huì)議或者預(yù)印的方式公開(kāi)了其幾乎所有的研究工作。同樣地,代碼和數(shù)據(jù),包括上面提到的兩個(gè)評(píng)估舉措也作為開(kāi)放源碼發(fā)布了。正如在 FAIR 有多種多樣的工作一樣,AI 社區(qū)也有著極大的多樣性。 FAIR 相信通過(guò)開(kāi)放式的對(duì)話、共享工具和研究將會(huì)帶來(lái)更大的進(jìn)步。
在 ICLR, FAIR 提供了 7 篇論文來(lái)說(shuō)明 FAIR 對(duì)話研究的質(zhì)量、創(chuàng)新和廣度。Lazaridou 等人 [6] 和 CommAI 團(tuán)隊(duì) [1] 提出了使系統(tǒng)能夠發(fā)現(xiàn)和使用基本溝通技巧的方向,是邁向強(qiáng)人工智能的第一步。Li 等人提出了 2 篇關(guān)于端對(duì)端對(duì)話系統(tǒng)如何使用現(xiàn)場(chǎng)對(duì)話來(lái)提升自身性能的論文 [2,5]。Bordes 等人將 bAbI 引入到面向目標(biāo)場(chǎng)景中的端對(duì)端對(duì)話系統(tǒng)的測(cè)試。 FAIR 也展示了 Grave 等人和 Henaff 等人關(guān)于機(jī)器閱讀的兩篇論文,他們的研究實(shí)現(xiàn)了通過(guò)機(jī)器推動(dòng)文本閱讀的界限。
[1] CommAI: Evaluating the First Steps Towards a Useful General AI, M Baroni, A Joulin, A Jabri, G Kruszewski, A Lazaridou, K Simonic, T Mikolov
[2] Dialogue Learning With Human-In-The-Loop, J Li, AH Miller, S Chopra, MA Ranzato, J Weston
[3] Improving Neural Language Models with a Continuous Cache, E Grave, A Joulin, N Usunier
[4] Learning End-to-end Goal-oriented Dialog, A Bordes, YL Boureau, J Weston
[5] Learning Through Dialogue Interactions, J Li, AH Miller, S Chopra, MA Ranzato, J Weston
[6] Multi-Agent Cooperation and the Emergence of (Natural) Language, A Lazaridou, A Peysakhovich, M Baroni
[7]「Tracking the World State with Recurrent Entity Networks,」M Henaff, J Weston, A Szlam, A Bordes, Y LeCun
via research.fb,雷鋒網(wǎng)編譯
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
本專(zhuān)題其他文章