雷鋒網(wǎng)AI科技評(píng)論按：近幾年，由于深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，自然語(yǔ)言處理借此取得了重大突破，但同時(shí)也達(dá)到了它的發(fā)展瓶頸期。因此，研究如何讓 AI 像人類一樣去學(xué)習(xí)自然語(yǔ)言成為了現(xiàn)在研究者們最關(guān)心的問(wèn)題。

近期，在雷鋒網(wǎng) GAIR 大講堂上，來(lái)自卡內(nèi)基 · 梅隆大學(xué)三年級(jí)博士生楊植麟同學(xué)分享了無(wú)監(jiān)督學(xué)習(xí)和情景化學(xué)習(xí)的一些最新進(jìn)展，其中包括一篇 ICLR Oral 論文的解讀。視頻回放地址：http://www.mooc.ai/open/course/472

楊植麟，卡內(nèi)基梅隆大學(xué)博士三年級(jí)，師從蘋(píng)果人工智能主任 Ruslan S.，主要研究無(wú)監(jiān)督深度學(xué)習(xí)及其在自然語(yǔ)言理解的應(yīng)用；過(guò)去兩年在 ICLR/NIPS/ICML 等人工智能頂會(huì)發(fā)表 11 篇文章 (9 篇一作)；曾在 Facebook 人工智能實(shí)驗(yàn)室從事研究工作，本科以年級(jí)第一畢業(yè)于清華計(jì)算機(jī)系。

分享主題：讓人工智能像人類一樣學(xué)習(xí)自然語(yǔ)言：無(wú)監(jiān)督學(xué)習(xí)和情景化學(xué)習(xí)的最新進(jìn)展

分享提綱

• 無(wú)監(jiān)督學(xué)習(xí)：高秩自然語(yǔ)言模型 (ICLR 2018)

• 基于生成式模型的半監(jiān)督學(xué)習(xí)：利用無(wú)標(biāo)注文本提升問(wèn)答 (ACL 2017, NIPS 2017)

• 情景化學(xué)習(xí)：土耳其機(jī)械勇士下降法 (ICLR 2018) 

分享內(nèi)容：

近幾年，深度神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言學(xué)習(xí)任務(wù)上取得眾多突破，但是仍然依賴于大規(guī)模靜態(tài)標(biāo)注數(shù)據(jù)。與此相反，人類學(xué)習(xí)語(yǔ)言的時(shí)候并不需要大規(guī)模監(jiān)督信號(hào)，并且可通過(guò)與環(huán)境的交互理解語(yǔ)言。

先來(lái)回顧一下近些年 NLP 發(fā)展的狀況。NLP 發(fā)展的黃金時(shí)期出現(xiàn)在 2013 年末和 2014 年這段時(shí)間。這段時(shí)間出現(xiàn)三個(gè)非常重要的技術(shù)：Word embeddings；Seq2seq；Attention，這三項(xiàng)技術(shù)基本奠定了 2014 年之后的 NLP 發(fā)展基礎(chǔ)。

從2015年到現(xiàn)在，大家做的主要事情就是把三個(gè)技術(shù)都用上，做各種各樣的變種，用在不同的任務(wù)上來(lái)檢驗(yàn)?zāi)Ｐ托Ч?。單從效果上?lái)看，還是有到很多突破的。但有兩點(diǎn)需要注意，依賴監(jiān)督學(xué)習(xí)可能已經(jīng)做到了極限；監(jiān)督學(xué)習(xí)有兩個(gè)問(wèn)題，一是依賴大規(guī)模標(biāo)注數(shù)據(jù)集，二是依賴靜態(tài)數(shù)據(jù)集。

反觀人類是如何學(xué)習(xí)語(yǔ)言的？人類只需要非常少的監(jiān)督信號(hào)，通過(guò)動(dòng)態(tài)與環(huán)境交互，在環(huán)境中執(zhí)行一些行為，得到一些反饋，進(jìn)行學(xué)習(xí)語(yǔ)言。

如果讓機(jī)器像人類一樣學(xué)習(xí)，就需要突破監(jiān)督學(xué)習(xí)的瓶頸。接下來(lái)講的就是在這一方面的探索，怎樣讓機(jī)器像人類一樣學(xué)習(xí)自然語(yǔ)言。

先看一下這個(gè)，Mastering the Dungeon : Grounded Language Learning by Mechanical Turker Descent。其中的

Mastering the Dungeon 是我們創(chuàng)造的一個(gè)游戲環(huán)境，Mechanical Turker Descent 是我們發(fā)明的算法名字。

圖中的兩個(gè)人（Turker1 和 Turker2）相當(dāng)于平臺(tái)上的兩個(gè)用戶。他們每個(gè)人負(fù)責(zé)訓(xùn)練一個(gè) dragon，如果 dragon 贏了，對(duì)應(yīng)的人會(huì)獲得獎(jiǎng)勵(lì)。這樣 Turker 就會(huì)受到激勵(lì)，會(huì)給 dragon 更好的樣本學(xué)習(xí)，讓它在比賽中擊敗其他 dragon。

下圖反應(yīng)了 dragon 在游戲環(huán)境中具體是如何交互學(xué)習(xí)的，以及具體的游戲環(huán)境是怎么樣的。

這個(gè)交互學(xué)習(xí)算法的名字叫 Mechanical Turker Descent。第一步，每一個(gè) Turker 會(huì)給 dragon 一些訓(xùn)練數(shù)據(jù)，第二步，用數(shù)據(jù)集訓(xùn)練出一個(gè)模型。第三步，這些模型會(huì)放在其他數(shù)據(jù)集上交互驗(yàn)證，每個(gè)模型會(huì)得到分?jǐn)?shù)，獲得高分的 Turker 會(huì)獲得獎(jiǎng)勵(lì)。第四步，所有的數(shù)據(jù)將合并起來(lái)，進(jìn)入下一輪，直到訓(xùn)練出比較好的 agent。

這個(gè)算法其實(shí)既有比賽，又有合作。Turker 為了贏得獎(jiǎng)勵(lì)，所以他們之間相互比賽，促使他們提供更好的數(shù)據(jù)給 dragon。同時(shí)他們又是合作的，在每一輪結(jié)束后都會(huì)把數(shù)據(jù)合并起來(lái)進(jìn)入下一輪，這些數(shù)據(jù)在下一輪都會(huì)共享。

這樣的算法有四個(gè)優(yōu)點(diǎn)：

• 第一，避免數(shù)據(jù)樣本太簡(jiǎn)單，因?yàn)槊總€(gè) Turker 都是在對(duì)方的數(shù)據(jù)集上做驗(yàn)證，如果太簡(jiǎn)單，就會(huì)導(dǎo)致對(duì)方的分?jǐn)?shù)比自己高。

• 第二，避免數(shù)據(jù)樣本太難，如果樣本太難，就不可能訓(xùn)練出模型，同樣不能贏得比賽。

• 第三，難易度適中的數(shù)據(jù)可以動(dòng)態(tài)適應(yīng)模型學(xué)習(xí)的能力。

• 第四，很難通過(guò)作弊獲得好成績(jī)。

游戲環(huán)境和任務(wù)設(shè)置

實(shí)驗(yàn)結(jié)果

通過(guò)實(shí)驗(yàn)得出幾點(diǎn)結(jié)論，實(shí)驗(yàn)中的交互學(xué)習(xí)算法確實(shí)比傳統(tǒng)通過(guò)標(biāo)記數(shù)據(jù)的靜態(tài)學(xué)習(xí)效果要好。

limit 是指限制 Turker 每一輪給的訓(xùn)練數(shù)據(jù)數(shù)量。在給同樣獎(jiǎng)勵(lì)的情況下，發(fā)現(xiàn)如果不限制 Turker，他會(huì)多給 dragon 30% 的數(shù)據(jù)，最終的模型表現(xiàn)效果也較好。

在模型有反饋和沒(méi)有反饋的兩種不同情況下，其性能表現(xiàn)也有很大的差別。如果把模型反饋去掉，所有的指標(biāo)都會(huì)下降，說(shuō)明動(dòng)態(tài)調(diào)整訓(xùn)練數(shù)據(jù)的動(dòng)態(tài)分布是非常重要的。

接下來(lái)為大家介紹一篇 ICLR Oral 論文。論文題目為：Breaking the Softmax Bottleneck A High-Rank RNN Language Model。

我們首先證明了softmax存在表達(dá)能力上的根本缺陷，繼而提出了混合softmax (mixture of softmaxes)的方法，先算K softmaxes，然后用weighted sum得到最后的概率。這個(gè)方法在大家常用的語(yǔ)言模型數(shù)據(jù)集中，取得了當(dāng)前最好的結(jié)果。

由于篇幅限制，這里就不做文字解讀了，大家如果感興趣可以直接去看這篇論文或者觀看視頻回放：http://www.mooc.ai/open/course/472

小結(jié)

未來(lái)最重要的兩個(gè)研究方向，一個(gè)是無(wú)監(jiān)督學(xué)習(xí)，另一個(gè)是 language grounding。

無(wú)監(jiān)督學(xué)習(xí)可以學(xué)習(xí)有價(jià)值的和可傳遞的特征表示，可以改善低資源和高資源任務(wù)； 可以用于監(jiān)督或無(wú)監(jiān)督任務(wù)的元學(xué)習(xí)。language grounding 可以提供足夠復(fù)雜的環(huán)境，是一種非常有效的學(xué)習(xí)算法。

以上就是本期嘉賓的全部分享內(nèi)容。更多公開(kāi)課視頻請(qǐng)到雷鋒網(wǎng) AI 慕課學(xué)院觀看。

關(guān)注微信公眾號(hào)：AI 科技評(píng)論，可獲取最新公開(kāi)課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。