雷鋒網(wǎng) AI 科技評(píng)論按：上周，深度學(xué)習(xí)頂級(jí)學(xué)術(shù)會(huì)議 ICLR 2019 在新奧爾良落下帷幕。畢業(yè)于斯坦福大學(xué)、現(xiàn)就職于英偉達(dá)的女性計(jì)算機(jī)科學(xué)家 Chip Huyen 參加了這次會(huì)議，談到對(duì)這次峰會(huì)的感想，她有以下 8 點(diǎn)想要講：

1. 包容性

這次 ICLR 2019 著重強(qiáng)調(diào)了包容性在 AI 中的重要作用：前兩個(gè)主要演講——Sasha Rush 的開(kāi)場(chǎng)致辭和 Cynthia Dwork 的受邀演講——都是有關(guān)公平和平等的。其中一些數(shù)據(jù)引起了人們的擔(dān)憂：

演講者和參會(huì)者中，女性的占比率分別只有 8.6% 和 15%；

2/3 的 LGBTQ+研究者沒(méi)有以專(zhuān)業(yè)身份出席；

這次邀請(qǐng)的大會(huì)演講嘉賓一共 8 位，但均為白人。

Sasha Rush 開(kāi)場(chǎng)致辭的一頁(yè) PPT

不幸的是，這種情況似乎并沒(méi)有引起 AI 研究者的注意和反思。其他的 workshop 都門(mén)庭若市，但 AI for Social Good workshop 卻無(wú)人問(wèn)津，這種情況一直到 Yoshua Bengio 的出現(xiàn)才有所改善。在我參與的眾多 ICLR 交流活動(dòng)中，沒(méi)有人提到過(guò)多樣性——直到有一次我大聲質(zhì)問(wèn)會(huì)方為什么要邀請(qǐng)我來(lái)這個(gè)并不適合我的科技活動(dòng)時(shí)，一位朋友才告訴我：「說(shuō)出來(lái)可能有點(diǎn)冒犯，請(qǐng)你來(lái)是因?yàn)槟闶桥浴！?/span>

這種現(xiàn)象存在的某種原因是——這類(lèi)話題是非「技術(shù)性」的，這意味著，就算你在此花費(fèi)再多是時(shí)間也不會(huì)對(duì)你的研究生涯有所助益。另一方面是由于社會(huì)風(fēng)氣依然存在一些問(wèn)題。一位朋友曾告訴我，不要理睬那個(gè)在群聊挑釁我的人，因?yàn)椤杆矚g取笑那些探討平等和多樣性的人」。我有些朋友不會(huì)在網(wǎng)上談?wù)撊魏斡嘘P(guān)多樣性的話題，因?yàn)樗麄儾幌搿负湍欠N話題扯上關(guān)系」。

2. 無(wú)監(jiān)督表征學(xué)習(xí) & 遷移學(xué)習(xí)

無(wú)監(jiān)督表征學(xué)習(xí)的主要目標(biāo)，是從無(wú)標(biāo)注數(shù)據(jù)中發(fā)現(xiàn)有用的數(shù)據(jù)表征以完成后續(xù)任務(wù)。在 NLP 中，無(wú)監(jiān)督表征學(xué)習(xí)通常是利用語(yǔ)言建模完成的。然后將學(xué)到的表征運(yùn)用到情感分析、命名實(shí)體識(shí)別、機(jī)器翻譯等任務(wù)中。

去年有幾篇成果不錯(cuò)的論文，內(nèi)容是關(guān)于 NLP 無(wú)監(jiān)督表征學(xué)習(xí)的，其中包括 ELMo (Peters et al.)、ULMFiT (Howard et al.)、OpenAI 的 GPT (Radford et al.)、BERT (Devlin et al.)，當(dāng)然，還有「危險(xiǎn)性太大而不能公布的完整的 GPT-2」。

在完整的 GPT-2 模型在 ICLR 上進(jìn)行展示之后，效果令人十分滿意。你可以輸入任意開(kāi)頭語(yǔ)句，它將會(huì)幫你完成后續(xù)的文本創(chuàng)作——比如寫(xiě)出 Buzzfeed 文章、同人文、科學(xué)論文甚至是一些生造詞匯的含義。但它現(xiàn)在的水平依然還沒(méi)法完全與人類(lèi)持平。團(tuán)隊(duì)現(xiàn)在正在研究 GPT-3，規(guī)模更大、可能效果也更好。我已經(jīng)迫不及待想看到它的成果了。

雖然計(jì)算機(jī)視覺(jué)是較早的成功應(yīng)用遷移學(xué)習(xí)的社區(qū)，但其基本任務(wù)——在 ImageNet 上訓(xùn)練分類(lèi)模型——仍然是監(jiān)督式的。自然語(yǔ)言處理社區(qū)和計(jì)算機(jī)視覺(jué)社區(qū)都在問(wèn)同一個(gè)問(wèn)題：「怎樣才能將無(wú)監(jiān)督表征學(xué)習(xí)應(yīng)用到圖像上？」

盡管那些最有名的實(shí)驗(yàn)室已經(jīng)開(kāi)始研究，但只有一篇論文出現(xiàn)在 ICLR 大會(huì)上：「Meta-Learning Update Rules for Unsupervised Representation Learning」(Metz et al.)。他們的算法沒(méi)有更新權(quán)重，而是更新了學(xué)習(xí)規(guī)則。接下來(lái)在少量標(biāo)注樣本上微調(diào)從習(xí)得學(xué)習(xí)規(guī)則中學(xué)到的表征，來(lái)解決圖像分類(lèi)問(wèn)題。他們能夠在 MNIST 和 Fashion MNIST 上找到準(zhǔn)確率大于 70% 的學(xué)習(xí)規(guī)則。

作者解釋了其中的一部分代碼，但是并不打算公開(kāi)它們，因?yàn)椤杆c計(jì)算有關(guān)」。外層循環(huán)需要大約 10 萬(wàn)訓(xùn)練步，在 256 個(gè) GPU 上需要 200 個(gè)小時(shí)的訓(xùn)練時(shí)間。

元學(xué)習(xí)的內(nèi)、外循環(huán)（Metz et al.）

我有種預(yù)感，在不久的將來(lái)，我們會(huì)看到更多這樣的論文?？梢允褂脽o(wú)監(jiān)督學(xué)習(xí)的任務(wù)包括：自動(dòng)編碼、預(yù)測(cè)圖像旋轉(zhuǎn)（Gidaris 等人的論文《Unsupervised Representation Learning by Predicting Image Rotations》在 ICLR 2018 上很火）、預(yù)測(cè)視頻中的下一幀。

3. 回溯 ML

機(jī)器學(xué)習(xí)領(lǐng)域的理念和時(shí)尚類(lèi)似，都是在轉(zhuǎn)圈子。在 poster session 四處走走感覺(jué)像走在記憶的回廊上。即使更受期待的 ICLR 辯論也終結(jié)在「先驗(yàn) vs 結(jié)構(gòu)」的話題上，而這是去年 Yann LeCun 和 Christopher Manning 討論過(guò)的話題，這種討論類(lèi)似貝葉斯學(xué)派和頻率學(xué)派之間的經(jīng)年辯論。

MIT 媒體實(shí)驗(yàn)室的「Grounded Language Learning and Understanding」項(xiàng)目在 2001 年就中斷了，但是 grounded language learning 今年帶著兩篇論文重回舞臺(tái)，不過(guò)它穿上了強(qiáng)化學(xué)習(xí)的外衣：

DOM-Q-NET: Grounded RL on Structured Language (Jia et al.)：給出一個(gè)用自然語(yǔ)言表達(dá)的目標(biāo)，該強(qiáng)化學(xué)習(xí)算法通過(guò)填充字段和點(diǎn)擊鏈接學(xué)習(xí)導(dǎo)航網(wǎng)頁(yè)。

BabyAI: A Platform to Study the Sample Efficiency of Grounded Language Learning (Chevalier-Boisvert et al.)：一個(gè)和 OpenAI Gym 兼容的平臺(tái)，具備一個(gè)手工制作的 bot 智能體，該智能體可以模擬人類(lèi)教師指導(dǎo)智能體學(xué)習(xí)合成語(yǔ)言。

我對(duì)這兩篇論文的想法和 AnonReviewer4 一樣：

「……這里提出的方法和語(yǔ)義解析文獻(xiàn)中研究的方法非常類(lèi)似，盡管這篇論文僅引用了最近的深度強(qiáng)化學(xué)習(xí)論文。我認(rèn)為作者會(huì)從語(yǔ)義解析文章中受益良多，語(yǔ)義解析社區(qū)也可以從這篇論文中得到一些啟發(fā)……但是這兩個(gè)社區(qū)實(shí)際上交流并不多，即使在某些情況下我們研究的是類(lèi)似的問(wèn)題?！?/span>

確定性有限狀態(tài)自動(dòng)機(jī)（DFA）也有兩篇論文登上了 ICLR 2019 的舞臺(tái)：

Representing Formal Languages: A Comparison Between Finite Automata and Recurrent Neural Networks (Michalenko et al.)

Learning Finite State Representations of Recurrent Policy Networks (Koul et al.)

兩篇論文的主要?jiǎng)訖C(jī)是，因?yàn)?RNN 中的隱藏態(tài)空間很大，那么狀態(tài)數(shù)量是否可以減少到有限的數(shù)量呢？我懷疑 DFA 是否能準(zhǔn)確地在語(yǔ)言中代表 RNN，但我很喜歡在訓(xùn)練階段學(xué)習(xí) RNN，然后把它轉(zhuǎn)換到 DFA 進(jìn)行推理的想法，如同 Koul 等人的論文所示。結(jié)果得到的有限表征在游戲 Pong 中只需要 3 個(gè)離散記憶狀態(tài)和 10 個(gè)觀察狀態(tài)，它也能幫助解釋 RNN。

從RNN學(xué)習(xí)一個(gè)DFA的三個(gè)階段（koul等人）

提取自動(dòng)機(jī)（Koul 等人）

4. RNN 失寵

2018 到 2019 年的提交論文主題變化反映出：RNN 出現(xiàn)大幅下降。這也在意料之中，因?yàn)?RNN 雖然適用于序列數(shù)據(jù)，但也存在極大缺陷：它們無(wú)法并行化計(jì)算，因而無(wú)法利用 2012 年以來(lái)較大的研究驅(qū)動(dòng)因素——算力。RNN 在計(jì)算機(jī)視覺(jué)和強(qiáng)化學(xué)習(xí)領(lǐng)域并不流行，而在一度流行的自然語(yǔ)言處理領(lǐng)域，它們也正在被基于注意力的架構(gòu)取代。

RNN 失寵（圖源： ICLR 2019 補(bǔ)充統(tǒng)計(jì)數(shù)據(jù)）

這是否意味著 RNN 將被拋棄？并不盡然。ICLR 2019 上最好的兩篇論文之一《Ordered neurons: Integrating tree structures into Recurrent Neural Networks》就和 RNN 有關(guān)。除了這篇佳作和上文提到的兩篇關(guān)于自動(dòng)機(jī)的論文以外，ICLR 2019 還接收了 9 篇關(guān)于 RNN 的論文，其中大部分研究深入挖掘 RNN 的數(shù)學(xué)基礎(chǔ)知識(shí)，而不是探索 RNN 的新應(yīng)用。

在工業(yè)界，RNN 仍然很活躍，尤其是處理時(shí)序數(shù)據(jù)的公司，比如貿(mào)易公司。但遺憾的是，這些公司通常不會(huì)發(fā)表自己的研究。即使現(xiàn)在 RNN 對(duì)研究者不是那么有吸引力，我們也知道未來(lái)它可能「卷土重來(lái)」。

5. GAN 仍然勢(shì)頭強(qiáng)勁

相比去年，GAN 的相關(guān)變化比較負(fù)面，但相關(guān)論文的數(shù)量實(shí)際上有所增長(zhǎng)，從大約 70 篇增長(zhǎng)到了 100 篇左右。Ian Goodfellow 受邀發(fā)表了以 GAN 為主題的演講，一如既往受到了眾多關(guān)注。

ICLR 2019 第一個(gè) poster session 是關(guān)于 GAN 的。出現(xiàn)了很多新的 GAN 架構(gòu)、對(duì)已有 GAN 架構(gòu)的改進(jìn)，以及 GAN 分析。GAN 應(yīng)用囊括圖像生成、文本生成、音頻合成等多個(gè)領(lǐng)域，有 PATE-GAN、GANSynth、ProbGAN、InstaGAN、RelGAN、MisGAN、SPIGAN、LayoutGAN、KnockoffGAN 等不同架構(gòu)。講真我并不知道這些意味著什么，因?yàn)槲以?GAN 領(lǐng)域堪稱(chēng)文盲。另外，對(duì)于 Andrew Brock 沒(méi)有把他的大型 GAN 模型稱(chēng)為 giGANtic，我也感覺(jué)挺失望的。

狗球萬(wàn)歲（Brock 等人）

GAN poster session 揭示了社區(qū)對(duì) GAN 的反應(yīng)是多么地兩極分化。一些非 GAN 研究者如此評(píng)論：「我等不及想讓 GAN 這波風(fēng)潮趕緊過(guò)去」、「一有人提到對(duì)抗，我的腦子就宕機(jī)?！乖谖铱磥?lái)，他們可能是嫉妒吧。

6. 缺乏受到生物學(xué)啟發(fā)的深度學(xué)習(xí)

鑒于大家對(duì)基因測(cè)序和 CRISPR 嬰兒的憂慮和討論，ICLR 竟然沒(méi)有出現(xiàn)很多結(jié)合深度學(xué)習(xí)和生物學(xué)的論文，這令人驚訝。關(guān)于這個(gè)話題一共有 6 篇論文：

其中有兩篇論文關(guān)于受到生物學(xué)啟發(fā)的架構(gòu)：

Biologically-Plausible Learning Algorithms Can Scale to Large Datasets (Xiao et al.)

A Unified Theory of Early Visual Representations from Retina to Cortex through Anatomically Constrained Deep CNNs (Lindsey et al.)

一篇關(guān)于 RNA 設(shè)計(jì)：

Learning to Design RNA (Runge et al.)

三篇關(guān)于對(duì)蛋白質(zhì)的操作（protein manipulation）：

Human-level Protein Localization with Convolutional Neural Networks (Rumetshofer et al.)

Learning Protein Structure with a Differentiable Simulator (Ingraham et al.)

Learning protein sequence embeddings using information from structure (Bepler et al.)

受視網(wǎng)膜啟發(fā)的卷積神經(jīng)網(wǎng)絡(luò) (Lindsey 等人)

但是卻沒(méi)有一篇論文是關(guān)于基因組的，也沒(méi)有一個(gè) workshop 是關(guān)于這個(gè)話題的。這還真是令人沮喪……不過(guò)，這對(duì)于對(duì)生物學(xué)感興趣的深度學(xué)習(xí)研究者或?qū)ι疃葘W(xué)習(xí)感興趣的生物學(xué)家而言，是一個(gè)巨大的契機(jī)。

我們來(lái)隨便列舉一個(gè)事實(shí)：視網(wǎng)膜論文的第一作者 Jack Lindsey 仍然是斯坦福大學(xué)的在校大學(xué)生。孩子們還沒(méi)開(kāi)始接受社會(huì)的壓榨呢。

7. 強(qiáng)化學(xué)習(xí)仍然是提交論文中最熱門(mén)的話題

ICLR 2019 大會(huì)上的研究論文表明強(qiáng)化學(xué)習(xí)社區(qū)正在從無(wú)模型方法轉(zhuǎn)向樣本高效的基于模型的算法和元學(xué)習(xí)算法。這種轉(zhuǎn)變很可能受到 TD3 (Fujimoto et al., 2018) 和 SAC (Haarnoja et al., 2018) 設(shè)置的 Mujoco 連續(xù)控制基準(zhǔn)上的極高分?jǐn)?shù)，以及 R2D2 (Kapturowski et al., ICLR 2019) 得到的 Atari 離散控制任務(wù)上的極高分?jǐn)?shù)的啟發(fā)。

基于模型的算法（即從數(shù)據(jù)中學(xué)習(xí)環(huán)境模型，然后利用該模型規(guī)劃或生成更多數(shù)據(jù)）在使用 1/10-1/100 的經(jīng)驗(yàn)進(jìn)行訓(xùn)練時(shí)，仍能達(dá)到和無(wú)模型算法一樣的漸近性能。這種優(yōu)勢(shì)表明基于模型的算法適合現(xiàn)實(shí)世界任務(wù)。當(dāng)學(xué)得的模擬器可能有缺陷時(shí)，其誤差可以通過(guò)更復(fù)雜的動(dòng)態(tài)模型得到緩解，比如模擬器的集成 (Rajeswaran et al.)。將強(qiáng)化學(xué)習(xí)應(yīng)用到現(xiàn)實(shí)世界問(wèn)題的另一種方式是，使模擬器支持任意復(fù)雜的隨機(jī)化：在多樣化的模擬環(huán)境中訓(xùn)練的策略可能認(rèn)為現(xiàn)實(shí)世界是「另一次隨機(jī)化」，并取得成功 (OpenAI)。

可在多個(gè)任務(wù)上執(zhí)行快速遷移學(xué)習(xí)的元學(xué)習(xí)算法使得樣本效率和性能得到大幅改善 (ProMP (Rothfuss et al.)、PEARL (Rakelly et al.))。這些改善使我們更加接近「強(qiáng)化學(xué)習(xí)的 ImageNet 時(shí)刻」，即我們可以使用從其他任務(wù)上學(xué)習(xí)的控制策略，而不用從頭開(kāi)始訓(xùn)練策略（當(dāng)然了，太復(fù)雜的任務(wù)目前還無(wú)法實(shí)現(xiàn)）。

在六個(gè)基準(zhǔn)任務(wù)上，PEARL (Rakelly 等人) 的漸近性能和元訓(xùn)練樣本效率都優(yōu)于之前的元強(qiáng)化學(xué)習(xí)方法

ICLR 2019 接收論文中的很大一部分，以及 Structure and Priors in RL (SPiRL) workshop 中的所有論文，是關(guān)于如何將環(huán)境知識(shí)集成到學(xué)習(xí)算法的。盡管早期深度強(qiáng)化學(xué)習(xí)算法的主要優(yōu)勢(shì)之一是一般性（如 DQN 對(duì)所有 Atari 游戲使用同樣的架構(gòu)，而無(wú)需了解其中哪一個(gè)特定游戲），但是新算法展示出引入先驗(yàn)知識(shí)有助于解決更復(fù)雜的任務(wù)。例如，在 Transporter Network (Jakab 等人) 中，智能體使用先驗(yàn)知識(shí)執(zhí)行具備更多信息的結(jié)構(gòu)探索。

總的來(lái)說(shuō)，在過(guò)去 5 年里，強(qiáng)化學(xué)習(xí)社區(qū)開(kāi)發(fā)了大量有效的工具來(lái)解決無(wú)模型強(qiáng)化學(xué)習(xí)難題。現(xiàn)在，是時(shí)候提出更采樣高效、可遷移的算法在現(xiàn)實(shí)世界問(wèn)題上利用強(qiáng)化學(xué)習(xí)了。

此外，Sergey Levine 可能是今年論文最多的作者，有 15 篇之多。

8. 大部分接收論文很快就會(huì)被遺忘

在會(huì)上，我問(wèn)一位知名研究者他如何看待今年的接收論文。他輕笑道：「大部分接收論文會(huì)議一結(jié)束就會(huì)被遺忘?！瓜駲C(jī)器學(xué)習(xí)這樣快速發(fā)展的領(lǐng)域，目前最先進(jìn)的結(jié)果幾周甚至幾天后就可能被打破，大部分接收論文還沒(méi)正式展示就已經(jīng)被超越也就不令人驚訝了。例如，ICLR 2018 論文中 8 篇對(duì)抗樣本論文中的 7 篇在大會(huì)開(kāi)始前已經(jīng)被打破。

我經(jīng)常會(huì)在大會(huì)上聽(tīng)到這樣一個(gè)評(píng)論：論文接收/拒收很隨機(jī)。我不點(diǎn)名，但一些很有名或者引用率很高的論文就曾被大會(huì)拒收過(guò)。相對(duì)的，許多論文雖然被接受了卻無(wú)人引用。

作為這個(gè)領(lǐng)域的一份子，我經(jīng)常面臨各種威脅。無(wú)論我想到什么點(diǎn)子，似乎總有其他人已經(jīng)在做了，且做得更好、更快。可是，假使一篇論文對(duì)任何人都沒(méi)有幫助，那又有什么發(fā)表的意義呢？誰(shuí)能說(shuō)出個(gè)所以然??！

結(jié)論

因?yàn)槠邢?，還有很多趨勢(shì)我沒(méi)能詳盡的寫(xiě)出來(lái)，比如：

優(yōu)化和正則化：Adam 和 SGD 的爭(zhēng)論仍在繼續(xù)。今年 ICLR 大會(huì)提出了許多新技術(shù)，其中一些相當(dāng)令人激動(dòng)?？雌饋?lái)，每個(gè)實(shí)驗(yàn)室都在開(kāi)發(fā)自己的優(yōu)化器，我們團(tuán)隊(duì)同樣如此。

評(píng)估度量：隨著生成模型越來(lái)越流行，我們不可避免地需要提出新的度量標(biāo)準(zhǔn)，以評(píng)估生成的輸出。

如果你想要了解更多，可以去看看David Abel 發(fā)布的一個(gè) 55 頁(yè)的 ICLR 2019 筆記。對(duì)于想了解 ICLR 2019 熱點(diǎn)的人，下面這張圖也許能夠幫助到你：

看起來(lái)，應(yīng)該寫(xiě)一篇名為「A robust probabilistic framework for universal, transferrable unsupervised meta-learning」的論文

我真的很享受 ICLR 這個(gè)大會(huì)——它夠大，你能在此找到很多志同道合的朋友；也夠小，可以盡情享受不用排隊(duì)的樂(lè)趣，4 天的會(huì)議安排也正好。相比之下，NeurIPS 的會(huì)議就有點(diǎn)長(zhǎng)了，參會(huì) 4 天后我就會(huì)邊看 論文海報(bào)邊想：「看看所有這些知識(shí)，我應(yīng)該現(xiàn)在就掌握，但又懶得行動(dòng)?！?/span>

我在 ICLR 大會(huì)上收獲最大的不僅僅是思路，更是科研的動(dòng)力。許多和我年紀(jì)相仿的科研者作出的卓越成就讓我看到了科研之美，激勵(lì)我更努力地去做研究。再說(shuō)了，哪怕只是用這一周的時(shí)間來(lái)看看論文、見(jiàn)見(jiàn)老友也是個(gè)超棒的選擇~

via huyenchip.com/2019/05/12/top-8-trends-from-iclr-2019.html，雷鋒網(wǎng) AI 科技評(píng)論編譯

更多頂會(huì)報(bào)道請(qǐng)繼續(xù)關(guān)注雷鋒網(wǎng) AI 科技評(píng)論

相關(guān)文章：

一個(gè)續(xù)寫(xiě)故事達(dá)到人類(lèi)水平的AI，OpenAI大規(guī)模無(wú)監(jiān)督語(yǔ)言模型GPT-2

AI領(lǐng)域的蝙蝠俠大戰(zhàn)超人：LeCun與Manning如何看待神經(jīng)網(wǎng)絡(luò)中的結(jié)構(gòu)設(shè)計(jì)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。