ICML第一天的行程即將開始。這一天來自深度學(xué)習各個研究領(lǐng)域的專家們將對自己的論文和研究做出演講。ICML選中的論文主要關(guān)注的類型都是基礎(chǔ)理論類的研究，如深度學(xué)習主題的論文大多數(shù)關(guān)注于如何有效的建立學(xué)習模型和訓(xùn)練模型，而比較少最終應(yīng)用的論文。ICML論文關(guān)注領(lǐng)域非常廣泛。我們在周一的深度學(xué)習論文中選出了幾篇我們認為可能比較有價值的文章，它們分別來自不同的主題板塊，供大家參考：

深度學(xué)習模型的一次性生成（One-Shot Generalization in Deep Generative Models）

這是Google DeepMind的一篇論文，本文主要探討如何讓機器學(xué)習系統(tǒng)對新事物的學(xué)習速度能像人一樣快，或者至少接近這個目標。我們都知道目前的神經(jīng)網(wǎng)絡(luò)要經(jīng)過至少上千甚至上萬或更多的樣本訓(xùn)練之后才能“學(xué)會”一個新的概念，人們一直在試圖搞清楚為什么人腦通常只要一次的訓(xùn)練就能學(xué)會新的概念。在這方面的研究如果得到突破，可以極大的提升機器學(xué)習的效率。

入選理由：機器在運算方面的速度無人能及，但學(xué)習能力卻相當羸弱，如果能增強學(xué)習能力，對機器學(xué)習的發(fā)展必定有極大推動作用

學(xué)會使用記憶來建立網(wǎng)絡(luò)（Learning to Generate with Memory）

這是清華大學(xué)的三名學(xué)者的研究論文。目前“記憶”還是AI的弱項，記憶單元目前已經(jīng)被廣泛應(yīng)用于增強深度神經(jīng)網(wǎng)絡(luò)在長遠來看的應(yīng)對能力和預(yù)測指令的能力上，但還很少被用于生成模型的過程（通過研究現(xiàn)有的數(shù)據(jù)生成新的數(shù)據(jù)）。這個研究提出了一項DGM的應(yīng)用，使得算法可以有通過外部存儲的信息來完善自己的能力

入選理由：我們曾經(jīng)提到過：記憶力的缺失或許是目前機器語音助手未能普及的最大因素。與人水平相當?shù)挠洃浟κ菣C器與人正常對話的最重要前提之一。

英語和普通話的端對端語音識別（End-to-End Speech Recognition in English and Mandarin）

這是百度給出的一篇論文，吳恩達也參與其中。展現(xiàn)了一種既可以用于識別英語也可以用于識別普通話的算法思路。這種算法即使在吵鬧的環(huán)境下、有方言口音的語音中、或不同的語言下都能有很好的表現(xiàn)。百度說他們在此取得的成就主要與對超級計算機的合理應(yīng)用有關(guān)。

入選理由：該算法的優(yōu)越性主要表現(xiàn)在可以排除方言和嘈雜的環(huán)境的干擾，希望它的價值確實有它說的那么大。

為什么算法在Tetris中可以很容易的做出大部分決定？或許所有序貫決策問題都可以呢？（Why Most Decisions Are Easy in Tetris—And Perhaps in Other Sequential Decision Problems, As Well）

增強學(xué)習主要用于控制類的應(yīng)用，如機器人自動控制等，不過它同深度學(xué)習的交叉已經(jīng)越來越多。ICML中的增強學(xué)習的研究主要集中于通過訓(xùn)練算法來玩游戲或建立競爭性的模型來研究其中的規(guī)律。

Tetris即俄羅斯方塊，研究者發(fā)現(xiàn)，只要人們可以在不知道相應(yīng)的行為會帶來多少回報的時候也能很輕易的做出關(guān)于一件事的最優(yōu)決定，那這件事就很容易被計算機解決。他們想到了一種將這種特性應(yīng)用到算法里，可使算法的學(xué)習更具效率和速度的方法。

入選理由：玩游戲是檢驗算法效果的一個非常有效的方式，此文針對此推出了一種新的算法學(xué)習模式，很有新意。

Minecraft中記憶、感知和行為的控制（Control of Memory, Active Perception, and Action in Minecraft）

這個團隊設(shè)計了一種新的玩Minecraft的RL任務(wù)。特點也是將“記憶數(shù)據(jù)”加入了算法中。記憶力的完善應(yīng)該是未來AI的發(fā)展趨勢，也是AI提升空間最大的地方。

入選理由：Minecraft是一款開放性游戲，讓AI將這個游戲玩得有意義比讓AI玩俄羅斯方塊要難很多，而且這項研究也涉及了建立AI記憶的內(nèi)容。

離散型深度特征抽取：一個理論和新的架構(gòu)（Discrete Deep Feature Extraction: A Theory and New Architectures）

卷積神經(jīng)網(wǎng)絡(luò)的時間持續(xù)性特征抽取第一次成為數(shù)學(xué)理論是在2012年，而這篇論文考慮了一個對離散型變量進行特征抽取的方式，并且嘗試建立一個圍繞這個特性的數(shù)學(xué)理論體系。

入選理由：并非所有變量都能轉(zhuǎn)化成連續(xù)的函數(shù)，讓機器學(xué)習算法學(xué)到一種有效率的提取離散型特征的方法是很有必要的。

噪音激活函數(shù)（Noisy Activation Function）

這篇論文雷鋒網(wǎng)已經(jīng)全文翻譯過，在深度學(xué)習的過程中，通過向函數(shù)中加入噪音，反而使得梯度飽和的現(xiàn)象得到了很大的緩解。點擊查看

入選理由：反常識、反直覺的思路反而取得了很好的效果。

通過木塊塔的例子學(xué)習物理直覺（Learning Physical Intuition of Block Towers by Example）

這是Facebook AI研究院的作品。團隊使用了一個類似于木滑車的模型，木滑車是一種能幫助嬰兒獲得關(guān)于物理世界的感覺的玩具。Facebook AI研究院創(chuàng)建了一個3D的積木模型，再使其崩塌，使算法能夠預(yù)測積木崩塌的軌跡、嚴重程度和獲得關(guān)于其物理特性的一些“直覺”。就像人類對一個物品的物理特性會有的感覺那樣。

入選理由：讓AI擁有對物品的“物理直覺”是很重要的，舉個例子：當機器人看到泥土地面時如果能明白它處在濕潤狀態(tài)時自己踩上去就會陷進去，就可以避免很多麻煩。

目前針對深度學(xué)習的研究還處于比較基礎(chǔ)的階段，不難發(fā)現(xiàn)，研究者們還是在試圖從各種角度模擬人類的感知和思維方式，以期做出實用的人工智能。這是合理的思路，讓我們期待周一的演講在美國紐約的正式開始。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。