0
| 本文作者： 老王 | 2016-12-08 10:19 |
2016 NIPS 仍在如火如荼地進(jìn)行，各位大佬也頻繁在會(huì)場(chǎng)露面，并時(shí)不時(shí)的搞個(gè)“大新聞”。雷鋒網(wǎng)時(shí)刻關(guān)注著 NIPS 的一切動(dòng)態(tài)，并把大家較為關(guān)注的論文以及學(xué)術(shù)大師的PPT整理出來(lái)，方便大家學(xué)習(xí)和參考。
先打個(gè)招呼，正文和文末都有彩蛋。
Yann LeCun 最近可謂是學(xué)術(shù)界的網(wǎng)紅，上周先后錄了三段視頻為大家普及人工智能知識(shí)，現(xiàn)在又飛到西班牙見(jiàn)見(jiàn)粉絲，也不忘隨時(shí)更新下 Facebook。
Yann LeCun 受邀在今年的 NIPS 大會(huì)發(fā)表演講。眾所周知，深度學(xué)習(xí)通常分類為：無(wú)監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)和增強(qiáng)學(xué)習(xí)，而 Yann LeCun 在演講中用“預(yù)測(cè)學(xué)習(xí)”替代“無(wú)監(jiān)督學(xué)習(xí)”。他指出因?yàn)轭A(yù)測(cè)學(xué)習(xí)要求機(jī)器不僅能在沒(méi)有人類監(jiān)督的情況下進(jìn)行學(xué)習(xí)，同時(shí)能夠?qū)W習(xí)世界的預(yù)測(cè)模型。
演講結(jié)束后 ，Yann LeCun 做了個(gè)總結(jié)：
1. 如果有很多標(biāo)簽的數(shù)據(jù)，監(jiān)督學(xué)習(xí)會(huì)運(yùn)行的很好。
2. 但是如果我們想讓機(jī)器觀察世界并如何獲取"常識(shí)"，上面提到的那一點(diǎn)是遠(yuǎn)遠(yuǎn)不夠的。
3. 唯一能讓機(jī)器獲得常識(shí)的方法就是讓它像人和動(dòng)物一樣觀察世界。
4. 要變得更聰明，機(jī)器需要學(xué)習(xí)世界的預(yù)測(cè)模型。
5. 實(shí)體RNN是一種新模型，從對(duì)事件的文本描述中，對(duì)世界的狀態(tài)作出估測(cè)。
6. 這是唯一一個(gè)能解決20個(gè)任務(wù)，并且精確度還不錯(cuò)地模型。
7. 通過(guò)演示（完成）動(dòng)作序列進(jìn)行學(xué)習(xí)，并在不影響真實(shí)世界的情況下模擬出結(jié)果。
8. 但他們也需要一個(gè)目標(biāo)導(dǎo)向的學(xué)習(xí)方式，同時(shí)也需要基于模型的增強(qiáng)學(xué)習(xí).
9. 預(yù)測(cè)學(xué)習(xí)可以在一個(gè)以能源為基礎(chǔ)的框架內(nèi)制定，在不確定的情況下開(kāi)始學(xué)習(xí)。
10. 在不確定的情況下學(xué)習(xí)，最有效的辦法是對(duì)抗訓(xùn)練。
11. 以能源為基礎(chǔ)的生成式對(duì)抗網(wǎng)絡(luò)可以合成高分辨率圖像。
12. 對(duì)抗訓(xùn)練能夠訓(xùn)練視頻預(yù)測(cè)系統(tǒng)，并將"模糊預(yù)測(cè)"的問(wèn)題列入最小二乘法問(wèn)題。
看到這里，你一定想仔細(xì)瞅瞅 Yann LeCun 的 75 頁(yè) PPT 吧？
關(guān)注雷鋒網(wǎng)旗下的人工智能垂直微信公眾號(hào)【AI科技評(píng)論】，在公眾號(hào)后臺(tái)回復(fù)關(guān)鍵詞“大師”，獲取PPT。
近日，Open AI 科學(xué)家 Ian Goodfellow 在 NIPS 2016 大會(huì)上分享了生成式對(duì)抗網(wǎng)絡(luò)的研究成果，
Ian Goodfellow 是何許人也，現(xiàn)為 Open AI 科學(xué)家，此前為谷歌大腦團(tuán)隊(duì)高級(jí)研究員，大學(xué)期間師從 Yoshua Bengio 大神。生成式對(duì)抗網(wǎng)絡(luò)這個(gè)詞就是他發(fā)明的，而且對(duì)機(jī)器學(xué)習(xí)領(lǐng)域的研究影響重大。
那么就來(lái)聽(tīng)聽(tīng)“生成式對(duì)抗網(wǎng)絡(luò)之父”講講生成式對(duì)抗網(wǎng)絡(luò)。
送個(gè)菜單，這是 Yoshua Bengio 剛剛在 FB 上發(fā)的照片，師徒相聚，畫(huà)面感人。
NIPS大會(huì)現(xiàn)場(chǎng)：最左為 Yoshua Bengio，最右為 Ian Goodfellow
那么接下來(lái)言歸正傳：
我們知道，機(jī)器學(xué)習(xí)方法可以分為生成方法（generative approach）和判別方法（discriminative approach），所學(xué)到的模型分別稱為生成式模型（generative model）和判別式模型（discriminative model）。其中近兩年來(lái)流行的生成式模型主要分為三種方法：
生成對(duì)抗網(wǎng)絡(luò)（GAN：Generative Adversarial Networks）
變分自編碼器（VAE: Variational Autoencoders）
自回歸模型（Autoregressive models）
小編為大家提供的 PPT 內(nèi)容著重講生成對(duì)抗網(wǎng)絡(luò)（GAN：Generative Adversarial Networks），總共 86 頁(yè)。
關(guān)注微信公眾賬號(hào)【AI科技評(píng)論】，在微信公眾號(hào)后臺(tái)回復(fù)關(guān)鍵詞“大神”，獲取PPT。
昨日在吳恩達(dá)教授在 NIPS 上發(fā)表演講：《利用深度學(xué)習(xí)開(kāi)發(fā)人工智能應(yīng)用的基本要點(diǎn)（Nuts and Bolts of Building Applications using Deep Learning）》。
吳恩達(dá)在現(xiàn)場(chǎng)用黑筆白筆寫(xiě)的板書(shū)，已被小編做成了中文版 PPT，就是這么走心。
整理后的：
關(guān)注微信公眾賬號(hào)【AI科技評(píng)論】，在微信公眾號(hào)后臺(tái)回復(fù)關(guān)鍵詞“吳恩達(dá)大禮包”，獲取PPT。
本文作者魏秀參，雷鋒網(wǎng)已獲得這部分內(nèi)容的引用授權(quán)。
前幾天 NIPS官網(wǎng)開(kāi)放了部分錄用文章的 Spotlight Videos（鏈接：https://nips.cc/Conferences/2016/SpotlightVideos），為學(xué)術(shù)達(dá)人魏秀參童鞋把所有論文都捋了一遍，特地將一些有趣、有料的內(nèi)容整理出來(lái)分享給大家。文章鏈接均為 Youtube 視頻。
一、Fast and Provably Good Seedings for k-Means：傳統(tǒng)k-Means算法受初始化影響較大，雖然后來(lái)有k-Means++算法來(lái)優(yōu)化初始化結(jié)果，但該算法不能適用于海量數(shù)據(jù)。本文提出了一種新的更優(yōu)且高效的針對(duì)k-Means初始化方法（oral paper）
鏈接：https://www.youtube.com/watch?v=QtQyeka-tlQ&feature=youtu.be
二、Hierarchical Question-Image Co-Attention for Visual Question Answering：針對(duì)VQA提出不僅要在image domain需要attention，同時(shí)為了增加魯棒性還需在question domain同樣加入attention；
鏈接：https://www.youtube.com/watch?v=m6t9IFdk0ms&feature=youtu.be
三、Residual Networks Behave Like Ensembles of Relatively Shallow Networks：實(shí)驗(yàn)角度探究了ResNet，提出ResNet更像很多小網(wǎng)絡(luò)的集成。比較有意思的paper；
鏈接：https://www.youtube.com/watch?v=jFJF5hXuo0s
四、Stochastic Multiple Choice Learning for Training Diverse Deep Ensembles：多個(gè)深度模型集成算法；
鏈接：www.youtube.com/watch%3Fv%3DKjUfMtZjyfg%26feature%3Dyoutu.be
五、Active Learning from Imperfect Labelers：提出一種adaptive算法以處理主動(dòng)學(xué)習(xí)中l(wèi)abeler不不確定的情況；
鏈接：https://www.youtube.com/watch?v=zslooZuNNIk&feature=youtu.be
六、Improved dropout for shallow deep learning：提出一種改進(jìn)版本dropout
鏈接：https://www.youtube.com/watch?v=oZOOfaT94iU&feature=youtu.be
七、Convolutional Neural Fabrics：抽象化CNN，學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)
鏈接：https://www.youtube.com/watch?v=bqPJFQEykbQ
八、Tagger: Deep Unsupervised Perceptual Grouping很有料的文章，另外視頻很贊，建議授予“最佳視頻獎(jiǎng)”:)
鏈接：https://www.youtube.com/watch?v=jfB_lWZA4Qo&feature=youtu.be
獲取方式：關(guān)注微信公眾賬號(hào)【AI科技評(píng)論】，在后臺(tái)回復(fù)關(guān)鍵詞“谷歌大禮包”獲取 12 篇論文的 PDF
看完 PPT 和視頻，現(xiàn)在就得來(lái)點(diǎn)兒略生澀的硬貨了，Google 的重量級(jí)論文來(lái)襲，其中也有論文是 Geoffrey Hinton 寫(xiě)的哦。
Community Detection on Evolving Graphs
作者：Stefano Leonardi, Aris Anagnostopoulos, Jakub ??cki, Silvio Lattanzi, Mohammad Mahdian
Linear Relaxations for Finding Diverse Elements in Metric Spaces
作者：Aditya Bhaskara, Mehrdad Ghadiri, Vahab Mirrokni, Ola Svensson
Nearly Isometric Embedding by Relaxation
作者：James McQueen, Marina Meila, Dominique Joncas
Optimistic Bandit Convex Optimization
作者：Mehryar Mohri, Scott Yang
Reward Augmented Maximum Likelihood for Neural Structured Prediction
作者：Mohammad Norouzi, Samy Bengio, Zhifeng Chen, Navdeep Jaitly, Mike Schuster, Yonghui Wu, Dale Schuurmans
Stochastic Gradient MCMC with Stale Gradients
作者：Changyou Chen, Nan Ding, Chunyuan Li, Yizhe Zhang, Lawrence Carin
Unsupervised Learning for Physical Interaction through Video Prediction
作者：Chelsea Finn*, Ian Goodfellow, Sergey Levine
Using Fast Weights to Attend to the Recent Past
作者：Jimmy Ba, Geoffrey Hinton, Volodymyr Mnih, Joel Leibo, Catalin Ionescu
A Credit Assignment Compiler for Joint Prediction
作者：Kai-Wei Chang, He He, Stephane Ross, Hal III
A Neural Transducer
作者：Navdeep Jaitly, Quoc Le, Oriol Vinyals, Ilya Sutskever, David Sussillo, Samy Bengio
Attend, Infer, Repeat: Fast Scene Understanding with Generative Models
作者：S. M. Ali Eslami, Nicolas Heess, Theophane Weber, Yuval Tassa, David Szepesvari, Koray Kavukcuoglu, Geoffrey Hinton
Bi-Objective Online Matching and Submodular Allocations
作者：Hossein Esfandiari, Nitish Korula, Vahab Mirrokni
獲取方式：關(guān)注微信公眾賬號(hào)【AI科技評(píng)論】，在微信公眾號(hào)后臺(tái)回復(fù)關(guān)鍵詞“DeepMind大禮包”，獲取下面部分論文PDF
Google 的論文要是沒(méi)看夠的話，那就繼續(xù)瞅瞅 DeepMind 的論文。
DeepMind 在其博客上更新了文章《DeepMind Papers @ NIPS 》，介紹了其在 NIPS 2016 上發(fā)表的一部分論文。
一、用于學(xué)習(xí)物體、關(guān)系和物理學(xué)的交互網(wǎng)絡(luò)（ Interaction Networks for Learning about Objects, Relations and Physics）
作者：Peter Battaglia, Razvan Pascanu, Matthew Lai, Danilo Rezende, Koray Kavukcuoglu
論文鏈接： https://arxiv.org/abs/1605.07571
概述：在此介紹交互網(wǎng)絡(luò)（interaction networks），交互網(wǎng)絡(luò)可以推理復(fù)雜系統(tǒng)中物體的交互，支持動(dòng)態(tài)預(yù)測(cè)，以及推理該系統(tǒng)的抽象屬性。交互網(wǎng)絡(luò)結(jié)合了三種強(qiáng)大的方法：結(jié)構(gòu)化模型（structured model）、模擬（simulation）和深度學(xué)習(xí)。它們能夠輸入圖結(jié)構(gòu)化的數(shù)據(jù)（graph-structured data），以一種類似于模擬的方式執(zhí)行以物體或關(guān)系為中心的推理，并可通過(guò)使用深度神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。它們不會(huì)根據(jù)這些實(shí)體和關(guān)系的排列而改變，可自動(dòng)泛化到與它們訓(xùn)練時(shí)的結(jié)構(gòu)不同和大小規(guī)模的系統(tǒng)中。
二、用于學(xué)習(xí)宏動(dòng)作的 STRAW 模型（Strategic Attentive Writer for Learning Macro-Actions）
作者：Alexander (Sasha) Vezhnevets, Volodymyr Mnih, Simon Osindero, Alex Graves, Oriol Vinyals, John Agapiou, Koray Kavukcuoglu
論文視頻： https://www.youtube.com/watch?v=niMOdSu3yio
摘要：我們提出一個(gè)新的深度循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)，它可以在一個(gè)強(qiáng)化學(xué)習(xí)場(chǎng)景中，通過(guò)與某個(gè)環(huán)境互動(dòng)來(lái)以端到端的方式學(xué)習(xí)構(gòu)建隱含的規(guī)劃。該網(wǎng)絡(luò)構(gòu)建了一個(gè)內(nèi)部規(guī)劃，它會(huì)根據(jù)對(duì)來(lái)自環(huán)境中的下一個(gè)輸入的觀察進(jìn)行持續(xù)地更新。此外，它也可以通過(guò)學(xué)習(xí)根據(jù)規(guī)劃實(shí)現(xiàn)所要的時(shí)長(zhǎng)來(lái)將這個(gè)內(nèi)部表征分區(qū)成連續(xù)的子序列，不需要重新做計(jì)劃。
三、 用于 One Shot 學(xué)習(xí)的 Matching Network （Matching Networks for One Shot Learning）
作者：Oriol Vinyals, Charles Blundell, Timothy Lillicrap, Koray Kavukcuoglu, Daan Wierstra
鏈接：https://arxiv.org/abs/1606.04080
摘要：給定一個(gè)樣本很少甚至只有一個(gè)樣本的看不見(jiàn)分類中，可以使用 Matching Networks 在 ImageNet 上達(dá)到較高的分類精度。該核心架構(gòu)訓(xùn)練起來(lái)較為簡(jiǎn)單，與此同時(shí)，它在一系列圖像和文本分類任務(wù)上的表現(xiàn)極好。Matching Network 可按照其測(cè)試的方式訓(xùn)練：呈現(xiàn)一系列瞬時(shí)性的 one shot 學(xué)習(xí)訓(xùn)練任務(wù)，其中訓(xùn)練樣本的每一個(gè)實(shí)例都要并行投入該網(wǎng)絡(luò)中。然后訓(xùn)練 Matching Network 來(lái)正確對(duì)很多不同輸入訓(xùn)練集進(jìn)行分類。效果是要訓(xùn)練一個(gè)網(wǎng)絡(luò)，它可以跳過(guò)梯度下降的步驟，在一個(gè)全新的數(shù)據(jù)集上分類。
四、安全有效的離策略強(qiáng)化學(xué)習(xí)（Safe and efficient off-policy reinforcement learning）
作者：Remi Munos, Tom Stepleton, Anna Harutyunyan, Marc G. Bellemare
論文鏈接：https://arxiv.org/abs/1606.02647
我們的目標(biāo)是設(shè)計(jì)出帶有兩個(gè)所需特性的強(qiáng)化學(xué)習(xí)算法。首先，要使用離策略數(shù)據(jù)（off-policy data），當(dāng)我們使用記憶再現(xiàn)（memory replay，即觀察日志數(shù)據(jù)）時(shí)它對(duì)探索很重要。其次，要使用多步驟返回（multi-steps returns）以便更快地傳遞反饋和避免近似/估計(jì)誤差（approximation/estimation errors）的積累。這兩個(gè)屬性在深度強(qiáng)化學(xué)習(xí)中是至關(guān)重要的。
五、 樣本高效的蒙特卡洛規(guī)劃（Blazing the trails before beating the path: Sample efficient Monte-Carlo planning）
作者：Jean-Bastien Grill (INRIA), Michal Valko (INRIA), Remi Munos
PDF鏈接：https://papers.nips.cc/paper/6253-blazing-the-trails-before-beating-the-path-sample-efficient-monte-carlo-planning.pdf
假如有一臺(tái)依照馬爾科夫決策過(guò)程（MDP）運(yùn)轉(zhuǎn)的機(jī)器人，它有有限或無(wú)限次數(shù)的狀態(tài)-動(dòng)作到下一個(gè)狀態(tài)的轉(zhuǎn)換。機(jī)器人需要在執(zhí)行任務(wù)前進(jìn)行一系列規(guī)劃?，F(xiàn)在，為了進(jìn)行計(jì)劃，機(jī)器人配備了一個(gè)生成模型來(lái)進(jìn)行蒙特卡洛規(guī)劃。為了感知世界，機(jī)器人需要進(jìn)行高效的規(guī)劃，也就是說(shuō)要樣本高效（sample-efficient）——通過(guò)僅探索可使用的一個(gè)狀態(tài)子集來(lái)利用 MDP 的可能結(jié)構(gòu)，這些探索遵循近最優(yōu)策略（near-optimal policies）。你需要保證樣本復(fù)雜性，這取決于接近最優(yōu)狀態(tài)數(shù)量的度量。你想要的是對(duì)問(wèn)題的蒙特卡洛采樣（用于估計(jì)期望）的擴(kuò)展，該采樣可以交替最大化（在動(dòng)作上）和期望（在下一個(gè)狀態(tài)上）。你需要一個(gè)簡(jiǎn)單的實(shí)現(xiàn)和足夠的計(jì)算效率。我們提出了 TrailBlazer 來(lái)解決此類需求。
六、通過(guò) Bootstrapped DQN 的深度探索（Deep Exploration via Bootstrapped DQN）
作者：Ian Osband, Charles Blundell, Alex Pritzel and Benjamin Van Roy
論文鏈接： https://papers.nips.cc/paper/6501-deep-exploration-via-bootstrapped-dqn
強(qiáng)化學(xué)習(xí)領(lǐng)域出現(xiàn)了很多突破，不過(guò)這些算法中很多都需要大量數(shù)據(jù)，之后才能學(xué)會(huì)做出好的決策。在許多真實(shí)環(huán)境中，我們無(wú)法獲得如此大量的數(shù)據(jù)。
這些算法學(xué)習(xí)如此之慢的原因之一是它們并沒(méi)有收集到用于學(xué)習(xí)該問(wèn)題的正確數(shù)據(jù)。這些算法使用抖動(dòng)（采取隨機(jī)動(dòng)作）來(lái)探索他們的環(huán)境——這種方法比起在多個(gè)時(shí)間步驟上對(duì)信息策略進(jìn)行優(yōu)先級(jí)排序的深度探索，效率指數(shù)級(jí)地更差。對(duì)于使用深度探索進(jìn)行統(tǒng)計(jì)學(xué)上高效的強(qiáng)化學(xué)習(xí)已經(jīng)有很多文獻(xiàn)了，但問(wèn)題是這些算法中沒(méi)有一個(gè)是可以通過(guò)深度學(xué)習(xí)解決的，而現(xiàn)在我們有了。
這篇論文的關(guān)鍵突破如下：提出了第一個(gè)結(jié)合了深度學(xué)習(xí)與深度探索的實(shí)用強(qiáng)化學(xué)習(xí)算法：Bootstrapped DQN。
視頻連接：https://www.youtube.com/playlist?list=PLdy8eRAW78uLDPNo1jRv8jdTx7aup1ujM
七、 帶有隨機(jī)層數(shù)的序貫神經(jīng)模型（Sequential Neural Models with Stochastic Layers）
作者：Marco Fraccaro, S?ren Kaae S?nderby, Ulrich Paquet, Ole Winther
論文鏈接：https://arxiv.org/abs/1605.07571
摘要：RNN 在捕獲數(shù)據(jù)中的長(zhǎng)期依賴性方面表現(xiàn)優(yōu)異，而 SSM 可以對(duì)序列中的潛在隨機(jī)結(jié)構(gòu)中的不確定性進(jìn)行建模，并且善于跟蹤和控制。有沒(méi)有可能將這兩者的最好一面都集中到一起呢？在本論文中，我們將告訴你如何通過(guò)分層確定的（RNN）層和隨機(jī)的（SSM）層去實(shí)現(xiàn)這個(gè)目標(biāo)。我們將展示如何通過(guò)給定一個(gè)序列的過(guò)去（過(guò)濾）、以及它的過(guò)去和未來(lái)（平滑）的信息來(lái)有效地推理它當(dāng)前的隱含結(jié)構(gòu)。
八、通過(guò)梯度下降去學(xué)習(xí)通過(guò)梯度下降的學(xué)習(xí)（Learning to learn by gradient descent by gradient descent）
作者：Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew Hoffman, David Pfau, Tom Schaul, Nando De Freitas
論文鏈接：https://arxiv.org/abs/1606.0447 (https://arxiv.org/abs/1606.04474)
摘要：我們展示了如何將優(yōu)化算法的設(shè)計(jì)作為一個(gè)學(xué)習(xí)問(wèn)題，允許算法學(xué)習(xí)以一種自動(dòng)的方式在相關(guān)問(wèn)題中探索結(jié)構(gòu)。我們學(xué)習(xí)到的算法在已經(jīng)被訓(xùn)練過(guò)的任務(wù)上的表現(xiàn)勝過(guò)了標(biāo)準(zhǔn)的人工設(shè)計(jì)的算法，并且也可以很好地推廣到具有類似結(jié)構(gòu)的新任務(wù)中。我們?cè)谝恍┤蝿?wù)上演示了這種方法，包括神經(jīng)網(wǎng)絡(luò)訓(xùn)練和使用神經(jīng)藝術(shù)為圖像賦予風(fēng)格。
九、一個(gè)使用部分調(diào)節(jié)的在線序列到序列的模型（An Online Sequence-to-Sequence Model Using Partial Conditioning）
作者：Navdeep Jaitly, Quoc V. Le, Oriol Vinyals, Ilya Sutskever, David Sussillo, Samy Bengio
PDF鏈接：http://papers.nips.cc/paper/6594-an-online-sequence-to-sequence-model-using-partial-conditioning.pdf
摘要：由于從一個(gè)序列到另一個(gè)序列（序列到序列（seq2seq））的映射的模型的通用性比較優(yōu)異，所以它們?cè)谶^(guò)去兩年變得非常流行，在翻譯、字幕或者解析等一系列任務(wù)中達(dá)到了頂尖水準(zhǔn)。這些模型的主要缺點(diǎn)是它們?cè)陂_(kāi)始產(chǎn)生結(jié)果輸出序列「y」之前需要讀取整個(gè)輸入序列「x」。在我們的論文中，我們通過(guò)允許模型在整個(gè)輸入序列被讀取之前發(fā)出輸出符號(hào)來(lái)規(guī)避這些限制。雖然這引入了一些獨(dú)立假設(shè)，但也在語(yǔ)音識(shí)別或機(jī)器翻譯等特定領(lǐng)域的在線決策中使得這些模型更加理想。
十、 通過(guò)時(shí)間的記憶有效的反向傳播（Memory-Efficient Backpropagation through time）
作者：Audrunas Gruslys, Remi Munos, Ivo Danihelka, Marc Lanctot, Alex Graves
PDF鏈接：https://papers.nips.cc/paper/6220-memory-efficient-backpropagation-through-time.pdf
摘要：當(dāng)訓(xùn)練卷積 RNN 時(shí)，特別容易耗盡昂貴的 GPU 儲(chǔ)存器，并且儲(chǔ)存器的限制經(jīng)常導(dǎo)致網(wǎng)絡(luò)大小的折損。用于緩解這個(gè)方法的常見(jiàn)方案之一是僅記憶一些中間神經(jīng)元的激活，并且根據(jù)需要重新計(jì)算其他的激活。雖然存在許多的啟發(fā)式方法來(lái)折中儲(chǔ)存器和計(jì)算，但是它們中的大多數(shù)僅適用于某些邊緣情況并且是次優(yōu)的。我們將該問(wèn)題視為一個(gè)動(dòng)態(tài)規(guī)劃問(wèn)題，它允許我們找到一類收到內(nèi)存限制的可證明最優(yōu)策略。對(duì)于長(zhǎng)度為 1000 的序列，我們的算法節(jié)省了 95% 的儲(chǔ)存器使用，而每個(gè)學(xué)習(xí)步驟僅使用了比標(biāo)準(zhǔn)的 BPTT 多三分之一的時(shí)間。
十一、 實(shí)現(xiàn)概念壓縮（Towards Conceptual Compression）
作者：Karol Gregor, Frederic Besse, Danilo Rezende, Ivo Danihelka, Daan Wierstra
PDF連接：http://papers.nips.cc/paper/6542-towards-conceptual-compression.pdf
摘要：發(fā)現(xiàn)高層面的抽象表征是無(wú)監(jiān)督學(xué)習(xí)的主要目標(biāo)之一。我們?cè)O(shè)計(jì)出一種架構(gòu)解決這個(gè)問(wèn)題，該架構(gòu)可將存儲(chǔ)在像素中的信息轉(zhuǎn)換為攜帶表征的有序信息序列。訓(xùn)練根據(jù)順序的緊急程度產(chǎn)生，其中早期表征攜帶了更多關(guān)于圖像的全局和概念方面的信息，而后期的表征則對(duì)應(yīng)于細(xì)節(jié)。該模型是一個(gè)完全卷積、序列的變分自動(dòng)編碼器，其設(shè)計(jì)靈感來(lái)自 DRAW。該架構(gòu)簡(jiǎn)單且均勻，因此不需要許多的設(shè)計(jì)選擇。
十二、圖像 3D 結(jié)構(gòu)的無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning of 3D Structure from Images）
作者: Danilo Rezende, Ali Eslami, Shakir Mohamed, Peter Battaglia, Max Jaderberg, Nicolas Heess
論文地址：https://arxiv.org/abs/1607.00662
摘要：想象你正在盯著一張椅子的照片。如果從不同的視角想象椅子的形狀，你就能夠準(zhǔn)確地識(shí)別出這是椅子。做到這一點(diǎn)的關(guān)鍵不僅是要明確了解透視圖、遮擋和圖像信息處理，更重要的是要有“椅子該是什么樣”這樣的先驗(yàn)知識(shí)，這能讓你“填充”圖像中丟失的部分。在此論文中，我們研究了能夠完成類似上述推理的模型，首次證明了以完全無(wú)監(jiān)督的形式學(xué)習(xí)推論 3D 表征的可行性。
關(guān)注微信公眾賬號(hào)【AI科技評(píng)論】，在后臺(tái)回復(fù)“終極大禮包”獲取上面所有資料。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
