雷鋒網(wǎng) AI 科技評(píng)論按：ICML 2017馬上就要在悉尼舉行了。ICML （International Conference on Machine Learning）與每年年底舉行的NIPS（Conference on Neural Information Processing Systems）是機(jī)器學(xué)習(xí)與人工智能研究領(lǐng)域影響力極高的兩個(gè)主要會(huì)議，另外上半年舉行的 ICLR（International Conference on Learning Representations）也有后來(lái)居上的趨勢(shì)。

ICML 2017的會(huì)議時(shí)間是8月6日到8月11日，悉尼的跟北京的時(shí)差也僅僅有兩個(gè)小時(shí)而已，所以很快就要到了。其實(shí) ICML 2017 接收論文名單早在5月就公布了，不過(guò) DeepMind 還是想提醒參會(huì)者們關(guān)注一下自己的論文，所以今天在自己研究 blog 上發(fā)出了一份論文演講清單。

這份清單中一共有 19 篇論文，也就是 19 個(gè)論文演講，其實(shí) DeepMind 在此屆 ICML 上收錄的論文本來(lái)也有25篇之多。一個(gè) 19 篇論文的清單太長(zhǎng)了，以至于 DeepMind 都把這份清單分成了3篇來(lái)發(fā)。

論文這么多，雷鋒網(wǎng) AI 科技評(píng)論這里為大家簡(jiǎn)單介紹其中3篇。

Sharp Minima Can Generalize For Deep Nets

• 深度神經(jīng)網(wǎng)絡(luò)中尖銳的最小值也可以讓模型具有泛化能力

• 論文作者：Laurent Dinh (Univ. Montreal), Razvan Pascanu, Samy Bengio (Google Brain), Yoshua Bengio (Univ. Montreal)

• 論文簡(jiǎn)介：雖然深度學(xué)習(xí)架構(gòu)的過(guò)擬合能力強(qiáng)得過(guò)頭了一點(diǎn)，不過(guò)它們對(duì)于全新數(shù)據(jù)的泛化能力還是相對(duì)不錯(cuò)的，這樣就可以用它們來(lái)解決一些實(shí)際問(wèn)題。然而，解釋這種狀況背后的機(jī)理仍然是研究中的一個(gè)富有開放性的問(wèn)題。有一種假設(shè)最近得到了越來(lái)越多的關(guān)注，就是基于隨機(jī)梯度的方式找到的損失函數(shù)的最小值，它的平滑度越高，模型的泛化性能就越高。這篇論文提出了這樣的觀點(diǎn)：多數(shù)關(guān)于平滑度的想法對(duì)于深度神經(jīng)網(wǎng)絡(luò)都不貼切，而且沒辦法直接用來(lái)解釋泛化性。具體討論帶有激活函數(shù)的深度神經(jīng)網(wǎng)絡(luò)的話，可以得出由繼承對(duì)稱性引出的這些網(wǎng)絡(luò)架構(gòu)的參數(shù)空間的特定幾何結(jié)構(gòu)，利用這些幾何結(jié)構(gòu)可以構(gòu)建出跟任意更尖銳的最小值等效的模型。更進(jìn)一步地，如果允許對(duì)一個(gè)函數(shù)重新參數(shù)化，它的參數(shù)幾何結(jié)構(gòu)可以大幅度變化，但并不影響它的泛化屬性。

• 論文地址：https://arxiv.org/abs/1703.04933 

• 論文演講：Monday 07 August, 11:06-11:24 @ C4.8 

• 海報(bào)地址：Tuesday 08 August, 18:30-22:00 @ Gallery #3

Learning to learn without gradient descent by gradient descent

• 無(wú)需梯度下降的梯度下降，學(xué)會(huì)一個(gè)會(huì)學(xué)習(xí)的模型

• 論文作者：Yutian Chen, Matthew Hoffman, Sergio Gomez, Misha Denil, Timothy Lillicrap, Matthew Botvinick , Nando de Freitas（全部都是 DeepMind 英國(guó)團(tuán)隊(duì)成員）

• 論文簡(jiǎn)介：借助梯度下降的方法，可以用簡(jiǎn)單的生成函數(shù)訓(xùn)練，學(xué)到循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）優(yōu)化器?？梢员砻?，這些學(xué)到的優(yōu)化器展現(xiàn)出了相當(dāng)高的遷移能力，它們可以用來(lái)高效地優(yōu)化很多種不可導(dǎo)的“黑盒”函數(shù)，包括 bandit 環(huán)境下的高斯過(guò)程、簡(jiǎn)單控制對(duì)象、全局優(yōu)化benchmark和超參數(shù)調(diào)節(jié)任務(wù)。在訓(xùn)練層面上，學(xué)到的優(yōu)化器可以學(xué)會(huì)在應(yīng)用和探索中找到平衡，并且根據(jù)自己的偏好在高度工程化的貝葉斯優(yōu)化方法集中選擇適合做超參數(shù)調(diào)節(jié)的方法。

• 論文地址：https://arxiv.org/abs/1611.03824 

• 論文演講：Monday 07 August, 17:15-17:33 @ Darling Harbour Theatre

• 海報(bào)地址：Tuesday 08 August, 18:30-22:00 @ Gallery #6

• 雷鋒網(wǎng) AI 科技評(píng)論注：這篇論文的名字很有特點(diǎn)，而且論文一作也是華人，我們已經(jīng)叮囑了前方記者特別關(guān)注一下，請(qǐng)期待我們的好消息

Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders

• 用 WaveNet 自動(dòng)編碼器神經(jīng)網(wǎng)絡(luò)生成樂音

• 論文作者：Sander Dieleman, Karen Simonyan, Jesse Engel (Google Brain), Cinjon Resnick (Google Brain), Adam Roberts (Google Brain), Douglas Eck (Google Brain), Mohammad Norouzi (Google Brain)

• 論文簡(jiǎn)介：在算法進(jìn)步和高質(zhì)量圖像數(shù)據(jù)集這兩個(gè)因素的幫助下，視覺方面的生成式模型已經(jīng)得到了快速的發(fā)展。這篇論文為音頻領(lǐng)域的這兩個(gè)因素都做出了貢獻(xiàn)，以便音頻模型也可以有更大的發(fā)展空間。首先，作者們?cè)敿?xì)介紹了一個(gè)優(yōu)越的新型 WaveNet 樣式的自動(dòng)編碼器模型，它對(duì)應(yīng)著一個(gè)能從原始音頻波形學(xué)到臨時(shí)編碼的自回歸解碼器。其次，作者們介紹了 NSynth，這是一個(gè)大規(guī)模、高質(zhì)量的音樂數(shù)據(jù)集，它比現(xiàn)有的公開數(shù)據(jù)集規(guī)模要大一個(gè)數(shù)量級(jí)。借助 NSynth，論文中展現(xiàn)出，相比一個(gè)完善優(yōu)化過(guò)的頻譜自動(dòng)編碼器基準(zhǔn)模型， WaveNet 自動(dòng)編碼器在定量和定性表現(xiàn)上都有提高。最后，論文表明這個(gè)模型可以學(xué)到多種embedding，從而可以在樂器之間轉(zhuǎn)化、在音色中做有意義的插值，創(chuàng)造出真實(shí)動(dòng)人的新的類型的聲音。

• 論文地址：https://arxiv.org/abs/1704.01279 

• 論文演講：Tuesday 08 August, 14:42-15:00 @ Parkside 1

• 海報(bào)地址：Tuesday 08 August, 18:30-22:00 @ Gallery #98

其它 16 篇演講論文

• Decoupled Neural Interfaces using Synthetic Gradients

• https://arxiv.org/abs/1608.05343 

• Parallel Multiscale Autoregressive Density Estimation

• https://arxiv.org/abs/1703.03664 

• Understanding Synthetic Gradients and Decoupled Neural Interfaces

• https://arxiv.org/abs/1703.00522 

• Minimax Regret Bounds for Reinforcement Learning

• https://arxiv.org/abs/1703.05449 

• Video Pixel Networks

• https://arxiv.org/abs/1610.00527 

• Why is Posterior Sampling Better than Optimism for Reinforcement Learning?

• https://arxiv.org/abs/1607.00215 

• DARLA: Improving Zero-Shot Transfer in Reinforcement Learning

• http://arxiv.org/abs/1707.08475 

• Automated Curriculum Learning for Neural Networks

• https://arxiv.org/abs/1704.03003 

• A Distributional Perspective on Reinforcement Learning

• https://arxiv.org/abs/1707.06887 

• A Laplacian Framework for Option Discovery in Reinforcement Learning

• http://proceedings.mlr.press/v70/machado17a/machado17a.pdf 

• Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study

• https://arxiv.org/pdf/1706.08606.pdf 

• Count-Based Exploration with Neural Density Models

• https://arxiv.org/abs/1703.01310 

• The Predictron: End-to-End Learning and Planning

• https://arxiv.org/abs/1612.08810 

• FeUdal Networks for Hierarchical Reinforcement Learning

• https://arxiv.org/abs/1703.01161 

• Neural Episodic Control

• https://arxiv.org/pdf/1703.01988.pdf 

• Neural Message Passing Learns Quantum Chemistry

• https://arxiv.org/abs/1704.01212 

對(duì)后16篇論文演講時(shí)間和海報(bào)地點(diǎn)感興趣的讀者，可以訪問(wèn) DeepMind 原博具體查看。這里是論文清單3篇里第一篇的地址，在文末有指向另外兩篇的鏈接。

不能親臨 ICML 2017 的讀者，可以先看看以上的論文，并期待我們的會(huì)議相關(guān)報(bào)道；能夠到現(xiàn)場(chǎng)的呢，雷鋒網(wǎng) AI 科技評(píng)論就跟你們現(xiàn)場(chǎng)見！

相關(guān)文章：

科技公司爭(zhēng)相涌進(jìn)ICML 2017，論文數(shù)占1/4，Google獨(dú)占6.3％

劉鐵巖團(tuán)隊(duì)ICML論文提出機(jī)器學(xué)習(xí)的新范式：對(duì)偶監(jiān)督學(xué)習(xí)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。