雷鋒網(wǎng)【AI科技評論】按：為期3天的ICLR 2017深度學習頂會正在法國土倫召開，6場Invited Talk，15場Contributed Talk（oral paper）, 310個論文海報展示讓任何人置身其中的時候，都不免產(chǎn)生一種信息量巨大，怎么看也看不完的錯覺，雷鋒網(wǎng)【AI科技評論】團隊實地考察后，發(fā)現(xiàn)我們可以從現(xiàn)場的亮點中來理出一些對大會深入學習的蛛絲馬跡。

大?！皾M天飛”

ICLR 2017正式召開前，大會官網(wǎng)議程表里顯示的只是幾個簡單的Invited talk(主題演講)和Contributed Talk（口頭論文演講）的演講者信息，絲毫不見其它大牛講者的蹤影。不過這個平凡感沒維持太久，第一天（4月24號）上午的第2個Contributed Talk結(jié)束后，3樓主會議室的700多名聽眾不約而同地涌出會議室進入到外面的自由交流空間進入Poster Session（論文自由交流）環(huán)節(jié)，正好讓剛剛“湮沒”在主會議室的Yann LeCun, Yoshua Bengio, Ian Goodfellow等大牛都躋身在3樓自由討論空間和大家來個“偶然邂逅”。譬如，AI科技評論在3樓某個不起眼的角落就看見了Yann LeCun正在和一個紐約大學的教授討論剛剛結(jié)束的演講主題，因為隔得比較近，我們順勢請教了LeCun教授關(guān)于ICLR的幾個問題并要求了一個Yann LeCun教授的簽名。

論文自由交流時間占比大 

大會召開的3天里，每天給論文自由交流的時間都占到了4小時。第一天為例，上午10:20的Contributed Talk結(jié)束后，一直持續(xù)到12:30前的2個小時都是論文自由交流時間；下午4:10的Contributed Talk結(jié)束后, 一直持續(xù)到6:30的2個小時都也是論文自由交流時間；

而且因為是開放的自由交流時間，不管你來自哪個學?；蛘邫C構(gòu)，你都可以跟任何一個你想要交流的人討論他的論文。圖為雷鋒網(wǎng)【AI科技評論】跟Contributed Talk：Amortised MAP In-ference for Image Super-resolution的第一作者Casper Kaae S?nderby在自由交流區(qū)請教問題后的攝像。

論文展區(qū)里潛龍臥虎 

310多個論文海報展示，因為場地有限，每一天的conference paper展區(qū)和workshop paper展區(qū)海報都必須置換一次，所以我們會看到非常刺激的一幕：各個知名學術(shù)大牛的學生們在他們論文展示當天非常耐心地講解自己的論文。

下圖為Yoshua Bengio學生團隊講解的論文。

下圖為Facebook人工智能研究院的田淵棟在講解論文。

下圖為2016年ICLR最佳論文獲得者韓松團隊的斯坦福學生毛惠子在講解論文。

討論的東西很實用，在爭議中尋求進步  

Contributed Talk或許是最能體現(xiàn)這次大會主題的東西，我們先來看看這3天的Contributed Talk標題。

第一天

Contributed talk 1: End-to-end Optimized Image Compression

Contributed talk 2: Amortised MAP Inference for Image Super-resolution

Contributed Talk 3: Understanding deep learning requires rethinking generalization - BEST PAPER AWARD

Contributed Talk 4: Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima

Contributed Talk 5: Towards Principled Methods for Training Generative Adversarial Networks

第二天

Contributed talk 1: Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data - BEST PAPER AWARD

Contributed talk 2: Learning Graphical State Transitions

Contributed Talk 3: Learning to Act by Predicting the Future

Contributed Talk 4: Reinforcement Learning with Unsupervised Auxiliary Tasks

Contributed Talk 5: Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic

第三天

Contributed talk 1: Learning End-to-End Goal-Oriented Dialog

Contributed talk 2: Multi-Agent Cooperation and the Emergence of (Natural) Language

Contributed Talk 3: Making Neural Programming Architectures Generalize via Recursion - BEST PAPER AWARD

Contributed Talk 4: Neural Architecture Search with Reinforcement Learning

Contributed Talk 5: Optimization as a Model for Few-Shot Learning

相比AAAI這種綜合性更強的學術(shù)會議， ICLR顯然在深度學習的世界里奔跑地更加“純碎”： 端到端優(yōu)化的圖像壓縮，重新思考泛化，GANs，半監(jiān)督學習，預測未來……從這些口頭演講的論文標題中的關(guān)鍵字，我們就可以看出這次演講的東西都是深度學習學者相對熟悉的熱詞，雖然比不上生成式對抗網(wǎng)絡(luò)GANs橫空出世時的驚艷，不過總體觀感這次會議討論的話題開始趨于實用化。

另外比較有意思的是，其中有的口頭演講論文在大會之前就引起了很大爭議，比如獲得最佳論文的Understanding deep learning requires rethinking generalization 理解深度學習，需要重新思考泛化問題（這篇論文以「重新思考泛化問題」為主題，通過系統(tǒng)試驗，展示傳統(tǒng)方法無法解釋大規(guī)模神經(jīng)網(wǎng)絡(luò)在實踐中的泛化表現(xiàn)好的原因。而在實驗中，研究者證明了用隨機梯度訓練、用于圖像分類的 CNN 很容易擬合隨機標簽數(shù)據(jù)，而且本質(zhì)上并不受顯式正則化的影響。）在最終的評審結(jié)果里它得到的反饋是－“作者在論文中闡述了深度神經(jīng)網(wǎng)絡(luò)擬合隨機標簽數(shù)據(jù)的能力，并給出了非常不錯的實驗結(jié)果。這個調(diào)查不僅全面，也具有啟發(fā)意義?！?nbsp;但也有人在 OpenReview 上公開對這篇論文提出了不同意見。

不過從現(xiàn)場反饋來看，正是這些爭議反而讓我們看到了一個生動，更真實的ICLR。

華人創(chuàng)新力量不可小覷

入選ICLR oral論文中的3篇里的華人創(chuàng)新力量，包括Contributed Talk:Understanding deep learning requires rethinking generalization的論文第一作者張馳原; Contributed Talk:Amortised MAP In-ference for Image Super-resolution論文團隊里的施聞?wù)埽?Contributed Talk : Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic論文團隊里的顧世翔，從以上大家有所耳聞的3位，再到論文海報展區(qū)背后的Facebook華人實習生，跟英偉達合作的斯坦福華人學生，前來參展的國內(nèi)企業(yè)等，我們看到華人創(chuàng)新力量正在各自專注的領(lǐng)域獲得越來越好的成績。就像獲得ICLR最佳論文的張馳原在現(xiàn)場做Contributed Talk演講的時候，清晰的邏輯，生動的PPT展示方法，回答現(xiàn)場質(zhì)疑的冷靜幽默，讓現(xiàn)場出現(xiàn)了幾次掌聲雷動的場景，這情形不亞于一群嫻熟導師發(fā)現(xiàn)新大陸時的震撼和驚喜。

小結(jié)

從初次簽到時會場的“簡陋”，到第二天大?！皾M天飛”的戲劇性反轉(zhuǎn)之后，再到后面無窮無盡的論文討論。大家會發(fā)現(xiàn)這是一個非常重視“基于論文溝通交流”的學術(shù)大會，而不是單純做做樣子。主會議室演講的大部分主題讓給了論文，業(yè)界公司過來展示版面讓給了論文，論文海報展示區(qū)前的大部分人也是為了溝通交流而來。對于那些狂熱的學習交流分子來說，下圖中涌動的人頭就是他們心中最美的畫面。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。