第五屆 ICLR 會議于當?shù)貢r間 2017 年 4 月 24-26 日在法國土倫舉行，到目前會議已結(jié)束一天，研究者 Carlos E. Perez 在自己的博客上發(fā)布了一篇文章，細數(shù)了他認為不應該被拒的十篇好論文。雷鋒網(wǎng)對本文做了不改動原意的編譯，未經(jīng)許可不得轉(zhuǎn)載。

第一篇：聯(lián)合多任務模型：為多個自然語言處理任務增加一個神經(jīng)網(wǎng)絡（A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks）

作者：Kazuma Hashimoto, Caiming Xiong, Yoshimasa Tsuruoka, Richard Socher

論文鏈接：https://openreview.net/forum?id=SJZAb5cel

原因：這篇是其中最新穎的論文之一，展示了如何逐步增長神經(jīng)網(wǎng)絡。這篇論文之所以重要的原因是它展示了一個網(wǎng)絡是如何通過使用轉(zhuǎn)移學習和域名適應來成長的。目前還沒有很多論文探討這方面。

第二篇：分層存儲網(wǎng)絡（Hierartical Memory Networks）

作者：Sarath Chandar, Sungjin Ahn, Hugo Larochelle, Pascal Vincent, Gerald Tesauro, Yoshua Bengio

論文鏈接：https://openreview.net/forum?id=BJ0Ee8cxx

原因：這是另一篇關于自然語言處理的論文，令人驚訝的是被拒原因是因為作者都是明星研究者。這是大會上的第一篇探討了內(nèi)存層次結(jié)構(gòu)的概念的論文，而目前大多數(shù)內(nèi)存增強網(wǎng)絡趨向于沒有層次的內(nèi)存結(jié)構(gòu)。我認為，這篇論文不應該被這樣輕易地錯失掉。

第三篇：增強學習：通過慢速增強學習的快速增強學習（RL：Fast Reinforcement Learning via Slow Reinforcement Learning）

作者：Yan Duan, John Schulman, Xi Chen, Peter L. Bartlett, Ilya Sutskever, Pieter Abbeel.

論文鏈接：https://openreview.net/forum?id=HkLXCE9lx

原因：這是一篇突破性研究論文，而評論者卻不確信這是一個突破性研究。我想沒有給評論者留下深刻印象估計和RL命名習慣有關。關于元學習的任何東西都應該賣的很火。但這篇論文，盡管有優(yōu)秀的作者，卻還是被猛烈抨擊，真是想不到。

第四篇：解密殘差網(wǎng)絡結(jié)構(gòu)（Demystifying ResNet）

作者：Sihan Li, Jiantao Jiao, Yanjun Han, Tsachy Weissman

論文鏈接：https://openreview.net/forum?id=SJAr0QFxe

原因：我喜歡這篇論文是因為它在關于如何利用殘差或跳過（skip）鏈接給了一些深刻見解的經(jīng)驗法則。是2016年度最火的創(chuàng)新，并且一些人在解構(gòu)技術(shù)上做了一些嘗試。其中一個控訴說在文中使用了簡化模型。這個控訴當然是荒謬的。你難道不想用一個簡化模型去描述另一個復雜系統(tǒng)嗎？

第五篇：神經(jīng)語言知識模型（A Neural Knowledge language Model）

作者：Sungjin Ahn, Heeyoul Choi, Tanel Parnamaa, Yoshua Bengio

論文鏈接：https://openreview.net/forum?id=BJwFrvOeg

原因：這是另一篇被拒的關于自然語言處理的論文。融合了知識庫和深度學習應該算是一個非常大的創(chuàng)新。但這篇論文被駁回卻是因為缺乏新穎性。最主要的不滿竟然是寫作風格。真是太不幸了！

第六篇：知識適應：教會適應（Knowledge Adaptation: Teaching to Adapt）

作者：Sebastian Ruder, Parsa Ghaffari, John G. Breslin

論文鏈接：https://openreview.net/forum?id=rJRhzzKxl

原因：我是第二遍看被拒論文名單才注意到這篇論文。我在這方面有點偏執(zhí)，總是尋找領域適應和轉(zhuǎn)移學習這方面的研究。這篇論文有非常好的想法，但還是被拒。

第七篇：張量混合模型（Tensorial Mixrure Models）

作者：Or Sharir, Ronen Tamari, Nadav Cohen, Amnon Shashua

論文鏈接：https://openreview.net/forum?id=BJluGHcee

原因：我是這篇論文的忠誠粉絲，看到了全息模型，不幸的是，評論家們對此持高懷疑態(tài)度，最終沒能通過。

第八篇：深度神經(jīng)網(wǎng)絡的表現(xiàn)力研究。（On the Expressive Power of Deep Nural Networks）

作者：Maithra Raghu, Ben Poole, Jon Kleinberg, Surya Ganguli, Jascha Sohl-Dickstein

論文鏈接：https://openreview.net/forum?id=B1TTpYKgx

原因：基礎理論研究和實驗性論文是有利于深度學習研究的點金術(shù)。如果它們被扔到一邊，恐怕研究就要搞砸了。

第九篇：深度學習的 Hessian 特征值：奇點與超越（Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond）

作者：Levent Sagun, Leon Bottou, Yann LeCun

論文鏈接：https://openreview.net/forum?id=B186cP9gx

原因：這是故意向這些有名的作者臉上扔雞蛋嗎？我猜是基本實驗數(shù)據(jù)不夠吸引人才導致不通過。評語寫的是：很有趣的實驗數(shù)據(jù)，但是沒有理論基礎。說它完全是不切實際的期望。

第十篇：一個深度網(wǎng)絡損失表面的實證分析（An Empirical Analysis of Deep Network Loss Surfaces）

作者：Daniel Jiwoong Im, Michael Tao, Kristin Branson

論文鏈接：https://openreview.net/forum?id=rkuDV6iex

原因：在我的另一篇文章中，我談到了關于隨機梯度下降作為一種隱式的正則化方法的另一個證據(jù)。遺憾的是我只放了一個本文的超鏈接。但真正令我驚訝的是，這些挖掘出了令人印象非常深刻的數(shù)據(jù)的研究者們卻什么也沒有得到，只有論文被拒的羞辱。

作者在文中最后表達出了他的看法和擔心。他認為對研究深度學習的性質(zhì)的實驗研究實在是太少了。研究者們通常使用簡化模型來執(zhí)行易處理的分析。不過，如果只期望實驗結(jié)果足夠有價值，能給出一個機器是如何表現(xiàn)的描述，而不期望獲得一個強大的理論成果，那也不行。在沒有這類研究的情況下，我們大多數(shù)是在黑暗中摸索前進。同時擔心目前的研究環(huán)境對深度學習研究者很不利。因為這個領域發(fā)展的太快，而很多評論者的世界觀還沒有和最新研究成果聯(lián)系起來，導致很多具有突破性的研究論文被埋沒。

雷鋒網(wǎng)小結(jié)：不知大家看到這么多優(yōu)秀論文被拒是什么心情，至少雷鋒網(wǎng)編輯覺得是相當痛心。不過，身經(jīng)百戰(zhàn)的科研人員在無數(shù)次的拒絕中想必已經(jīng)練就了強大的心理素質(zhì)，再戰(zhàn)下一次會議又有何難？

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。