ICLR 2017 的論文評審結(jié)果于今天新鮮出爐，雷鋒網(wǎng) AI 科技評論了解到，經(jīng)過近三個月的評選，本次 ICLR 的 507 篇論文中共誕生 15 篇口頭展示論文，181 篇海報展示論文，而三篇最佳論文也于今天正式公布。

其中，三篇優(yōu)秀論文中爭議最大的莫過于這篇名為《Understanding Deep Learning Requires Rethinking Generalization》（《理解深度學(xué)習(xí)，需要重新思考泛化問題》）的論文。作者為 Chiyuan Zhang（MIT博士生，師從Tomaso Poggio）、Samy Bengio（谷歌大腦團隊，深度學(xué)習(xí)三巨頭 Yoshua Bengio的親兄弟）、Modiz Hardt（谷歌大腦團隊）、Benjamin Racht（加州伯克利大學(xué)），Oriol Vinyals（谷歌DeepMind）。從標題到陣容，不得不承認是非常豪華的。不過，觀點在 OpenReview 上呈現(xiàn)兩極分化，以紐約大學(xué)博士生張翔為代表的研究者認為此文被高估，而評審的最終結(jié)果卻認為它具有重要的學(xué)術(shù)意義。

首先我們先和雷鋒網(wǎng) AI 科技評論回顧一下論文的內(nèi)容。成功的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練與測試性能之間存在非常小的差異，但傳統(tǒng)觀點認為這是泛化誤差的結(jié)果。這篇論文就以「重新思考泛化問題」為主題，通過系統(tǒng)試驗，展示傳統(tǒng)方法無法解釋大規(guī)模神經(jīng)網(wǎng)絡(luò)在實踐中的泛化表現(xiàn)好的原因。而在實驗中，研究者證明了用隨機梯度訓(xùn)練、用于圖像分類的 CNN 很容易擬合隨機標簽數(shù)據(jù)，而且本質(zhì)上并不受顯式正則化的影響。

最終的評審結(jié)果是這樣評價的：

• 評論：

  作者在論文中闡述了深度神經(jīng)網(wǎng)絡(luò)擬合隨機標簽數(shù)據(jù)的能力，并給出了非常不錯的實驗結(jié)果。這個調(diào)查不僅全面，也具有啟發(fā)意義。作者提出了 a) 一個理論實例，說明一個具有足夠規(guī)模參數(shù)的簡單淺層網(wǎng)絡(luò)能夠產(chǎn)生完美的有限樣本表達性；b) 系統(tǒng)廣泛的實驗評估得以支持研究結(jié)果。這個實驗評價是一個具有徹底性的模型。

  毋庸置疑，這是一項具有顛覆性的工作，將會啟發(fā)未來數(shù)年的許多研究。

• 決定：

  采納（口頭展示）

MIT 博士生周博磊也認為這篇論文加深了研究者們「對神經(jīng)網(wǎng)絡(luò)的理解，也給人們開了個新的視角來看問題」。在知乎的相關(guān)回答里，他對論文做出了肯定，經(jīng)本人授權(quán)后節(jié)選引用如下：

「……深度學(xué)習(xí)越來越演變成了門實驗科學(xué)，本身跟煉丹差不多（笑），有人云亦云，也有意外和反直覺，里面很多東西很難用理論解釋清楚。比如說之前那篇蠻有名的 CVPR'15 oral 論文 Deep Neural Networks are Easily Fooled，也是偏實驗說理，得到了個反直覺的結(jié)論，對我們理解 CNN 的運作原理有很大幫助。我自己是蠻喜歡基于 empirical （經(jīng)驗主義）的實驗結(jié)果說理的工作。ICLR'17 還有篇類似的論文 Adversial Examples in the Physical World，可惜沒被接收，但是論文本身也激起了挺多有意思的討論。

這篇文章也是類似的路子，蠻值得一讀，而且讀起來輕松愉快。論文利用損壞的標簽和打亂的像素等對比實驗，測試了幾種不同的正則化技術(shù), 諸如 data augmentation, weight decay, dropout, bnorm 等，然而發(fā)現(xiàn)對深度模型的過擬合問題效果都不好。隨后作者進一步討論神經(jīng)網(wǎng)絡(luò)的表達能力問題，然后給了個簡化的線性模型，證明正則化同樣不能改進線性模型的泛化能力?！@些工作無疑加深了我們對神經(jīng)網(wǎng)絡(luò)的理解，給人們開了個新的視角來看問題。」

不過，師從 Yann LeCun 的紐約大學(xué)博士生張翔則在 OpenReview 上公開對這篇論文提出了不同意見，認為此文獲得 oral 的殊榮對于理論學(xué)界并不公平。他也在評論中強調(diào)，他的觀點與實驗室及導(dǎo)師無關(guān)，純粹是闡述他個人的意見。雷鋒網(wǎng) AI 科技評論第一時間聯(lián)系了張翔，并與他進行了簡短的交流。

從張翔的角度來看，他認為這篇論文歸根結(jié)底可以總結(jié)為：在跟輸入無關(guān)的隨機標簽下，模型的泛化能力很差。「我的反對意見是，論文實驗中采用的與輸入無關(guān)的隨機標簽訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，是極端顯而易見且沒有意義的，這個結(jié)果并沒有教給研究人員任何新的知識?！?/p>

根據(jù)論文的介紹，張翔認為這樣數(shù)據(jù)下訓(xùn)練的模型在遇到?jīng)]有見過的測試輸入時也會輸出無意義的標簽，因此它在隨機標簽問題下過擬合得很厲害。而論文中還使用哈德瑪克復(fù)雜度（Rademacher complexity，下稱哈氏復(fù)雜度）來說明傳統(tǒng)機器學(xué)習(xí)理論會達到復(fù)雜度的最大值，得出了需要「重新思考泛化」的結(jié)論。

而張翔在 OpenReview 上表達的反對意見，則指出論文中僅靠一種哈氏復(fù)雜度的構(gòu)造方式，就一定要找到這種構(gòu)造方式下的對立問題，用他的玩笑話來說就是「拿著錘子，看什么都是釘子」。

「在理論方面，隨機標簽的數(shù)據(jù)和正常標簽的數(shù)據(jù)完全就是兩個不同的問題，這篇文章用前者說明問題，而學(xué)術(shù)界對后者才有最大的興趣。同時，這篇論文中對于傳統(tǒng)機器學(xué)習(xí)理論的使用（基于哈氏復(fù)雜度）僅僅是其中一種構(gòu)造方式，如果我們將哈氏復(fù)雜度用于優(yōu)化目標而不是分類錯誤率上，由于這兩個函數(shù)的上下界存在性上的不同，我們并不能夠得到論文中『復(fù)雜度可以達到最大值』的結(jié)果。此外，對于隨機標簽問題和正常標簽問題，理論學(xué)界的研究已經(jīng)有所進展，論文中說『需要重新思考泛化』是非常不合適的，對理論界的諸多前輩的研究工作非常不公平?！?/p>

這篇論文能夠引起學(xué)界的思考自然意義深遠，但會議評審與領(lǐng)域主席的觀點最終會對論文的入選與否產(chǎn)生決定性影響。而對于為何這篇引起巨大爭議的文章能夠拿下最佳論文，張翔表示原因也很簡單，因為評審與領(lǐng)域主席的評價高。因此，張翔也希望會議評審和領(lǐng)域主席能夠更仔細慎重一些，「對于一些某個學(xué)界共同體（比如ICLR的實踐學(xué)者）不太了解的內(nèi)容要找到合適的評審方式和評審人?！?/p>

在此之前，雷鋒網(wǎng)也報道過另一篇在 ICLR 17 引起爭議的論文《LipNet: End-to-End Sentence-level Lipreading》，這篇由 DeepMind、牛津大學(xué)及加拿大高等研究院 (CIFAR) 聯(lián)合發(fā)布的論文最終被拒絕，在公開評審環(huán)節(jié)中，作者與評審爭論得不可開交，但最終還是被評審們拒絕。

「學(xué)術(shù)會議的論文評審是一個學(xué)界內(nèi)部的民主過程，其結(jié)果需要大家都接受。但是不論什么論文都是可以有不同意見的。」在談?wù)撈鹫撐牡脑u審模式時，張翔向雷鋒網(wǎng)如是說，他也希望能通過表達自己的不同意見，引起大家的討論。

周博磊也在知乎中表達了類似的觀點，認為「往往有爭議的文章，激發(fā)大家討論的文章，才是有意思的文章（好與壞本身太主觀）。」而雷鋒網(wǎng)也將持續(xù)關(guān)注這篇論文的討論進展，并為大家提供更全面豐富的觀點及意見。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。