ICLR 2017 的論文評審結(jié)果于今天新鮮出爐，雷鋒網(wǎng) AI 科技評論了解到，經(jīng)過近三個(gè)月的評選，本次 ICLR 的 507 篇論文中共誕生 15 篇口頭展示論文，181 篇海報(bào)展示論文，而三篇最佳論文也于今天正式公布。

其中，三篇優(yōu)秀論文中爭議最大的莫過于這篇名為《Understanding Deep Learning Requires Rethinking Generalization》（《理解深度學(xué)習(xí)，需要重新思考泛化問題》）的論文。作者為 Chiyuan Zhang（MIT博士生，師從Tomaso Poggio）、Samy Bengio（谷歌大腦團(tuán)隊(duì)，深度學(xué)習(xí)三巨頭 Yoshua Bengio的親兄弟）、Modiz Hardt（谷歌大腦團(tuán)隊(duì)）、Benjamin Racht（加州伯克利大學(xué)），Oriol Vinyals（谷歌DeepMind）。從標(biāo)題到陣容，不得不承認(rèn)是非常豪華的。不過，觀點(diǎn)在 OpenReview 上呈現(xiàn)兩極分化，以紐約大學(xué)博士生張翔為代表的研究者認(rèn)為此文被高估，而評審的最終結(jié)果卻認(rèn)為它具有重要的學(xué)術(shù)意義。

首先我們先和雷鋒網(wǎng) AI 科技評論回顧一下論文的內(nèi)容。成功的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練與測試性能之間存在非常小的差異，但傳統(tǒng)觀點(diǎn)認(rèn)為這是泛化誤差的結(jié)果。這篇論文就以「重新思考泛化問題」為主題，通過系統(tǒng)試驗(yàn)，展示傳統(tǒng)方法無法解釋大規(guī)模神經(jīng)網(wǎng)絡(luò)在實(shí)踐中的泛化表現(xiàn)好的原因。而在實(shí)驗(yàn)中，研究者證明了用隨機(jī)梯度訓(xùn)練、用于圖像分類的 CNN 很容易擬合隨機(jī)標(biāo)簽數(shù)據(jù)，而且本質(zhì)上并不受顯式正則化的影響。

最終的評審結(jié)果是這樣評價(jià)的：

• 評論：

  作者在論文中闡述了深度神經(jīng)網(wǎng)絡(luò)擬合隨機(jī)標(biāo)簽數(shù)據(jù)的能力，并給出了非常不錯的實(shí)驗(yàn)結(jié)果。這個(gè)調(diào)查不僅全面，也具有啟發(fā)意義。作者提出了 a) 一個(gè)理論實(shí)例，說明一個(gè)具有足夠規(guī)模參數(shù)的簡單淺層網(wǎng)絡(luò)能夠產(chǎn)生完美的有限樣本表達(dá)性；b) 系統(tǒng)廣泛的實(shí)驗(yàn)評估得以支持研究結(jié)果。這個(gè)實(shí)驗(yàn)評價(jià)是一個(gè)具有徹底性的模型。

  毋庸置疑，這是一項(xiàng)具有顛覆性的工作，將會啟發(fā)未來數(shù)年的許多研究。

• 決定：

  采納（口頭展示）

MIT 博士生周博磊也認(rèn)為這篇論文加深了研究者們「對神經(jīng)網(wǎng)絡(luò)的理解，也給人們開了個(gè)新的視角來看問題」。在知乎的相關(guān)回答里，他對論文做出了肯定，經(jīng)本人授權(quán)后節(jié)選引用如下：

「……深度學(xué)習(xí)越來越演變成了門實(shí)驗(yàn)科學(xué)，本身跟煉丹差不多（笑），有人云亦云，也有意外和反直覺，里面很多東西很難用理論解釋清楚。比如說之前那篇蠻有名的 CVPR'15 oral 論文 Deep Neural Networks are Easily Fooled，也是偏實(shí)驗(yàn)說理，得到了個(gè)反直覺的結(jié)論，對我們理解 CNN 的運(yùn)作原理有很大幫助。我自己是蠻喜歡基于 empirical （經(jīng)驗(yàn)主義）的實(shí)驗(yàn)結(jié)果說理的工作。ICLR'17 還有篇類似的論文 Adversial Examples in the Physical World，可惜沒被接收，但是論文本身也激起了挺多有意思的討論。

這篇文章也是類似的路子，蠻值得一讀，而且讀起來輕松愉快。論文利用損壞的標(biāo)簽和打亂的像素等對比實(shí)驗(yàn)，測試了幾種不同的正則化技術(shù), 諸如 data augmentation, weight decay, dropout, bnorm 等，然而發(fā)現(xiàn)對深度模型的過擬合問題效果都不好。隨后作者進(jìn)一步討論神經(jīng)網(wǎng)絡(luò)的表達(dá)能力問題，然后給了個(gè)簡化的線性模型，證明正則化同樣不能改進(jìn)線性模型的泛化能力?！@些工作無疑加深了我們對神經(jīng)網(wǎng)絡(luò)的理解，給人們開了個(gè)新的視角來看問題?！?/p>

不過，師從 Yann LeCun 的紐約大學(xué)博士生張翔則在 OpenReview 上公開對這篇論文提出了不同意見，認(rèn)為此文獲得 oral 的殊榮對于理論學(xué)界并不公平。他也在評論中強(qiáng)調(diào)，他的觀點(diǎn)與實(shí)驗(yàn)室及導(dǎo)師無關(guān)，純粹是闡述他個(gè)人的意見。雷鋒網(wǎng) AI 科技評論第一時(shí)間聯(lián)系了張翔，并與他進(jìn)行了簡短的交流。

從張翔的角度來看，他認(rèn)為這篇論文歸根結(jié)底可以總結(jié)為：在跟輸入無關(guān)的隨機(jī)標(biāo)簽下，模型的泛化能力很差?！肝业姆磳σ庖娛?，論文實(shí)驗(yàn)中采用的與輸入無關(guān)的隨機(jī)標(biāo)簽訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，是極端顯而易見且沒有意義的，這個(gè)結(jié)果并沒有教給研究人員任何新的知識。」

根據(jù)論文的介紹，張翔認(rèn)為這樣數(shù)據(jù)下訓(xùn)練的模型在遇到?jīng)]有見過的測試輸入時(shí)也會輸出無意義的標(biāo)簽，因此它在隨機(jī)標(biāo)簽問題下過擬合得很厲害。而論文中還使用哈德瑪克復(fù)雜度（Rademacher complexity，下稱哈氏復(fù)雜度）來說明傳統(tǒng)機(jī)器學(xué)習(xí)理論會達(dá)到復(fù)雜度的最大值，得出了需要「重新思考泛化」的結(jié)論。

而張翔在 OpenReview 上表達(dá)的反對意見，則指出論文中僅靠一種哈氏復(fù)雜度的構(gòu)造方式，就一定要找到這種構(gòu)造方式下的對立問題，用他的玩笑話來說就是「拿著錘子，看什么都是釘子」。

「在理論方面，隨機(jī)標(biāo)簽的數(shù)據(jù)和正常標(biāo)簽的數(shù)據(jù)完全就是兩個(gè)不同的問題，這篇文章用前者說明問題，而學(xué)術(shù)界對后者才有最大的興趣。同時(shí)，這篇論文中對于傳統(tǒng)機(jī)器學(xué)習(xí)理論的使用（基于哈氏復(fù)雜度）僅僅是其中一種構(gòu)造方式，如果我們將哈氏復(fù)雜度用于優(yōu)化目標(biāo)而不是分類錯誤率上，由于這兩個(gè)函數(shù)的上下界存在性上的不同，我們并不能夠得到論文中『復(fù)雜度可以達(dá)到最大值』的結(jié)果。此外，對于隨機(jī)標(biāo)簽問題和正常標(biāo)簽問題，理論學(xué)界的研究已經(jīng)有所進(jìn)展，論文中說『需要重新思考泛化』是非常不合適的，對理論界的諸多前輩的研究工作非常不公平。」

這篇論文能夠引起學(xué)界的思考自然意義深遠(yuǎn)，但會議評審與領(lǐng)域主席的觀點(diǎn)最終會對論文的入選與否產(chǎn)生決定性影響。而對于為何這篇引起巨大爭議的文章能夠拿下最佳論文，張翔表示原因也很簡單，因?yàn)樵u審與領(lǐng)域主席的評價(jià)高。因此，張翔也希望會議評審和領(lǐng)域主席能夠更仔細(xì)慎重一些，「對于一些某個(gè)學(xué)界共同體（比如ICLR的實(shí)踐學(xué)者）不太了解的內(nèi)容要找到合適的評審方式和評審人。」

在此之前，雷鋒網(wǎng)也報(bào)道過另一篇在 ICLR 17 引起爭議的論文《LipNet: End-to-End Sentence-level Lipreading》，這篇由 DeepMind、牛津大學(xué)及加拿大高等研究院 (CIFAR) 聯(lián)合發(fā)布的論文最終被拒絕，在公開評審環(huán)節(jié)中，作者與評審爭論得不可開交，但最終還是被評審們拒絕。

「學(xué)術(shù)會議的論文評審是一個(gè)學(xué)界內(nèi)部的民主過程，其結(jié)果需要大家都接受。但是不論什么論文都是可以有不同意見的。」在談?wù)撈鹫撐牡脑u審模式時(shí)，張翔向雷鋒網(wǎng)如是說，他也希望能通過表達(dá)自己的不同意見，引起大家的討論。

周博磊也在知乎中表達(dá)了類似的觀點(diǎn)，認(rèn)為「往往有爭議的文章，激發(fā)大家討論的文章，才是有意思的文章（好與壞本身太主觀）?！苟卒h網(wǎng)也將持續(xù)關(guān)注這篇論文的討論進(jìn)展，并為大家提供更全面豐富的觀點(diǎn)及意見。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。