ICLR論文面面觀：大牛不再是全部，創(chuàng)新力量正在崛起 | ICLR 2017

本文作者：溫曉樺

2017-04-27 15:10

專題：ICLR 2017

導(dǎo)語：國內(nèi)外人工智能學(xué)術(shù)性會議的主題演講部分都傾向于邀請聲明在外的老學(xué)者，營造出非常濃烈的專家頂會效應(yīng)，但這無疑是忽略了對創(chuàng)新力量的發(fā)掘和培育。

雷鋒網(wǎng)【AI科技評論】報道，法國當(dāng)?shù)貢r間4月25日，2017年國際學(xué)習(xí)表征會議（ICLR 2017）繼續(xù)如火如荼地進行中，oral/conference/workshop等環(huán)節(jié)持續(xù)更新更多論文展示。而放眼望去，Google Brain、NYC的標(biāo)志異常顯眼。

通過論文的展示環(huán)節(jié)，我們看到了許多年輕的創(chuàng)新型人才，在奔赴深度學(xué)習(xí)的各個研究領(lǐng)域。而不可忽視的是，隱藏在這些論文背后的先驅(qū)大牛們，他們?nèi)栽谝杂擞龢涞淖藨B(tài)為人工智能研究貢獻力量。他們指導(dǎo)的論文，部分會成為大會的明星論文，也有值得一讀但被會議拒絕的作品，這些研究繼續(xù)在這個學(xué)術(shù)平等的平臺上接受挑戰(zhàn)。

ICLR論文面面觀：大牛不再是全部，創(chuàng)新力量正在崛起 | ICLR 2017

論文研討現(xiàn)場

明星論文：潛藏的大牛

ICLR-2017 最佳論文《泛化——一個理解深度學(xué)習(xí)需要重新思考的問題》從發(fā)表之日起就引起了學(xué)界激起了熱烈的討論和廣泛的關(guān)注——根據(jù) Twitter 上的討論，這篇論文的 ICLR 得分相當(dāng)高，最后也當(dāng)選成為本屆ICLR最佳論文，進入oral環(huán)節(jié)。

而這篇論文的聯(lián)合作者雖并非赫赫有名的大神們，但學(xué)術(shù)積累深厚也不容忽視，包括谷歌大腦的 Samy Bengio（是的，就是常說的大神YoshuaBengio的兄弟），和此前在谷歌大腦工作，現(xiàn)在是 DeepMind 研究員的 Oriol Vinyals，以及其他UC伯克利分校的電子工程和計算機科學(xué)以及統(tǒng)計系副教授Benjamin Recht等。

除此之外，在第一天的口頭展示演講中，由霍華德休斯醫(yī)學(xué)研究所、紐約大學(xué)神經(jīng)學(xué)、數(shù)學(xué)、心理學(xué)系的教授，IEEE fellow Eero Simoncelli聯(lián)合創(chuàng)作的論文《端到端優(yōu)化圖像壓縮》也獲得學(xué)界的青睞，大會評審中稱其為“接受的論文中最好的兩篇之一”，并獲得9 分的評級，在全部入選論文中排名 Top 15%。

而另一篇引起學(xué)界火熱的論文《生成對抗網(wǎng)絡(luò)的創(chuàng)造性訓(xùn)練方法》，其背后聯(lián)合署名的導(dǎo)師來歷同樣不同小覷——他是與Yoshua Bengio同為蒙特利爾大學(xué)，也是目前是僅存的幾個仍然全身心投入在學(xué)術(shù)界的深度學(xué)習(xí)教授之一 Leon Bottou。

一般而言，國內(nèi)外人工智能學(xué)術(shù)性會議的主題演講部分都傾向于邀請聲明在外的老學(xué)者，營造出非常濃烈的專家頂會效應(yīng)，但這無疑是忽略了對創(chuàng)新力量的發(fā)掘和培育。而與此不同，ICLR設(shè)置的keynotes中每天只有兩場嘉賓邀請的invited talk，其余大部分為由年輕創(chuàng)新研究者主講的contributed talk，與此同時，包括以上明星論文，不細究一番，聽眾都很難知道這背后隱藏著什么人。

眾所周知，ICLR創(chuàng)立的定位就在于打造一個開放、“基于論文溝通交流”的學(xué)術(shù)大會，從這里走出了許多新生代的研究主力，為人工智能研究的發(fā)展注入更強的動力。舉個例子，現(xiàn)任深鑒科技首席科學(xué)家韓松，他在2016年ICLR上獲得“最佳論文”并做contributed talk時，尚是一個博士研究生，今年才即將畢業(yè)。

大牛論文被拒

眾所周知，ICLR開創(chuàng)了開放公開的論文評審機制，創(chuàng)辦者、紐約大學(xué)教授Yann LeCun對雷鋒網(wǎng)【AI科技評論】表示，論文評審接受主要遵循三個原則：具有能夠發(fā)散研究思維的創(chuàng)新想法、有良好的結(jié)果、想法具有可實操性。

然而，據(jù)雷鋒網(wǎng)【AI科技評論】了解，在本屆論文評選過程中，也不乏大牛因種種原因而論文被拒的情況，包括Yann LeCun、Yoshua Bengio教授等在內(nèi)的論文。比如，Yann LeCun教授的“Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond”，Yoshua Bengio的“A Neural Knowledge Language Model”、“Hierarchical Memory Networks”等等。

會場上資深研究人士表示，人工智能有了數(shù)十年的發(fā)展，但革新最快的領(lǐng)域以深度學(xué)習(xí)為先，而在這個領(lǐng)域中的研究，并非資歷越老創(chuàng)新越快。該人士表示，對比往年，2017年的ICLR最大的特點是變化大、發(fā)展快，但同時新理論的實踐仍存在方法論有待突破和完善的地方，因此最擅長或者最快產(chǎn)生成果的還有可能是年輕創(chuàng)新力量。

因此從這個角度講，大會也產(chǎn)生了一定程度“大牛祛魅”的效應(yīng)。面對論文評審的爭議，LeCun教授直言，“爭議是個好東西?！?/p>