ICLR論文面面觀：大牛不再是全部，創(chuàng)新力量正在崛起 | ICLR 2017

本文作者：溫曉樺

2017-04-27 15:10

專題：ICLR 2017

導(dǎo)語(yǔ)：國(guó)內(nèi)外人工智能學(xué)術(shù)性會(huì)議的主題演講部分都傾向于邀請(qǐng)聲明在外的老學(xué)者，營(yíng)造出非常濃烈的專家頂會(huì)效應(yīng)，但這無(wú)疑是忽略了對(duì)創(chuàng)新力量的發(fā)掘和培育。

雷鋒網(wǎng)【AI科技評(píng)論】報(bào)道，法國(guó)當(dāng)?shù)貢r(shí)間4月25日，2017年國(guó)際學(xué)習(xí)表征會(huì)議（ICLR 2017）繼續(xù)如火如荼地進(jìn)行中，oral/conference/workshop等環(huán)節(jié)持續(xù)更新更多論文展示。而放眼望去，Google Brain、NYC的標(biāo)志異常顯眼。

通過(guò)論文的展示環(huán)節(jié)，我們看到了許多年輕的創(chuàng)新型人才，在奔赴深度學(xué)習(xí)的各個(gè)研究領(lǐng)域。而不可忽視的是，隱藏在這些論文背后的先驅(qū)大牛們，他們?nèi)栽谝杂擞龢?shù)的姿態(tài)為人工智能研究貢獻(xiàn)力量。他們指導(dǎo)的論文，部分會(huì)成為大會(huì)的明星論文，也有值得一讀但被會(huì)議拒絕的作品，這些研究繼續(xù)在這個(gè)學(xué)術(shù)平等的平臺(tái)上接受挑戰(zhàn)。

ICLR論文面面觀：大牛不再是全部，創(chuàng)新力量正在崛起 | ICLR 2017

論文研討現(xiàn)場(chǎng)

明星論文：潛藏的大牛

ICLR-2017 最佳論文《泛化——一個(gè)理解深度學(xué)習(xí)需要重新思考的問(wèn)題》從發(fā)表之日起就引起了學(xué)界激起了熱烈的討論和廣泛的關(guān)注——根據(jù) Twitter 上的討論，這篇論文的 ICLR 得分相當(dāng)高，最后也當(dāng)選成為本屆ICLR最佳論文，進(jìn)入oral環(huán)節(jié)。

而這篇論文的聯(lián)合作者雖并非赫赫有名的大神們，但學(xué)術(shù)積累深厚也不容忽視，包括谷歌大腦的 Samy Bengio（是的，就是常說(shuō)的大神YoshuaBengio的兄弟），和此前在谷歌大腦工作，現(xiàn)在是 DeepMind 研究員的 Oriol Vinyals，以及其他UC伯克利分校的電子工程和計(jì)算機(jī)科學(xué)以及統(tǒng)計(jì)系副教授Benjamin Recht等。

除此之外，在第一天的口頭展示演講中，由霍華德休斯醫(yī)學(xué)研究所、紐約大學(xué)神經(jīng)學(xué)、數(shù)學(xué)、心理學(xué)系的教授，IEEE fellow Eero Simoncelli聯(lián)合創(chuàng)作的論文《端到端優(yōu)化圖像壓縮》也獲得學(xué)界的青睞，大會(huì)評(píng)審中稱其為“接受的論文中最好的兩篇之一”，并獲得9 分的評(píng)級(jí)，在全部入選論文中排名 Top 15%。

而另一篇引起學(xué)界火熱的論文《生成對(duì)抗網(wǎng)絡(luò)的創(chuàng)造性訓(xùn)練方法》，其背后聯(lián)合署名的導(dǎo)師來(lái)歷同樣不同小覷——他是與Yoshua Bengio同為蒙特利爾大學(xué)，也是目前是僅存的幾個(gè)仍然全身心投入在學(xué)術(shù)界的深度學(xué)習(xí)教授之一 Leon Bottou。

一般而言，國(guó)內(nèi)外人工智能學(xué)術(shù)性會(huì)議的主題演講部分都傾向于邀請(qǐng)聲明在外的老學(xué)者，營(yíng)造出非常濃烈的專家頂會(huì)效應(yīng)，但這無(wú)疑是忽略了對(duì)創(chuàng)新力量的發(fā)掘和培育。而與此不同，ICLR設(shè)置的keynotes中每天只有兩場(chǎng)嘉賓邀請(qǐng)的invited talk，其余大部分為由年輕創(chuàng)新研究者主講的contributed talk，與此同時(shí)，包括以上明星論文，不細(xì)究一番，聽(tīng)眾都很難知道這背后隱藏著什么人。

眾所周知，ICLR創(chuàng)立的定位就在于打造一個(gè)開(kāi)放、“基于論文溝通交流”的學(xué)術(shù)大會(huì)，從這里走出了許多新生代的研究主力，為人工智能研究的發(fā)展注入更強(qiáng)的動(dòng)力。舉個(gè)例子，現(xiàn)任深鑒科技首席科學(xué)家韓松，他在2016年ICLR上獲得“最佳論文”并做contributed talk時(shí)，尚是一個(gè)博士研究生，今年才即將畢業(yè)。

大牛論文被拒

眾所周知，ICLR開(kāi)創(chuàng)了開(kāi)放公開(kāi)的論文評(píng)審機(jī)制，創(chuàng)辦者、紐約大學(xué)教授Yann LeCun對(duì)雷鋒網(wǎng)【AI科技評(píng)論】表示，論文評(píng)審接受主要遵循三個(gè)原則：具有能夠發(fā)散研究思維的創(chuàng)新想法、有良好的結(jié)果、想法具有可實(shí)操性。

然而，據(jù)雷鋒網(wǎng)【AI科技評(píng)論】了解，在本屆論文評(píng)選過(guò)程中，也不乏大牛因種種原因而論文被拒的情況，包括Yann LeCun、Yoshua Bengio教授等在內(nèi)的論文。比如，Yann LeCun教授的“Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond”，Yoshua Bengio的“A Neural Knowledge Language Model”、“Hierarchical Memory Networks”等等。

會(huì)場(chǎng)上資深研究人士表示，人工智能有了數(shù)十年的發(fā)展，但革新最快的領(lǐng)域以深度學(xué)習(xí)為先，而在這個(gè)領(lǐng)域中的研究，并非資歷越老創(chuàng)新越快。該人士表示，對(duì)比往年，2017年的ICLR最大的特點(diǎn)是變化大、發(fā)展快，但同時(shí)新理論的實(shí)踐仍存在方法論有待突破和完善的地方，因此最擅長(zhǎng)或者最快產(chǎn)生成果的還有可能是年輕創(chuàng)新力量。

因此從這個(gè)角度講，大會(huì)也產(chǎn)生了一定程度“大牛祛魅”的效應(yīng)。面對(duì)論文評(píng)審的爭(zhēng)議，LeCun教授直言，“爭(zhēng)議是個(gè)好東西。”