0
| 本文作者： 蔣寶尚 | 2020-02-20 16:01 |
日前，NeurIPS 2020 官網(wǎng)上正式更新了今年的論文截稿日期：摘要提交截止日期為 5月5日，論文提交截止日期為5月12日。
相對(duì)于去年的論文截止日期，今年整體提前了十天左右。各位要投稿的作者們，可得加快點(diǎn)速度了。而今天，NeurIPS 組委會(huì)還發(fā)布了NeurIPS 2020 在提交和評(píng)審機(jī)制上做出的一些重大更改，而本次將截稿日期提前，也正是為了評(píng)審機(jī)制上的調(diào)整做準(zhǔn)備。我們來看提交和評(píng)審機(jī)制上具體有哪些重大變化：
據(jù)NeurIPS 組委會(huì)介紹，今年在提交和評(píng)審機(jī)制上主要做出了以下幾點(diǎn)重要更改：
第一，將摘要提交截止日期提前至5月5日，論文提交截止日期提前至5月12日，以給組委會(huì)預(yù)留更加充足的時(shí)間來審閱數(shù)量上大幅增加的論文投稿，以及給評(píng)審過程中的早期拒稿階段更多的考量時(shí)間。
第二，早期拒稿：領(lǐng)域主席有兩周的時(shí)間來挑選出一批早期拒稿的論文，比例大概為 20%。接著由高級(jí)領(lǐng)域主席在一周時(shí)間內(nèi)通過決議，一經(jīng)通過，被拒稿的論文作者就會(huì)收到其論文不會(huì)再接受進(jìn)一步評(píng)審的通知。
第三，作者即評(píng)審：要求每篇論文的每位作者或共同作者，在要求他們參與評(píng)審論文的情況下都同意參與評(píng)審論文。這項(xiàng)要求能夠有效地?cái)U(kuò)大評(píng)審團(tuán)隊(duì)的規(guī)模，并且還能夠在包括向NeurIPS 投稿的作者在內(nèi)的社區(qū)成員間公平地分配評(píng)審負(fù)擔(dān)。
第四，更廣泛的影響：要求作者在投稿論文中單獨(dú)擬一個(gè)章節(jié)來探討他們這項(xiàng)工作將帶來的更廣泛的影響，包括可能帶來的正面或負(fù)面的社會(huì)影響。
第五，視頻spotlight：要求所有的作者在camera-ready提交截止前，都上傳論文的spotlight演示視頻。現(xiàn)在NeurIPS正在嘗試為遠(yuǎn)程演示和遠(yuǎn)程參會(huì)做準(zhǔn)備工作。
另外，如果作者提交的論文此前已在同行評(píng)審中被拒稿，必須標(biāo)注這一信息，并且列出本次提交的論文所做出的改變。
而去年，NeurIPS 組委會(huì)也在評(píng)審機(jī)制上做過一些調(diào)整，其中最引人關(guān)注的就是 NeurIPS 組委會(huì)與 BMVC、ECML-PKDD、EMNLP-IJCNLP 以及 ICCV 的程序委員會(huì)主席通力合作，為防止一稿多投現(xiàn)象所采取的舉措。最終，19 篇論文因一稿多投而被拒收，一時(shí)嘩然，讓各位投稿作者不禁繃緊了神經(jīng)弦。
（雷鋒網(wǎng)）NeurIPS會(huì)議現(xiàn)場圖
為什么做出這些改變呢？
NeurIPS 2020 在官方博客中說明了原因，其實(shí)在NeurIPS 2019大會(huì)開幕之前，就一直考慮三個(gè)問題：1.如何應(yīng)對(duì)參會(huì)和投稿人數(shù)劇增的趨勢；研究倫理背后的考慮和含義是什么；怎么支持可持續(xù)的實(shí)踐，例如遠(yuǎn)程參會(huì)。
以上三個(gè)問題每一個(gè)都對(duì)會(huì)議的審查制度或多或少產(chǎn)生了影響。
首先，面對(duì)參會(huì)和投稿人數(shù)劇增，必須找到合適的方法增強(qiáng)審核的容忍度，畢竟幾周內(nèi)審核千篇論文，NeurIPS面臨的同行評(píng)審規(guī)模是前所未有的。據(jù)官方組委會(huì)預(yù)計(jì)，2020年將有10000篇論文提交。那么就需要產(chǎn)生30000條審核意見。
再者，早期拒稿階段的采用已經(jīng)在IJCAI進(jìn)行了試點(diǎn)，采用這種模式是應(yīng)對(duì)人數(shù)規(guī)模增長的最直接的辦法，當(dāng)然也是當(dāng)前期刊普遍采用的一種方法。具體操作步驟是：領(lǐng)域主席確定20%節(jié)能被拒絕的論文，然后高級(jí)領(lǐng)域主席進(jìn)一步確認(rèn)是否拒絕，最后通知作者將該論文從審稿流程中刪除。
此種做法的核心是將質(zhì)量較差，相關(guān)性較小的投稿盡快排除，將審稿人的精力集中到高質(zhì)量的作品中。
另外，論文作者在重新提交論文時(shí)候，要求注明“重新提交”字樣，并總結(jié)之前“悲劇”原因，列舉新版本的改進(jìn)之處。
之所以鼓勵(lì)遠(yuǎn)程參會(huì)是因?yàn)橄霝榻鉀Q國際會(huì)議日益日益增長的碳足跡出一份力。在過去兩年的時(shí)間里，搶會(huì)議門票的熱度堪比“春運(yùn)”，甚至還采用了抽獎(jiǎng)模式。所以今年進(jìn)一步布局遠(yuǎn)程參會(huì)，要求演講者上傳PPT和演講視頻，啟用遠(yuǎn)程演講和海報(bào)演示的方法。
人數(shù)之多，論文之多，參會(huì)者在只有幾天的會(huì)議時(shí)間里可能無法找到自己感興趣的論文，為此采用論文選配系統(tǒng)，利用個(gè)性化推薦算法推薦優(yōu)質(zhì)論文，節(jié)省論文尋找工作。
為了促進(jìn)同行評(píng)審制度更加健康的發(fā)展，要求論文合著者擔(dān)任程序委員會(huì)成員，讓他們?cè)贑MT注冊(cè)并征募為審稿人。
如果不愿意，那么他的論文可能會(huì)被拒絕接受。此舉也是為了增加評(píng)審人員的隊(duì)伍，審稿負(fù)荷平均分配下去。為了避免可能導(dǎo)致的潛在利益沖突，借鑒自然科學(xué)，物理科學(xué)以及醫(yī)學(xué)的方法，要求披露研究的直接資金來源以及間接的財(cái)務(wù)關(guān)系，當(dāng)然為了保證雙盲評(píng)審的公平性，僅需將此內(nèi)容添加到印刷（camera-ready）版本中。
最后，為了更全面的考慮新方法和意義，除了在要說明研究所能帶來的有益應(yīng)用和產(chǎn)品之外，還要注明潛在的黑暗面以及失敗的后果。這部分可以放在附錄和參考文獻(xiàn)那部分專門討論。
NeurIPS 評(píng)審制度的此次改版，在社區(qū)內(nèi)總體反映較好，總的來說對(duì)人工智能的發(fā)展以及同行評(píng)審制度的完善都能夠起到一定的幫助。reddit 上的熱心網(wǎng)友也非常認(rèn)真地從正面和反面兩維度，闡述了對(duì)于NeurIPS 評(píng)審機(jī)制本次更改的看法：
（雷鋒網(wǎng)）
1、看起來很公平，但不知道論文作者會(huì)不會(huì)對(duì)其同行的論文進(jìn)行惡意且嚴(yán)厲的審查。
2、意味著糟糕的審稿人可能會(huì)在多個(gè)會(huì)議周期內(nèi)產(chǎn)生影響，另外，一篇被拒絕過的論文可能會(huì)對(duì)審稿人的意見產(chǎn)生影響，但是一些超級(jí)有影響力的論文在一開始都是被拒絕的。
3、非常棒，很多人將會(huì)議看做他“半吊子項(xiàng)目”免費(fèi)的反饋機(jī)制。
4、論文中要求增加的“廣泛影響”可能是一些陳詞濫調(diào)。但也有其他網(wǎng)友認(rèn)為這可能會(huì)加快基于人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)度，畢竟它繼承了人工神經(jīng)網(wǎng)絡(luò)模型的所有正面和負(fù)面社會(huì)后果。
不光是NeurIPS，各大人工智能頂會(huì)審稿制度就經(jīng)常招致批評(píng)，一些學(xué)者稱給 給頂會(huì)投論文就像在買最火的籃球鞋：你需要先存好信用卡號(hào)，設(shè)置自動(dòng)填寫表單，然后讓自己的電腦物理地址盡可能地靠近 NeurIPS 的服務(wù)器地址。
例如，去年NeurIPS放榜時(shí)，網(wǎng)友們就在reddit上面一頓吐槽：頂會(huì)評(píng)審意見不專業(yè)，或者說沒包含什么信息量。
有位審稿人問我們?yōu)樯稕]有引用X。我們想說的是，已經(jīng)引用了，還花了一整段來描述我們的研究和它的關(guān)系。
有位審稿人舉出了個(gè)數(shù)據(jù)集，讓我們用它評(píng)估模型。我們想說的是，已經(jīng)用這個(gè)數(shù)據(jù)集評(píng)估過了，看實(shí)驗(yàn)章節(jié)。
這次NeurIPS評(píng)審制度的改版，加入了作者即評(píng)審的制度，相信一定會(huì)比去年更加專業(yè)，一些千奇百怪的review也會(huì)少一些吧！
（雷鋒網(wǎng)）
NeurIPS 2019 收錄論文的主題方面，神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等依舊是熱門主題，而其中尤其值得注意的便是去年在各大學(xué)術(shù)頂會(huì)上強(qiáng)勢刷臉的圖機(jī)器學(xué)習(xí)，在去年的NeurIPS 上也是一匹當(dāng)之無愧的“黑馬”。
據(jù)悉，在NeurIPS 2019上，僅主會(huì)場就有 100多個(gè)與圖相關(guān)的論文；另外，至少有三個(gè)workshop的主題與圖有關(guān)：
Graph Representation Learning (大約有100多篇論文)；
Knowledge Representation & Reasoning Meets Machine Learning (KR2ML)（大概也有50篇）；
Conversational AI在今年，圖機(jī)器學(xué)習(xí)的火熱度似乎也是只增不減，比如 ICLR 2020的論文投稿中，就有150篇投稿與圖機(jī)器學(xué)習(xí)有關(guān)，并且其中有近1/3的論文都被錄用了！
NeurIPS 2020 上，圖機(jī)器學(xué)習(xí)又將扮演重量級(jí)幾何的角色呢？又是否會(huì)出現(xiàn)新的熱度主題呢？我們現(xiàn)在還沒有明確的答案，不過從NeurIPS 2019的論文獎(jiǎng)項(xiàng)評(píng)選規(guī)則上，我們似乎可以找到一些線索一窺NeurIPS論文評(píng)審的偏好度。
話不多說，我們?cè)賮砘仡櫹氯ツ闚eurIPS 論文獎(jiǎng)項(xiàng)評(píng)選的具體規(guī)則：具備持久影響的潛力——論文聚焦于某個(gè)主流而非邊緣化的研究領(lǐng)域，人們?cè)谖磥淼膸资陼r(shí)間里依舊會(huì)關(guān)注它。
有觀點(diǎn)——提供了新的（并且希望是深的）見解，而不僅僅是在性能上提高幾個(gè)百分點(diǎn)。
創(chuàng)造性/讓人出乎意料/令人驚奇——以創(chuàng)造性的新視角去看待問題，并且得出了真正讓讀者驚喜的結(jié)果。變革性——將從根本上改變未來人類思考問題的方式。
嚴(yán)謹(jǐn)性——無懈可擊的細(xì)致和嚴(yán)謹(jǐn)。
優(yōu)雅——論文漂亮、工整、流暢并經(jīng)過很好地潤色。
現(xiàn)實(shí)性——不過分強(qiáng)調(diào)重要性。科學(xué)性——能夠證偽。
可重復(fù)性——結(jié)果能夠真正可重復(fù)、代碼可用并且能夠在多種機(jī)器上運(yùn)行、數(shù)據(jù)可用以及能夠提供詳細(xì)的證實(shí)。
與此同時(shí)，組委會(huì)在評(píng)選論文時(shí)，還關(guān)注論文是否存在以下幾點(diǎn)問題（并避免選擇存在這些問題的論文）：
低效——需要以消耗大量資源為前提才能夠脫穎而出的工作（主要依賴于消耗大量資源在排行榜上獲得了更高的排名）
時(shí)髦——采用某個(gè)方法是因?yàn)榇朔椒ū容^熱門，但其實(shí)還可以采用其他更加高效的方法。
過于復(fù)雜——論文中加入了本不需要的復(fù)雜性。各位作者如果能夠按這些標(biāo)準(zhǔn)來準(zhǔn)備自己的論文，相信會(huì)給自己的論文加分不少，說不定還能憧憬下論文獎(jiǎng)項(xiàng)呢....
去年，NeurIPS 共收到 6809 篇論文投稿量再創(chuàng)新紀(jì)錄，大家猜猜，今年會(huì)收到多少呢？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
