0
作者 |蔣寶尚
編輯 | 叢 末
今日，神經(jīng)信息處理系統(tǒng)大會(huì)NeurIPS在Medium官方賬號(hào)發(fā)布了文章《Reviewing is Underway!》，對(duì)今年的投稿情況和審稿流程進(jìn)行了說明。
文章中提到，今年的NeurIPS投稿數(shù)量比2019年增長了38%，這又是AI研究蓬勃發(fā)展的一年。具體而言，一共收到了12115份摘要，但隨后提交完整的只有9467份。另外還有184篇論文有違規(guī)行為：被作者撤回、非匿名提交以及論文篇幅超過最大頁數(shù)等。
其它“遵守紀(jì)律”的論文都已經(jīng)分配給了領(lǐng)域主席以及Senior領(lǐng)域主席，這兩類主席在對(duì)這些論文簡(jiǎn)單的瀏覽之后，進(jìn)行了初步判斷：占總數(shù) 11% 的論文被直接拒掉，其他89%的論文分配給了合適的審稿人。值得一提的是，這89%對(duì)應(yīng)的具體數(shù)字8186。另外，文章中還強(qiáng)調(diào)，這直接被拒掉的11%的論文，將不會(huì)再次接受審閱。
今年NeurIPS的論文提交流程主要有三個(gè)日期節(jié)點(diǎn)，它們期間間隔兩周多。三個(gè)節(jié)點(diǎn)分別是：1、提交摘要；2、完整的論文和完整的作者名單；3、補(bǔ)充材料。在這三個(gè)節(jié)點(diǎn)中，同行評(píng)審平臺(tái)CMT都很給力，作者在提交的過程中幾乎沒有遇到任何技術(shù)困難，當(dāng)然，也不能如此絕對(duì)，例如要求合著者在CMT上注冊(cè)，要求提交“更廣泛的影響”，要求單獨(dú)上傳補(bǔ)充材料，這些都產(chǎn)生了一些小問題。但總的來說，提交過程進(jìn)行的非常順利。
今年的論文主題分布也有所變化，算法占比29%，深度學(xué)習(xí)占比19%，應(yīng)用占比18%，強(qiáng)化學(xué)習(xí)和規(guī)劃（planning）占比9%，理論占比7%，概率方法占比5%，機(jī)器學(xué)習(xí)的社會(huì)方面（ Social aspects of machine learning）占比5%，優(yōu)化占比5%，神經(jīng)科學(xué)和認(rèn)知科學(xué)占比3%。與2019年相比，深度學(xué)習(xí)和應(yīng)用領(lǐng)域的論文略有下降(均下降了2%)，而機(jī)器學(xué)習(xí)的社會(huì)方面有所增加（增加了3%）。
找到足夠數(shù)量的合格審稿人非常重要，今年在這方面的政策有兩個(gè)變化：1、審稿人可以推薦和提名；2、直接從論文的作者以及論文的聯(lián)合作者中選擇審稿人。最后根據(jù)論文發(fā)表情況、審稿經(jīng)驗(yàn)、學(xué)科領(lǐng)域等信息，組委會(huì)“選拔”了7800名合格的審稿人名單，其中2400人來自今年的投稿作者。7800名審稿人看似極大的增強(qiáng)了論文審閱能力，但許多審稿人只分配了2篇或者3篇的額度，還有一些審稿人只有一個(gè)領(lǐng)域的專業(yè)知識(shí)，這兩種情況的都限制了分配審閱論文的能力。每一篇論文都會(huì)經(jīng)過三位審稿人，一位領(lǐng)域主席的“批改”。為了提升分配質(zhì)量，需靠考慮的因素包括學(xué)科領(lǐng)域相似度、出版物的相似度、審稿人的偏好。但是同時(shí)也考慮審稿人和領(lǐng)域主席是否存在利益沖突。因此，組委會(huì)努力確保每個(gè)人在論文匹配系統(tǒng)(TPMS)和OpenReview上都有最新的賬戶，完整地記錄了他們的利益沖突信息。另外。組委會(huì)還設(shè)法自動(dòng)為審稿人分配論文，今年平均親和度得分(綜合考慮TPMS和OpenReview的指標(biāo))為0.74，比2019年高出近10%。
在過去的三周中，組委會(huì)指派領(lǐng)域主席和Senior 領(lǐng)域主席承擔(dān)“直接拒絕”的任務(wù)。其中領(lǐng)域主席識(shí)別可能被拒絕的論文，Senior 領(lǐng)域主席反復(fù)核對(duì)這些論文。因此，每一篇被直接拒絕的論文，都有兩位資深的專家“簽字”。值得一提的是，為了降低偏見，這兩位專家是看不到論文作者的信息。總體而言，領(lǐng)域主席和Senior領(lǐng)域主席做的非常出色，他們?cè)诓坏饺艿臅r(shí)間里審閱了9000多份論文，另外，領(lǐng)域主席和Senior領(lǐng)域主席還為作者提供了一套標(biāo)準(zhǔn)化的拒絕原因(例如，不清晰、超出范圍)等。此外，在收到的“拒絕建議”中，超過一半還提供了簡(jiǎn)短的特別反饋，進(jìn)一步解釋了拒絕的原因。直接拒絕有利有弊，有很多地方可以改進(jìn)。
“直接拒絕”除了減輕了審稿者的負(fù)擔(dān)外，還能夠讓領(lǐng)域主席和Senior領(lǐng)域主席更加熟悉分配給他們的論文，為他們隨后“領(lǐng)導(dǎo)”審稿人提供幫助。
此外，直接拒絕的壞處是，這些論文的作者幾乎沒有得到什么建設(shè)性的反饋來改進(jìn)他們的論文。另外，需要注意接下來的幾個(gè)時(shí)間點(diǎn)：1、在2020年8月7日之前將審查結(jié)果通知作者；2、這之后，程序委員之間將有個(gè)討論期，8月底由領(lǐng)域主席提出初步建議；9月，開啟校準(zhǔn)階段（calibration phase），先對(duì)每個(gè)學(xué)科領(lǐng)域進(jìn)行一次校準(zhǔn)，最后的校準(zhǔn)將審查所有領(lǐng)域的整體論文情況。預(yù)計(jì)將在9月底之前將是否錄用的結(jié)果通知作者。
（雷鋒網(wǎng)）、（雷鋒網(wǎng)）、（雷鋒網(wǎng)）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
