0
本文作者: 蔣寶尚 | 2020-06-03 16:23 | 專題:ICML 2019 |
經(jīng)歷了審稿過程延長,允許一稿多投和撤稿的ICML 2020 終于迎來了開獎!
這屆會議一共判了4990份“試卷”,1088位作者成功拿到了入場券。相比去年774篇收錄,3424份提交申請,以及22.6%的接收率,雖然在錄取的“絕對數(shù)量”上面有所增長,但是分母的增長,也帶來了錄取率的下降。
收錄文章的完整列表,以及論文領域分布尚未在官網(wǎng)放出,所有結果只是給作者單獨發(fā)了郵件。不過根據(jù)去年論文數(shù)量排名前五的公司:谷歌、谷歌大腦、微軟、DeepMind、Facebook,預計今年還是這五個機構相互掰手腕。
本屆ICML于3月底完成初步審稿環(huán)節(jié),4月9日投稿人收到 Review 的日期,今日(6月1日)放出最終結果,這比往年的發(fā)布日期延遲了整整一個月。為了減少最終結果延期所帶來的影響,ICML 也在投稿政策中添加了:允許一稿雙投、允許撤稿兩個規(guī)則。
其中,一稿雙投的前提是你要提交的地方的論文提交截止日期在2020年5月9日(原始通知日期)之后;允許撤稿是作者可以在到審稿過程結束之前的任何時間撤稿,然后再提交給其他地方將不會視為違反一稿雙投。
圖注:ICML 2020審稿人指南
正如ICML之前在官網(wǎng)中所說的那樣:“我們正在努力確保你至少獲得三個高質(zhì)量的review,但請你在此困難時期耐心等待?!贝_實,相比 ICML 2019 千奇百怪的拒稿理由,今年的ICML 2020 在知乎上和reddit上關于審稿的“吐槽”,都相對平靜了許多。
例如,在知乎上,作為ICML 領域主席之一的@陳林也提到:他審核的每一篇文章都認真看了一遍,甚至還撈起來了一篇爭議比較大,但是想法比較新穎的文章。而之前在reddit上一位審稿人也曾表示,即使對于沒有寫完的論文,他也要花費6-7個小時甚至10個小時以上來審閱一篇這樣的稿件。
確實,ICML作為國際機器學習大會在一些學者心中的地位很高,不僅因為它是所謂的頂會,更因為它在論文評審方面所做的一些開創(chuàng)性的工作。比如去年率先提出要提交代碼,今年又率先提出要規(guī)范實驗步驟,這些舉措讓大家看到了,它的確是這個領域的引領者。
越來越規(guī)范的審稿制度和投稿規(guī)范要求,直接表現(xiàn)在錄取率逐年下降上面。如上圖所示,只有21.80%的錄取率已經(jīng)是連續(xù)四年下降的結果。
圖注:5大會議投稿數(shù)量趨勢圖
圖注:5大會議加總之后,會議錄用率趨勢
不光是ICML,如上圖所示,其他的人工智能頂會如IJCAI、AAAI、CVPR的錄用率也有逐年下降的趨勢,這意味著投稿一些頂級會議越來越難被接收。主要原因是投稿數(shù)量逐年增多,競爭激烈,同時錄取比例也在降低。
圖注:論文投稿數(shù)量加總之后的趨勢
但是從上圖,我們可以看出,在假設NeurIPS 2020投稿量達到8000篇的時候,似乎會出現(xiàn)一個小的拐點。雖然在2017年的時候,NIPS程序主席笑稱注冊參會者將會超過全球人類數(shù)量,但事實是搞AI科研的人數(shù)總是那么多,在增長到一定幅度之后,就會達到飽和。
什么時候會達到峰值呢?我們大膽猜想2020年或會是個拐點,畢竟今年大家普遍認為,論文發(fā)表的數(shù)量已經(jīng)不是太重要,還是“質(zhì)量為王”。
圖注:CVPR會議錄用匯總以CVPR為例,作為計算機視覺領域的頂級學術會議,2020年共收到了 6656 篇有效提交論文,共接收了 1470篇論文,接收率接近 22%。
雖然是第二次接收論文數(shù)量超過一千篇,但對比 CVPR 2019,其論文接收率 25%,1300的接受量, 2020年的22%算是三連降了。
圖注:AAAI會議錄用匯總AAAI 2020 錄取率只有 20.6%,數(shù)量為1591篇,雖然收錄率比去年的 16.2% 高出了四個百分點,但是相比2018和2017 卻低了很多。
圖注:NeurIPS會議錄用匯總NeurIPS 2020截稿期尚未結束,觀察之前的數(shù)據(jù)發(fā)現(xiàn),雖然近幾年接受率穩(wěn)定在20%左右,但相比投稿量的增幅,錄用率還是保守了。
圖注:ICLR會議錄用匯總ICLR錄用率則是四連降,從2017年的40.4%的論文接受率到2018年的35.9%,再到2019年的31.55%,最后2020年的錄用率是26.48%。相比投稿數(shù)據(jù)的逐年成倍數(shù)的遞增,與接受率形成鮮明的對比。
圖注:IJCAI會議錄用匯總
IJCAI作為一直是、仍然是,并且估計仍將持續(xù)是AI領域的頂會,最初兩年一屆的召開頻率一度認為比AAAI更難。如上圖所示,IJCAI 2015年之后雖然改為每年一屆,但是接受率越來越低,今年更是達到了12.6%。
今年ICML 各位同學戰(zhàn)績?nèi)绾文?,歡迎在留言區(qū)分享哦~
(雷鋒網(wǎng))、(雷鋒網(wǎng))、(雷鋒網(wǎng))
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權禁止轉載。詳情見轉載須知。