ICML作為國(guó)際機(jī)器學(xué)習(xí)大會(huì)在一些學(xué)者心中的地位很高，不僅因?yàn)樗撬^的頂會(huì)，更因?yàn)樗谡撐脑u(píng)審方面所做的一些開(kāi)創(chuàng)性的工作。

比如去年率先提出要提交代碼，今年又率先提出要規(guī)范實(shí)驗(yàn)步驟，這些舉措讓大家看到了，它的確是這個(gè)領(lǐng)域的引領(lǐng)者。

（雷鋒網(wǎng)）

為了對(duì)新手投稿人友好，今年的ICML還公開(kāi)了審稿人對(duì)每篇論文要填寫(xiě)的表格，讓新手了解一下評(píng)審們都會(huì)怎么打分。

越來(lái)越完善的機(jī)制，讓ICML2020投稿量已經(jīng)超過(guò)6000，對(duì)比去年總投稿量的3424篇，增幅接近一倍。但是投稿要求的嚴(yán)格加上越來(lái)越多的論文投稿數(shù)量，并不代表著科研的普及，據(jù)一位“資深”審稿人在reddit上爆料，有些投稿論文的狀態(tài)是“未完稿”。

也就是說(shuō)，有些“學(xué)者”論文還沒(méi)寫(xiě)完，就已經(jīng)將論文投出去讓評(píng)審打分。注意，不是沒(méi)有潤(rùn)色，而是論文該寫(xiě)的部分沒(méi)有寫(xiě)完！

這位審稿人在reddit上講述了他的內(nèi)心獨(dú)白，表示他審閱的論文投稿中超過(guò)一半沒(méi)有完稿，而他們審稿人卻要花費(fèi)6-7個(gè)小時(shí)甚至10個(gè)小時(shí)以上來(lái)審閱一篇這樣的稿件，這對(duì)審稿人未免也太不尊重了！

這位審稿人自白全文如下（AI 科技評(píng)論編譯）：

我知道很多投稿作者將在未來(lái)幾周內(nèi)收到ICML的投稿反饋——并且大概率是拒稿反饋。我知道作者們收到拒稿反饋會(huì)一時(shí)難以消化，我感同身受，因?yàn)槲乙蚕翊蠹乙粯右餐读烁宀⑶乙部赡苁盏骄芨逋ㄖ?/p>

但是，作為一位在本周內(nèi)已經(jīng)花了20至30個(gè)小時(shí)在審稿上且有可能還需要再花上30至40個(gè)小時(shí)審稿的審稿人，我在這里懇請(qǐng)大家：

停止向大會(huì)提交未完稿的論文！

關(guān)于這一點(diǎn)，我現(xiàn)在審閱的超過(guò)一半的投稿都是未完稿的論文，它們都存在非常明顯、不容反駁的錯(cuò)誤，相信是個(gè)正常人都難以相信這樣的論文會(huì)出現(xiàn)在頂級(jí)會(huì)議的同行評(píng)審中。也沒(méi)有正常人會(huì)把這些投稿與去年 ICML 收錄的甚至最差的論文放在一起比較，更不會(huì)認(rèn)為前者比后者的質(zhì)量差不多或者更高。

在提交論文之前，請(qǐng)花點(diǎn)時(shí)間請(qǐng)你的同行或者導(dǎo)師提前審閱一遍論文。如果他們發(fā)現(xiàn)了任何錯(cuò)誤，我向你保證，審稿人也同樣能發(fā)現(xiàn)這些錯(cuò)誤，然后給你一個(gè)傷人、令人沮喪的評(píng)論反饋。

我發(fā)現(xiàn)我們正處于一個(gè)巨大的炒作泡沫中，我們都想趕上這趟熱門(mén)的火車(chē)，然而當(dāng)我審閱到這些未完稿的論文時(shí)，我感受到了來(lái)自作者的不尊重。

這些作者顯然是在等著早期評(píng)審階段的反饋。不過(guò)這對(duì)于會(huì)議系統(tǒng)和同行評(píng)審流程來(lái)說(shuō)并不公平，要求審稿人為你們的論文提進(jìn)行“無(wú)償”工作，還要指導(dǎo)你們?nèi)绾螛?gòu)建和呈現(xiàn)你們的工作。把你們的審稿人當(dāng)做免費(fèi)勞動(dòng)力也太不公平。

我審一篇論文至少要花費(fèi)6至7個(gè)小時(shí)，多的時(shí)候要花費(fèi)我10個(gè)多小時(shí)。這10個(gè)多小時(shí)消耗的也是我生命中的10個(gè)多小時(shí)啊，難道這些作者認(rèn)為他們有權(quán)利讓我花費(fèi)這些時(shí)間來(lái)幫助他們發(fā)表研究工作嗎？這讓我感到非常不受尊重，老實(shí)說(shuō)，如果這些論文就是我期望審閱的投稿的質(zhì)量，我都想要放棄申請(qǐng)成為一位審稿人了。

這些作者不僅自私，他們也在損害整個(gè)研究社區(qū)、會(huì)議質(zhì)量以及同行評(píng)審流程。越來(lái)越多未完稿的論文被提交，這也意味著審稿人將面臨更高的審稿負(fù)荷。如果我們不再花這么多時(shí)間來(lái)審閱每一篇論文，也就意味著好的、值得品讀的論文也會(huì)被“一帶而過(guò)”，可能被不公平地拒稿、或者得到非常糟糕的反饋。這是令人難以接受的！

老實(shí)說(shuō)，這些作者的行為，跟那些在流行病期間囤積廁紙的人如出一轍。他們自私的行為損害了社區(qū)，將他們自身凌駕于研究過(guò)程和其他提交了好論文的作者之上。

懇請(qǐng)大家不要再這樣做了！請(qǐng)?zhí)峤煌旮宓摹?yōu)秀的、你認(rèn)為已經(jīng)準(zhǔn)備好接受同行評(píng)審和發(fā)表的論文！

對(duì)于“壞家伙”，完全不用浪費(fèi)這么多精力

帖子一發(fā)到reddit上，立即引起了網(wǎng)友們的討論，討論的焦點(diǎn)在于6-7個(gè)小時(shí)審稿一篇未完稿的是否意味著浪費(fèi)、這些投稿者的動(dòng)機(jī)是什么以及呼吁機(jī)器學(xué)習(xí)社區(qū)的學(xué)者“謹(jǐn)慎”發(fā)表論文。

（雷鋒網(wǎng)）

大意是：你審稿花費(fèi)的時(shí)間太多了，對(duì)于“未完稿的論文”應(yīng)該簡(jiǎn)要總結(jié)2~3個(gè)缺點(diǎn)，然后不要內(nèi)疚的拒絕，最多花費(fèi)1個(gè)小時(shí)，那么如何總結(jié)論文缺點(diǎn)，這是一個(gè)練習(xí)：)

（雷鋒網(wǎng)）

為作者做文獻(xiàn)搜索的行為是值得稱(chēng)贊的，但你只需要舉一個(gè)例子來(lái)說(shuō)明這方面的弱點(diǎn)即可。為未完稿論文付出這么多時(shí)間不值得~

一些人發(fā)表論文不是為了推動(dòng)社區(qū)進(jìn)步，而是僅僅為了增量，這些人失去了尊重。

對(duì)此領(lǐng)域越來(lái)越多的參與，是好的，也是不好的╯﹏╰

那些人可能想要得到一些專(zhuān)業(yè)反饋，從而改進(jìn)他們的論文，然后在提交給下一次會(huì)議。

機(jī)器學(xué)習(xí)社區(qū)的人都有資格投頂會(huì)，占用議組織者的時(shí)間和努力么？研究生一年級(jí)的學(xué)生，大多是對(duì)已有的模型修修改改，發(fā)表在Arxiv上的論文大多數(shù)都有一些標(biāo)簽錯(cuò)誤、數(shù)學(xué)錯(cuò)誤......

其實(shí)完稿和未完稿之間劃線的標(biāo)準(zhǔn)不是很清楚......

論文未完稿便投稿，是否已成普遍操作？

論文未完稿便投稿其實(shí)已經(jīng)在一定程度上，已經(jīng)是一個(gè)“小流行”，據(jù)在reddit上吐槽的那位審稿人而言，在他接到的審閱任務(wù)的論文中，有一半是未完稿的。嗯，一半，也就是占比50%......

另外，AI科技評(píng)論在搜索引擎上，搜索了一下，在“百度知道”上，已經(jīng)有了相關(guān)的問(wèn)題詢(xún)問(wèn)。而在知乎上，已經(jīng)有一些關(guān)于“是先潤(rùn)色，還是先投稿”的問(wèn)答！

這意味著，有未完稿論文就投稿的想法研究員們不在少數(shù)。那么，這些“研究者”基于什么樣的原因，有勇氣把未完稿論文投稿呢？

首先，頂會(huì)投稿的門(mén)檻越來(lái)越低，從金錢(qián)成本上來(lái)講，投稿成本也是基本免費(fèi)的，所以也方便了作者們把同一篇論文反復(fù)投不同的會(huì)議。

如何杜絕會(huì)議論文質(zhì)量參差不齊，給會(huì)議投稿設(shè)置門(mén)檻是很好的方法，比如周志華建議會(huì)議收取10美元投稿費(fèi)，論文被錄用就用來(lái)抵扣注冊(cè)費(fèi)，沒(méi)被接收就貢獻(xiàn)作為學(xué)生參會(huì)的旅行資助。

不要小看這10美元，它能隔絕大部分隨意的、個(gè)人的投稿行為，畢竟如果把沒(méi)完成的論文投稿，就相當(dāng)于白扔10美元。

在老師層面來(lái)講，絕大多數(shù)不會(huì)允許學(xué)生將未完稿的論文投稿，畢竟稍微有審稿經(jīng)歷的老師都會(huì)對(duì)這種態(tài)度深痛惡絕！所以這10美元，學(xué)生得不到報(bào)銷(xiāo)！

上圖評(píng)審示例是ICLR 的已公開(kāi)評(píng)審結(jié)果，評(píng)審給一篇拒絕論文的意見(jiàn)更加充分。

另一個(gè)審稿的時(shí)候出現(xiàn)未成稿的原因是，大部分投稿人想撈一些專(zhuān)業(yè)的審稿意見(jiàn)，能夠幫助他改進(jìn)論文，方便下一次投稿。在AI類(lèi)的頂會(huì)圈里，大多數(shù)會(huì)議都會(huì)要求評(píng)審員給出專(zhuān)業(yè)的2~3條評(píng)審意見(jiàn)，加上還有rebuttal環(huán)節(jié)，一些“論文初學(xué)者”能夠得到專(zhuān)業(yè)的指導(dǎo)意見(jiàn)。

出現(xiàn)這種現(xiàn)象的最后一個(gè)原因是，學(xué)生有普遍抽獎(jiǎng)心理：評(píng)審老師會(huì)不會(huì)“眼瞎”，就給通過(guò)了~~~~~

阿德萊德大學(xué)吳琦：“未完稿”論文有被接收先例，讓投稿者產(chǎn)生僥幸心理

對(duì)于此現(xiàn)象，AI科技評(píng)論特地采訪到了在頂會(huì)審稿方面擁有豐富經(jīng)驗(yàn)的阿德萊德大學(xué)助理教授吳琦，他結(jié)合自身經(jīng)歷分享了自己的一些看法，相信會(huì)給論文投稿作者以及研究社區(qū)一些啟發(fā)。

問(wèn)：您如何看待投稿者沒(méi)有完稿就投稿的這一現(xiàn)象？

吳琦：這個(gè)要看對(duì)沒(méi)有“完稿”的定義是什么，是文章質(zhì)量不夠高？還是文章明顯沒(méi)有完成，比如缺少非常核心的方法描述，實(shí)驗(yàn)證明，或者出現(xiàn)大量的 typo和錯(cuò)誤等等。

前者會(huì)有一定比例，但是審稿人和AC的工作正是找出這些質(zhì)量不夠高的文章，提出問(wèn)題和建議。我們沒(méi)有辦法期望所有投稿的文章都是質(zhì)量非常高、沒(méi)有絲毫瑕疵的，無(wú)論這個(gè)會(huì)議和期刊的整體質(zhì)量有多高。

如果是后者，那確實(shí)會(huì)造成審稿人資源的浪費(fèi)，畢竟審稿人在做志愿性質(zhì)的工作，大家更期望看到一個(gè)起碼是看起來(lái)“完整”的工作。當(dāng)然，以我個(gè)人的經(jīng)驗(yàn)，在聲譽(yù)比較好的會(huì)議中，這個(gè)比例還是相對(duì)比較低的。拿計(jì)算機(jī)視覺(jué)三大會(huì)來(lái)說(shuō)，我前后審過(guò)應(yīng)該有100多篇，質(zhì)量不高的很常見(jiàn)，但是像后者所謂“未完稿”的，起碼我遇到的屈指可數(shù)。

當(dāng)然，隨著這些會(huì)議投稿量越來(lái)越大，不排除后面會(huì)遇到更多這樣“未完稿”的論文，比如我今年在CVPR審稿中 ，遇到一篇只寫(xiě)了6頁(yè)的投稿（規(guī)定最長(zhǎng)是8頁(yè)），就屬于后者——文章中的錯(cuò)誤非常多，方法描述不清晰甚至有錯(cuò)誤，有的圖甚至連標(biāo)題都沒(méi)有，這就屬于明顯的“未完稿”。

一般來(lái)說(shuō)，投稿前，作為指導(dǎo)老師，都會(huì)對(duì)投出去的文章把把關(guān)，畢竟學(xué)術(shù)領(lǐng)域里，大家最關(guān)心的還是自己的名聲。能力可能有高低，文章質(zhì)量也會(huì)有高低，但是大家對(duì)頂會(huì)的敬畏，應(yīng)該是保持一致的。

問(wèn)：審稿過(guò)程中，對(duì)一篇論文是否完稿有判斷標(biāo)準(zhǔn)么？如果僅僅是論文缺少某個(gè)實(shí)驗(yàn)、僅僅缺少定義是否會(huì)被判定為“未完稿”論文？

吳琦：不同的審稿人可能會(huì)有不同的標(biāo)準(zhǔn)，有些實(shí)驗(yàn)和定義可能不是必須的，或者是已經(jīng)有的可以直接引用，那我認(rèn)為這種明顯不能算“未完稿”。而且一般來(lái)說(shuō)，會(huì)議文章都有比較嚴(yán)格的頁(yè)數(shù)限制，確實(shí)沒(méi)有辦法把所有定義和實(shí)驗(yàn)全部呈現(xiàn)出來(lái)，作者只能呈現(xiàn)最重要的。

而對(duì)于核心的方法描述，證明文章核心論點(diǎn)的實(shí)驗(yàn)，確實(shí)不能少。比如，我在評(píng)審一篇文章時(shí)，對(duì)方法部分的要求是，看完方法部分，我是否能夠利用文章中呈現(xiàn)出的信息，自己去實(shí)現(xiàn)，如果可以，那說(shuō)明作者寫(xiě)的是完整而清晰的。對(duì)實(shí)驗(yàn)部分，會(huì)去看實(shí)驗(yàn)中的數(shù)據(jù)是否可以支撐作者在摘要和引文中提出的觀點(diǎn)。

如果這些關(guān)鍵方法和實(shí)驗(yàn)都有，我會(huì)認(rèn)為這個(gè)文章是完整的，作者態(tài)度是認(rèn)真的。至于文章好壞，那是另外一個(gè)事情了，比如要看貢獻(xiàn)是否新穎和重要，對(duì)社區(qū)理解某個(gè)問(wèn)題是否有幫助，方法是否有效等等其他很多很多方面了。

問(wèn)：就您的自身經(jīng)歷或了解到的情況來(lái)看，審閱一篇“壞”論文，花費(fèi)的時(shí)間是否比審一篇好論文更長(zhǎng)？

吳琦：其實(shí)不會(huì)，最好和最壞（比如“未完稿”）的論文都是比較好審的，好文章優(yōu)點(diǎn)一目了然，讀起來(lái)如沐春風(fēng)。壞文章缺點(diǎn)也是顯而易見(jiàn)，讀起來(lái)晦澀可笑。而最花時(shí)間的其實(shí)都是介于兩者之間的文章，優(yōu)缺點(diǎn)都有，但是都不大，需要去花時(shí)間衡量。

問(wèn)：在您看來(lái)，投稿作者未完稿便投稿的原因或者說(shuō)動(dòng)機(jī)有哪些？會(huì)帶來(lái)哪些負(fù)面影響？

吳琦：原因就是大家普遍認(rèn)為文章中或不中是有隨機(jī)性的，和文章質(zhì)量不是強(qiáng)相關(guān)，其實(shí)這是一種錯(cuò)覺(jué)。

我認(rèn)為絕大部分中了的文章都是有可取之處的，當(dāng)然也不排除有些質(zhì)量很低的文章由于各種原因被接收的，這會(huì)是一個(gè)惡性循環(huán)，大家可能確實(shí)看到了一些質(zhì)量不高，甚至是質(zhì)量很低和“未完稿”的文章也中了頂級(jí)會(huì)議和期刊，所以大家就都去投，都抱著“我也去試試”的心態(tài)去投，這樣的結(jié)果就是真的有可能會(huì)有越來(lái)越多的“未完稿”文章被接收，然后又是越來(lái)越多的“未完稿”式的投稿。

問(wèn)：要想改善此現(xiàn)象，您有哪些建議？（例如投稿論文收費(fèi)？）

吳琦：這個(gè)是大佬們?nèi)ド塘康膯?wèn)題，我這種后生不敢大放厥詞。不過(guò)我覺(jué)得投稿收費(fèi)不可取，便宜了，沒(méi)人在乎，該投還是投；貴了，確實(shí)也不現(xiàn)實(shí)。

最近的會(huì)議都或多或少有些嘗試，比如IJCAI的“早期拒絕”，本意就是改善這種現(xiàn)象，我個(gè)人倒是覺(jué)得再打磨幾輪，應(yīng)該是能起到作用的。整個(gè)社區(qū)，也確實(shí)沒(méi)法接受動(dòng)不動(dòng)10000+的投稿和審稿量了。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。