0
| 本文作者： 我在思考中 | 2021-10-15 18:40 |
作者 | 杏花
編輯 | 琰琰
今年4月，國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)（ACL）提出滾動(dòng)審稿機(jī)制（ACL Rolling Review，ARR），以提高ACL系列會(huì)議的審稿效率和質(zhì)量，并優(yōu)化當(dāng)前ACL會(huì)議的自由審稿流程。
根據(jù)官方說(shuō)明，ARR使用OpenReview作為審稿平臺(tái)（審稿意見(jiàn)不會(huì)公開(kāi)），作者可在每個(gè)月的15號(hào)（截稿日期）之前，將論文提交到統(tǒng)一的ARR審稿池，由Action Editor（AE）處理，并且允許論文修改后重新提交（與期刊類(lèi)似）。整個(gè)流程會(huì)在每個(gè)月截稿后的30-35天左右完成。
近日，ACL在官網(wǎng)上發(fā)布報(bào)告，從論文提交數(shù)、審稿人數(shù)量和審稿周期三個(gè)方面匯報(bào)了目前ARR機(jī)制的使用效果和需要解決的問(wèn)題。
1、論文提交數(shù)
報(bào)告數(shù)據(jù)顯示，截止9月OpenReview平臺(tái)的投稿論文已經(jīng)達(dá)到312篇。這些論文已匿名，并通過(guò)機(jī)器人ARRPreprints在推特上進(jìn)行了發(fā)布。截至目前，ARRPreprints賬號(hào)有343個(gè)關(guān)注，與同類(lèi)賬號(hào)相比略少。大多數(shù)推文的點(diǎn)擊量約為100-200次，也有少數(shù)推文的點(diǎn)擊量高達(dá)1.5萬(wàn)次。
2、審稿池
論文審核過(guò)程涉及審稿人和Action Editor（簡(jiǎn)稱(chēng)AE，在大多數(shù)會(huì)議中通常稱(chēng)為Area Chairs）。下圖顯示，ARR審稿池中大約在1,200名審稿人，其中AE為100-150名。據(jù)悉，ACL 2021有60個(gè)SACs, 323個(gè)ACs以及3685位主要審稿人，共同處理3,350篇論文。
3、審稿周期
ARR的最初目標(biāo)是在35天內(nèi)完成所有的審稿和元審稿（meta-review）流程：每個(gè)月截稿后，AE需要在7天內(nèi)處理最多5篇論文，確定論文是否存在利益沖突（COI），并滿(mǎn)足基本格式和要求。經(jīng)過(guò)推薦審稿人的二次評(píng)審后，AE在35天內(nèi)閱讀審稿意見(jiàn)并與審稿人討論，撰寫(xiě)最終的meta-review。
需要說(shuō)明的是，ACL 2021從提交到討論（不包括元審稿時(shí)期）需要51天，是ARR審稿和元審稿的兩倍；從提交到錄用通知需要92天，是ARR目標(biāo)時(shí)長(zhǎng)的3倍。
從結(jié)果上來(lái)看，雖然ARR機(jī)制還沒(méi)有達(dá)到承諾的評(píng)審周期，但還是明顯壓縮了的評(píng)審時(shí)間。
下圖顯示，少數(shù)審稿人在20天內(nèi)完成了審稿，大部分人在30天左右完成審稿，還有四分之一的人需要40天才能完成審稿，也不乏個(gè)別審稿人用了90天。相比于ACL 2021，絕大部分人能夠在51天之前完成。（兩條虛垂直線分別代表ACL 2021的討論和通知日期）。
(注：這張圖表不包括24個(gè)尚未完成的審稿，其中大多數(shù)都是8月截止日期前的論文)
下圖為論文從提交到元審稿結(jié)束所用的時(shí)間，大部分都是ACL 2021審稿結(jié)點(diǎn)之前完成的。
ARR機(jī)制只負(fù)責(zé)審稿，不決定論文是否會(huì)被接收，通過(guò)ARR審稿的論文及評(píng)審意見(jiàn)將被提交至對(duì)應(yīng)的會(huì)議或Workshop。下圖顯示，目前已有26篇論文通過(guò)ARR審稿并提交到了主會(huì)議。
針對(duì)以上數(shù)據(jù)，報(bào)告總結(jié)了ARR機(jī)制目前面臨的挑戰(zhàn)，以及對(duì)應(yīng)的解決方案。
ARR目前面臨的挑戰(zhàn)仍是審稿不及時(shí)的問(wèn)題。截至2021年9月，還有一篇6月的論文沒(méi)完成3輪審核，非規(guī)定時(shí)間內(nèi)完成審稿的情況幾乎每個(gè)月都有發(fā)生。造成這種現(xiàn)象的原因，一方面出自技術(shù)層面和工作失誤（例如沒(méi)有及時(shí)發(fā)送提示），但主要還是審稿人對(duì)審核工作不夠積極。對(duì)此，報(bào)告提出了兩點(diǎn)解決方案：
改善AE和審稿人的分配，并自動(dòng)提醒AE和審稿人及時(shí)審核。
聘用緊急審稿人和緊急AE，在審稿人和AE未能完成工作時(shí)輔助審核。
AE面臨的最大難題就是審稿人拒絕審核，這也是審稿工作不及時(shí)的主要原因。之所以會(huì)出現(xiàn)這種情況，可能有以下兩點(diǎn)原因：1. 部分審稿人認(rèn)為分配的論文質(zhì)量太差，主觀不愿意評(píng)審；2. 審稿人專(zhuān)業(yè)方向與論文不夠匹配，短時(shí)間無(wú)法完成。
一般來(lái)講，審稿人在提交截止日期前可以申請(qǐng)免除審核，通過(guò)后可以拒絕評(píng)審。報(bào)告提出計(jì)劃取消申請(qǐng)環(huán)節(jié)，讓審稿人沒(méi)有理由拒絕審核。此外，為了方便審稿人與AE之間交流和溝通，來(lái)往電子郵件將顯示AE和審稿人的姓名和身份。
ARR面臨的技術(shù)障礙是將OpenReview系統(tǒng)擴(kuò)展到一個(gè)新的應(yīng)用。在許多大型會(huì)議上，OpenReview已成功使用了好幾年，包括NeurIPS和ICML。但在這些使用案例里，每個(gè)審稿池只有一個(gè)截止期限。而ARR每個(gè)月都有截止交稿日期，因此，OpenReview每個(gè)月都需要?jiǎng)?chuàng)建一個(gè)全新的會(huì)議。ARR工作人員需要把前一個(gè)月的審稿人和AE復(fù)制過(guò)來(lái)，這大大加重了他們的編輯工作。比如說(shuō)，不可能在一個(gè)地方跟蹤所有缺席的審稿人和元審稿人，同樣地，目前還不可能在幾個(gè)月內(nèi)跟蹤和平衡總體審稿負(fù)載。對(duì)此，ACL計(jì)劃改進(jìn)審稿流程，加強(qiáng)與OpenReview開(kāi)發(fā)人員的密切合作，打造一個(gè)更流暢、簡(jiǎn)便的審核平臺(tái)。
ACL 2022 引入ARR機(jī)制
ACL 2022 和NAACL 2022已正式引入ARR機(jī)制。隨著ARR系統(tǒng)的引入，論文投稿和審稿流程也發(fā)生了一些變化。ACL 2022程序委員會(huì)已在博客中對(duì)ACL 2022的投稿細(xì)節(jié)進(jìn)行了說(shuō)明：
關(guān)于ACL 2022的截稿時(shí)間
提交到ARR的截止時(shí)間：2021年11月15日
作者如果要想投稿至ACL 2022，則必須在11月15日前提交至ARR，不過(guò)作者也可以在9月15日或者10月15日提交到ARR，以盡早獲得審稿意見(jiàn)并對(duì)論文加以修改。
提交到ACL 2022的截止時(shí)間：2022年1月7日
作者需要將已經(jīng)經(jīng)過(guò)ARR審稿后的論文、審稿意見(jiàn)、綜合審稿意見(jiàn)提交到ACL 2022。同時(shí)，作者可以附加一個(gè)“向高級(jí)領(lǐng)域主席的備注信息”。）
錄用通知時(shí)間：2022年2月20日
撤稿截止時(shí)間：2022年2月23日
ACL 2022 將于 2022 年 5 月 22 日至 27 日在愛(ài)爾蘭都柏林召開(kāi)。值得注意的是，今年ACL 設(shè)置一個(gè)特殊主題：語(yǔ)言多樣性：從低資源語(yǔ)言到瀕危語(yǔ)言。官方表示，ACL 2022 將與 ARR 合作，為這一特殊主題選擇 Action Editor 和審稿人，并為這一主題的論文提供一種特殊的審稿形式。據(jù)悉，特殊主題接收的論文將以 oral 或 poster 的形式呈現(xiàn)，還將評(píng)選出一個(gè)最佳專(zhuān)題論文獎(jiǎng)。
更多細(xì)節(jié)可參見(jiàn)官方頁(yè)面：https://www.2022.aclweb.org/post/acl-2022-theme-track-language-diversity-from-low-resource-to-endangered-languages
相關(guān)鏈接：https://aclrollingreview.org/status-report/
雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
