雷鋒網(wǎng) AI 科技評論按：以 2906 份論文提交數(shù)再創(chuàng)自然語言處理頂會新記錄的 ACL 2019，在今日正式放榜！我們目前已經(jīng)看到學(xué)界陸續(xù)傳來的“捷報”，比如中科院自動化所的宗成慶老師團(tuán)隊，就有 3 篇論文被今年的會議錄用。為大家所取得的成績感到高興之余，雷鋒網(wǎng) AI 科技評論也專門翻譯了 ACL 2019 組委會的一篇博文，趁機(jī)了解 ACL 2019 為確保審稿質(zhì)量做出了哪些努力。

隨著人工智能的興起，自然語言處理越來越受到人們的關(guān)注，幾乎所有近期會議的自然語言處理領(lǐng)域論文都在提交數(shù)量上取得了突破。縱觀 ACL 的發(fā)展歷史，我們從未見過如此戲劇性的增長：短短一年時間內(nèi)，論文的提交數(shù)量就從 1544 份變成 2906 份！下圖完整顯示了 ACL 過去 20 年的增長情況，涉及內(nèi)容包括論文提交、審閱人員以及區(qū)域主席（高級）等情況。

要對如此大體量的提交論文進(jìn)行審閱，需要一個運(yùn)行良好的大型項目委員會。為此，我們創(chuàng)建了一種在項目委員會（ Program Committee）基礎(chǔ)上帶有高級項目委員會（Senior Program Committee）的會議結(jié)構(gòu)。我們?yōu)楦呒夗椖课瘑T會招募了一定數(shù)量的高級領(lǐng)域主席（共計 46 位，每個區(qū)域 2 - 4 名主席）以及領(lǐng)域主席(共計 184位，每個區(qū)域 3 -15 名主席)。我們對各個崗位的任務(wù)進(jìn)行了嚴(yán)格區(qū)分，高級領(lǐng)域主席主要負(fù)責(zé)將論文分配予領(lǐng)域主席及審稿人，并為各自專注的領(lǐng)域提出建議；領(lǐng)域主席主要負(fù)責(zé)該領(lǐng)域內(nèi)的一小部分論文，具體任務(wù)是與審稿人進(jìn)行討論、寫 meta-reviews 以及提出初步建議。這種組織結(jié)構(gòu)有助于彌補(bǔ)快速增長背后的問題——缺乏經(jīng)驗豐富的審稿人。由于領(lǐng)域主席需要評閱的論文數(shù)量較少，因此可以更專注于審查過程。審稿人方面，我們今年配置了大量人員，共達(dá) 2281 名（ACL 2018 的數(shù)量為 1610 名）。

由于今年的論文提交數(shù)量是如此之多，以至于會議的組織（從開始的提交審查到最終的審閱決策)都要比往常更加費(fèi)時?？紤]到時間非常緊迫，所以我們尋找各種可以提高效率的方法。我們希望在提高工作效率之余，還能提升作者和區(qū)域主席的用戶體驗。為此，我們減少了原來需要 3 天（或更少）短期周轉(zhuǎn)的截止日期?？紤]到社區(qū)中工作和生活情況的多樣性（即人們實際上可投入于會議相關(guān)工作的時間/天數(shù)的巨大變化），那樣的截止日期充其量只會給所有人帶來壓力，且往往效果不佳。

具體來講，我們今年落實了以下幾點改變:

• 放棄論文投標(biāo)階段。在過去，這個階段可能會花去幾天時間，隨著提交論文數(shù)量的高速增長，審稿人發(fā)現(xiàn)這個環(huán)節(jié)變得越來越耗時。拋開時間因素不談，我們還擔(dān)心審稿人會傾向于選擇個人喜歡，而非自己有資格評閱的論文進(jìn)行審查(關(guān)于這個話題，有一篇很有意思的博客文章：https://naacl2018.wordpress.com/2018/01/28/a-review-of-reviewer-assignment-methods/)。原先我們計劃用 Toronto Paper Matching System（TPMS）給審稿人分配論文。遺憾的是，這個系統(tǒng)并沒有想象中的那么有用（要想獲得最佳性能，需要我們提供更廣泛的審閱者資料)，并且該工作在很大程度上依然有賴于手動操作。總的來說，我們的高級領(lǐng)域主席在這方面的工作非常出彩，但我們依然認(rèn)為這是一項需要在自動化方面加大投入的工作。

• 與 NAACL 2019 一樣，我們今年同樣取消了作者響應(yīng)階段。作者響應(yīng)階段最開始是審稿流程優(yōu)化的產(chǎn)物，后來被證明耗時巨大（不僅僅作者，還包括審稿人與主席的時間），而且起到的作用很有限。因此，比起作者的回應(yīng)，我們決定將更多時間和精力投入在促進(jìn)項目委員會的內(nèi)部討論上，以確保所有的討論、論文與評審結(jié)果都得到區(qū)域主席們的充分關(guān)注。這篇論文(預(yù)計將在 2019 年的 NAACL 上發(fā)表）總結(jié)了 ACL 2018 的相關(guān)數(shù)據(jù):

Does My Rebuttal Matter? Insights from a Major NLP Conference
Yang Gao, Steffen Eger, Ilia Kuznetsov, Iryna Gurevych and Yusuke Miyao

• 與近期一些會議采用的詳盡審查形式相比，我們的論文審查機(jī)制更為精簡，靈感主要源自 EMNLP 2018 （感謝 Julia Hockenmaier、David Chiang 和 Junichi Tsujii?。┻@個形式既有效保證審查的嚴(yán)謹(jǐn)性，也減輕了審稿人的審稿壓力，而且更能突出在決策過程中的關(guān)鍵點。

雖然我們采取了種種節(jié)約時間的措施，然而對于項目委員會主席、高級區(qū)域主席、區(qū)域主席以及審稿人來說，會議日程依然非常緊張。讓人感到有趣的是，盡管 ACL 在過去 20 年內(nèi)有了顯著增長，然而日程安排卻幾乎與 1999 年沒什么兩樣。另外還有一點，從提交截止至錄取通知的時長，也與 1999 年完全相當(dāng)（都是兩個月），雖然論文提交的數(shù)量如今已增加了十倍，且個人電腦的體積及復(fù)雜程度變化極大。也許我們是時候采用這些會議的做法（比如 IJCAI、NeurIPS、SIGIR)了，即是將這個時長延長至 3-4 個月。隨著會議的進(jìn)一步壯大，這對于維持審查質(zhì)量來說至關(guān)重要。

此外，會議的日程還受到其他會議（如 NAACL 、EMNLP-IJCNLP）以及 ACL 指南和預(yù)印需求的影響。為此，我們與其他會議作出了協(xié)調(diào)一致的努力，避免審查期間出現(xiàn)重疊的情況(否則將導(dǎo)致會議可用時間被縮短)。評審周期一旦出現(xiàn)重疊，要么作者不滿意（因為他們的論文無法提交所有會議)，要么項目委員會主席覺得混亂（同時管理多個來源的論文提交以及論文撤回）。此外，審稿人也不可能同一時間對多個會議的論文進(jìn)行審閱。即使今年沒有出現(xiàn)重疊的情況，許多作者仍然希望會議之間能有更長的間隙，以便能根據(jù)上一個會議的反饋重新修改并提交論文，然而過往情況是，一旦被一個會議拒稿，作者便沒有足夠時間在下一場會議開始的匿名階段以前進(jìn)行論文提交?？偟膩碚f，今后除了要注意會議的排期外，截止日期的數(shù)量與安排同樣值得給予更多關(guān)注。

via http://acl2019pcblog.fileli.unipi.it/?p=156

雷鋒網(wǎng) AI 科技評論

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。