作者 | 蔣寶尚

編輯 | 賈偉

ACL作為國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)是是自然語(yǔ)言處理領(lǐng)域影響力最大、最具活力的國(guó)際學(xué)術(shù)組織之一。
昨日ACL2020 錄用結(jié)果落幕，超過(guò)3000篇的投稿數(shù)量，可以說(shuō)是歷史以來(lái)最盛大的一屆ACL。

據(jù)ACL官推介紹，關(guān)于ACL2020論文是否錄用的通知已經(jīng)給作者發(fā)了郵件，沒(méi)有收到消息的作者可以給會(huì)務(wù)組發(fā)郵件詢問(wèn)情況。

關(guān)于整體的錄用率，錄用論文領(lǐng)域的分布，官網(wǎng)尚未有更多信息放出。不過(guò)，對(duì)比ACL 2019的25.8%的錄用率，ACL 2020 想必也不會(huì)相差太多。

網(wǎng)友評(píng)論：審稿人很負(fù)責(zé)，意見(jiàn)很中肯

據(jù)知乎話題《如何看待ACL 2020錄用結(jié)果？》中答者披露，很多作者的論文，原本是拒絕的狀態(tài)，但是經(jīng)過(guò)精心準(zhǔn)備的rebuttal，評(píng)分在邊緣的論文得分也有小小的提高。

每個(gè)回答問(wèn)題的網(wǎng)友也都對(duì)這次ACL的評(píng)審工作稱贊不絕，即使文章未被錄用的作者也評(píng)論：審稿人很負(fù)責(zé)，意見(jiàn)很中肯。

例如，網(wǎng)友廷羽經(jīng)過(guò)rebuttal，最終將3.5,3.5,2.5的得分爭(zhēng)取到能夠錄取的4,3.5,3.5。

當(dāng)然，也有些作者，經(jīng)過(guò)rebuttal之后得分下降的~

有網(wǎng)友建議，遇到?jīng)]看懂或者找茬的評(píng)審意見(jiàn)，要以耐心解釋為主~

還有，因?yàn)橹辛薃CL，男女朋友感情出現(xiàn)危機(jī)的~

多級(jí)評(píng)分的ACL2020，為質(zhì)量保駕護(hù)航

此次ACL2020的審稿周期從19年的12月9日一直到20年的4月3日接近4個(gè)月時(shí)間，比往年的2個(gè)月宙稿時(shí)間幾乎加倍。ACL在審稿規(guī)范、質(zhì)量方面都算如今AI會(huì)議的翹楚之一。能通過(guò)ACL的評(píng)審的工作，在實(shí)驗(yàn)嚴(yán)謹(jǐn)性、思路創(chuàng)新性上是有很不錯(cuò)的保證的，這無(wú)疑是對(duì)科研人員工作的一個(gè)肯定。

 據(jù)ACL官網(wǎng)介紹，在評(píng)審員在評(píng)審過(guò)程中會(huì)主要回答四個(gè)問(wèn)題：1、這篇論文的主要內(nèi)容是什么，有什么樣的貢獻(xiàn)，優(yōu)缺點(diǎn)是什么？2、接收理由3、 拒絕理由4、整體評(píng)價(jià)

其中整體評(píng)價(jià)分為多個(gè)檔次：5=開(kāi)創(chuàng)性、4.5=令人興奮、4=強(qiáng)烈、3.5=傾向于錄用、2.5=傾向于拒絕、2=平庸、1.5=弱、1=糟糕。

沒(méi)有3分這個(gè)檔次，也就是說(shuō)評(píng)審人員必須對(duì)論文采取傾向性的評(píng)價(jià)。 打分之后，評(píng)審員要再次確定自己的評(píng)審意見(jiàn)，這一步也稱為評(píng)審人的置信度，置信度分為5個(gè)檔次：

5=我確信我的評(píng)價(jià)是正確的。我仔細(xì)閱讀了論文并且對(duì)相關(guān)工作非常了解。

4=非常確定。我試著去仔細(xì)檢查重要點(diǎn)。我不太可能會(huì)漏掉一些影響評(píng)價(jià)的要點(diǎn)。

3=比較確定。不過(guò)我有可能會(huì)漏掉一些內(nèi)容。雖然我整體上對(duì)該領(lǐng)域有所了解，我沒(méi)有仔細(xì)檢查論文細(xì)節(jié)。

2=愿意為我的評(píng)價(jià)辯護(hù)，但很可能我漏掉了一些細(xì)節(jié)，沒(méi)能理解論文中心點(diǎn)，或者不太確定本文的創(chuàng)新性。

1=不是我所熟知的領(lǐng)域，或者論文對(duì)我來(lái)說(shuō)難以讀懂。我的評(píng)價(jià)基于經(jīng)驗(yàn)性猜測(cè)。 

ACL官網(wǎng)：7月份的會(huì)議線上舉行

同樣，據(jù)4月4日官網(wǎng)新聞介紹，計(jì)劃2020年7月5日在美國(guó)西雅圖舉辦的線下會(huì)議，全部搬到網(wǎng)上來(lái)舉行。

原因是為了應(yīng)對(duì)COVID-19，更多細(xì)節(jié)并未公布，不過(guò)會(huì)在接下來(lái)的幾周內(nèi)公布注冊(cè)事項(xiàng)以及在線會(huì)議的情況。

親愛(ài)的ACL2020社區(qū)：

希望您和您的家人都能平安無(wú)事。

我們現(xiàn)在可以確認(rèn)，為了應(yīng)對(duì)COVID-19，我們計(jì)劃7月5日-10日的ACL 2020會(huì)議，將在線上舉行。

我們知道，社區(qū)里有很多人正在因這場(chǎng)大流行病而遭受巨大的困難。我們希望在這個(gè)困難的時(shí)刻，我們可以一起努力，建立一個(gè)新型的ACL會(huì)議。今年的ACL會(huì)議將聚焦更多的可持續(xù)性，擴(kuò)大知識(shí)交流的機(jī)會(huì)，并更多地納入來(lái)自全球各地的不同貢獻(xiàn)。

我們將有預(yù)先錄制的講座和全套的tutorials和研討會(huì)，并策劃各種現(xiàn)場(chǎng)活動(dòng)，如答疑會(huì)、輔導(dǎo)、招聘會(huì)和走廊對(duì)話空間等。這將是一次挑戰(zhàn)，但也是一次無(wú)形中走到一起的機(jī)會(huì)，我期待著與ACL2020組委會(huì)的全體成員一起努力，舉辦一次富有啟發(fā)性和意義的會(huì)議。

我們會(huì)從其他在線會(huì)議主席那里獲取建議（他們已經(jīng)提供了巨大的幫助），并從現(xiàn)在和過(guò)去的在線會(huì)議中吸取所有的經(jīng)驗(yàn)教訓(xùn)。在即將舉辦的線上會(huì)議中，我們會(huì)看到每個(gè)人的堅(jiān)韌、熱情和積極向上的精神，以及整個(gè)ACL社區(qū)的配合精神。

我很感謝能夠和大家一起努力，讓ACL2020成為我們所有人的夢(mèng)想！我們將在接下來(lái)的時(shí)間里發(fā)布更多的細(xì)節(jié)。

我們將在未來(lái)幾周內(nèi)公布更多的注冊(cè)細(xì)節(jié)，并在不久后公布更多關(guān)于虛擬會(huì)議的細(xì)節(jié)。

祝愿大家身體健康。

Dan Jurafsky，總主席，代表ACL2020組織委員會(huì)全體成員。

ACL 2020 投稿破三千，有多少人在做NLP呢？

ACL是語(yǔ)言學(xué)協(xié)會(huì)，這個(gè)會(huì)議的爆火本身就代表了自然語(yǔ)言處理的研究熱度，那么歷屆 ACL 都接收了多少文章呢？當(dāng)前做NLP的研究人員數(shù)量在什么量級(jí)呢？目前最熱的研究領(lǐng)域是什么呢？ 雷鋒網(wǎng)曾經(jīng)報(bào)道了《ACL 2020投稿破 3 千，到底有多少人在做 NLP 研究？》回答了這個(gè)問(wèn)題。 1、歷屆 ACL接收情況 下圖是近 20 年來(lái) ACL 大會(huì)論文投遞數(shù)量、評(píng)審人員數(shù)量和（高級(jí)）領(lǐng)域主席數(shù)量變化趨勢(shì)圖，可以清楚的看到，就投稿量，在近幾年呈現(xiàn)的變化是指數(shù)級(jí)別的。評(píng)審人員也是與論文投稿數(shù)量呈現(xiàn)正相關(guān)關(guān)系。

2、NLP領(lǐng)域每年發(fā)多少論文？

截至2019年6月，AA擁有約50,000個(gè)條目，但其中包括一些并非真正的研究出版物的條目（例如，前言、序言、目錄等），將這些舍棄后，還剩44,896篇文章。

上圖中顯示了從1965年到2018年期間，每年發(fā)表的論文數(shù)量。從圖中可以看出：

1、1990年之后，NLP的研究開(kāi)始突飛猛進(jìn)，特別是在2000年之后，AA文章數(shù)量開(kāi)始破千；
2、隔年出版的影響在圖中可以清晰看到，特別是1998年以來(lái)，類(lèi)似LREC、COLING這樣的會(huì)議。 2、哪個(gè)會(huì)議/期刊的論文最多？

當(dāng)然是各種 workshop 了！這張圖展示的是不同會(huì)議或期刊的收錄論文情況。       

從中可以看出，除了各種workshop論文外，LREC已經(jīng)成為NLP會(huì)議論文的最大單一來(lái)源（盡管LREC是一個(gè)相對(duì)較新的會(huì)議，每?jī)赡暾匍_(kāi)一次，但它的接受率往往很高，約60％）。其次則是主會(huì)ACL/4839，COLING/3142，NAACL/1479……

3、哪個(gè)領(lǐng)域最熱？

1980年到2019年的論文，如下圖 

從術(shù)語(yǔ)分布來(lái)看，NLP論文標(biāo)題中最常用的術(shù)語(yǔ)是language，其次是translation。如果考慮bigram的話，如下圖：

最常出現(xiàn)的術(shù)語(yǔ)是machine translation，毫無(wú)疑問(wèn)，機(jī)器翻譯是NLP領(lǐng)域最受關(guān)注的研究領(lǐng)域之一。
我們?cè)賮?lái)看不同的研究領(lǐng)域隨著時(shí)間線的變化：     

    

（雷鋒網(wǎng)）（注：圖中有個(gè)小錯(cuò)誤，parsing對(duì)應(yīng)于淺綠線）

從這張圖中可以看到一個(gè)非常有意思的現(xiàn)象，即，在1980年-2008年之間近三十年的時(shí)間里，language、translation、parsing在80年代炙手可熱，而現(xiàn)在已經(jīng)遠(yuǎn)不如當(dāng)年受歡迎了；而另一方面，neural在80年代經(jīng)歷了一段高潮之后，迅速下降，但近年來(lái)卻又突破重圍，再次超越而出。
我們可以把parsing的時(shí)間線單拎出來(lái)：       

（雷鋒網(wǎng)）

真的是不復(fù)當(dāng)年！

另一個(gè)有意思的是，可以對(duì)比statistical machine, neural machine 和 machine translation在近40年里的變化趨勢(shì)：

統(tǒng)計(jì)機(jī)器經(jīng)歷過(guò)一段高潮之后，現(xiàn)在已經(jīng)基本銷(xiāo)聲匿跡了；而神經(jīng)機(jī)器則隨之崛起。正所謂“沉舟側(cè)畔千帆過(guò)，病樹(shù)前頭萬(wàn)木春”！

（雷鋒網(wǎng)）參考文獻(xiàn)：

http://www.ozgbdpf.cn/news/201912/geduMitD8YzkIEch.htmlhttps://acl2020.org/reviewers/

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。