0
| 本文作者： 我在思考中 | 2021-11-09 09:54 |
作者 | 琰琰
編輯 | 青暮
EMNLP 是由國(guó)際語(yǔ)言學(xué)會(huì)（ACL）下屬的 SIGDAT 小組主辦的自然語(yǔ)言處理領(lǐng)域的頂級(jí)國(guó)際會(huì)議，在計(jì)算語(yǔ)言學(xué)類(lèi)別下影響力排名全球第二。EMNLP 每年舉辦一次，由于疫情的關(guān)系從去年開(kāi)始轉(zhuǎn)為線(xiàn)上線(xiàn)下結(jié)合的形式舉辦。
前不久，EMNLP 官網(wǎng)博客提前公布了今年的論文獲獎(jiǎng)情況。在入選的7篇論文中，華人學(xué)者霸占3篇，其中劍橋大學(xué)博士生劉方宇、哥倫比亞大學(xué)博士生楊子小帆分別斬獲最佳長(zhǎng)、短論文；北大校友、谷歌科學(xué)家雷濤榮獲杰出論文獎(jiǎng)。
今日開(kāi)幕上，幾位程序主席介紹了EMNLP投稿趨勢(shì)以及評(píng)審工作。EMNLP 2021收到有效投稿3717篇，接收論文840篇，總體接受率為23.3%，相比去年略有下降。Findings論文接收419篇，包括300篇長(zhǎng)論文，119篇短論文。
其中，NLP 應(yīng)用、機(jī)器學(xué)習(xí)、機(jī)器翻譯與多語(yǔ)言等研究方向依然最熱門(mén)，相關(guān)論文占比26.5%。
從地區(qū)分布來(lái)看，中國(guó)大陸投稿量最高達(dá)1137篇，接收論文合計(jì)331篇，略次于投稿量第二的美國(guó)（441篇）。排在第三名的是英國(guó)，投稿論文177篇，接收論文77篇，與中國(guó)兩國(guó)相差懸殊。往后依次是德國(guó)、韓國(guó)和印度。
EMNLP 2021有3112名評(píng)審員和370名二級(jí)評(píng)審員參與論文評(píng)審工作，每篇論文至少有3名評(píng)審者共同評(píng)審。經(jīng)過(guò)Rebuttal環(huán)節(jié)，12.3%的評(píng)審者提高了論文評(píng)分；7.6%的評(píng)審者降低了評(píng)審分?jǐn)?shù)。
在開(kāi)幕式上，復(fù)旦大學(xué)教授黃萱菁介紹了EMNLP 2021的論文投稿趨勢(shì)。
EMNLP 2021共收到投稿4834篇，有效投稿3717篇，總接收論文840篇，比去年增加了88篇，接受率為23.3%。長(zhǎng)、短論文接收數(shù)量也略有上升，其中長(zhǎng)論文接收650篇，短論文190篇。
此外，F(xiàn)indings論文接收率為11.6%，包括300篇長(zhǎng)論文，119篇短論文，比去年的520篇略有減少。
“Plus Findings”是EMNLP 2020新增的一種接收論文類(lèi)型。這類(lèi)論文符合可發(fā)表標(biāo)準(zhǔn)，但由于各種原因無(wú)法被會(huì)議所接收的論文，其衡量標(biāo)準(zhǔn)包括兩項(xiàng)：
1、擴(kuò)展了有關(guān)特定任務(wù)的SOTA水平的論文，但是對(duì)于EMNLP社區(qū)而言，沒(méi)有新穎的見(jiàn)解或發(fā)現(xiàn)；
2、實(shí)驗(yàn)數(shù)據(jù)良好，提供了詳盡的分析和發(fā)現(xiàn)過(guò)程，但使用的方法仍不夠“新穎”；
具體可參見(jiàn)AI科技評(píng)論報(bào)道：EMNLP 2020 錄取結(jié)果已出，聽(tīng)說(shuō)你中的是Findings？
從接收率來(lái)看，近五年來(lái)EMNLP的論文接收率沒(méi)有太大浮動(dòng)，基本維持在24.6%-25.8之間。去年長(zhǎng)、短論文的接收率均為歷史最低，尤其是短論文接收率僅為16.6，今年這兩項(xiàng)指標(biāo)都有所回升，分別為23.3%和17.9%，這可能與Finding 評(píng)審機(jī)制有關(guān)。
此前EMNLP官方曾表示，F(xiàn)indings機(jī)制將使更多高質(zhì)量短篇和長(zhǎng)篇論文被接收。從數(shù)據(jù)來(lái)看，相比EMNLP 2020，今年ACL 和 EMNLP 會(huì)議的Findings論文接收率均有所增加。其中EMNLP 2021收到論文445篇，占有效投稿總量的12.4%，最終接收419篇，占比11.6%。
EMNLP接收論文的平均分都在3分以上，主要集中在3.50-3.83區(qū)間，大概有560篇以上。Findings論文只有少量論文不足3分，但也有4分以上的高分。
從研究方向上來(lái)看，NLP 應(yīng)用、機(jī)器學(xué)習(xí)、機(jī)器翻譯與多語(yǔ)言的投稿論文最多，合計(jì)占比26.5%。
其次是，信息提取（8%）、對(duì)話(huà)和交互（7%）和語(yǔ)義詞匯（6.9%）。這六個(gè)方向近50%。最冷門(mén)的研究方向依然是語(yǔ)法、標(biāo)簽和倫理NLP，占比不超過(guò)2%。
從地區(qū)分布來(lái)看，中國(guó)大陸和美國(guó)投稿量最高均在1000篇以上，超過(guò)第三名800多篇。其中中國(guó)大陸接收論文207篇，F(xiàn)indings論文124篇，略低于美國(guó)。英國(guó)、德國(guó)、韓國(guó)緊隨其后，分別位列第三四五名，接收論文總數(shù)最高77篇，最低33篇。
EMNLP 2021評(píng)選出了236名區(qū)域主席，46名高級(jí)區(qū)域主席和3名程序主席。Lucia Specia在會(huì)上介紹了EMNLP 會(huì)議的評(píng)審過(guò)程：3112名評(píng)審員和370名二級(jí)評(píng)審員參與論文評(píng)審工作，每篇論文至少有3名評(píng)審者共同評(píng)審，每個(gè)評(píng)審者平均會(huì)受到3.5篇論文。
其中，超過(guò)80.4%的論文收到了評(píng)審者的回復(fù)。經(jīng)過(guò)rebuttal環(huán)節(jié)，12.3%的評(píng)審者提高了論文評(píng)分，7.6%的評(píng)審者降低了評(píng)審分?jǐn)?shù)。
倫理委員會(huì)成員（EC）包括2名主席和33名評(píng)審者，他們指派了203名評(píng)審者，對(duì)技術(shù)評(píng)審委員會(huì)提出的道德問(wèn)題進(jìn)行了調(diào)查。在技術(shù)評(píng)審委員會(huì)提出的61篇論文中，EC主席接受17篇為EMNLP論文；20篇為Findings論文。
此外，730篇提交論文接受了Sticky 評(píng)審，其中208篇被EMNLP會(huì)議接收，112篇被Findings論文接收，占比20.3%。
今年EMNLP 2021引入了滾動(dòng)審稿機(jī)制（ACL Rolling Review，ARR），ARR機(jī)制要求投稿論文通過(guò)集中滾動(dòng)審查，并提交至公共出版平臺(tái)。經(jīng)過(guò)SAC和PC共同決議，今年有17篇ARR論文被EMNLP接收。
開(kāi)幕式最后，Scott Wen-tau Yih教授介紹稱(chēng)，EMNLP 2021 會(huì)議為期三天，巴伊蘭大學(xué)計(jì)算機(jī)科學(xué)系教授.Ido Dagan，麻省理工學(xué)院副教授Evelina Fedorenko，查爾斯達(dá)爾文大學(xué)、加州大學(xué)伯克利分校教授Steven Bird將分別帶來(lái)三場(chǎng)精彩的Keynote演講。此外，會(huì)議開(kāi)設(shè)了主會(huì)議、教程和研討會(huì)，其中 5-6 場(chǎng)按主題組織的平行會(huì)議，會(huì)談后可進(jìn)行現(xiàn)場(chǎng)問(wèn)答和互動(dòng)討論。
官網(wǎng)鏈接：https://2021.emnlp.org/
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
