由于全球疫情和美國(guó)近段時(shí)間的動(dòng)蕩，EMNLP 組委會(huì)發(fā)布通知，宣布截稿時(shí)間延遲 48 小時(shí)（6月3日，UTC） ，正在奮筆疾書(shū)地趕著 Deadline 的小伙伴們可以稍微松口氣啦 ！

而提交投稿之后，等待大家的就是長(zhǎng)達(dá)三個(gè)多月的審稿期了。在近年來(lái)頂會(huì)審稿“怪象”層出不窮的背景色下，各位投稿作者們對(duì)于今年 EMNLP 的審稿質(zhì)量想必也是惴惴不安。

這不，不久前 EMNLP 組委會(huì)就專(zhuān)門(mén)向?qū)徃迦税l(fā)布了一篇建議公告，指出審稿人應(yīng)該做什么以及不應(yīng)該做什么，并特別強(qiáng)調(diào)“一篇論文的貢獻(xiàn)可以是在效率、泛化能力、可解釋性和許多其它的指標(biāo)上有所進(jìn)步。任何令人信服的貢獻(xiàn)都不應(yīng)該僅僅因?yàn)闆](méi)有在某些指標(biāo)上取得最高排名而被拒絕?！?/p>

以下為公告正文內(nèi)容：

本文旨在為審稿人們提供一些建議，讓我們可以找出最佳的研究工作，在 EMNLP 大會(huì)上展示它們，并且提出有建設(shè)性的反饋意見(jiàn)，使作者們能進(jìn)一步改進(jìn)它們的文章。我們高度贊賞審稿人們做出的大量貢獻(xiàn)，希望讓審稿工作更有益。我們希望所有的作者在閱讀到針對(duì)其文章的同行評(píng)審意見(jiàn)時(shí)，能夠改到醍醐灌頂。

本屆 EMNLP 大會(huì)并不是首次試圖培訓(xùn)審稿人的學(xué)術(shù)會(huì)議。在自然語(yǔ)言處理（NLP）和其它的領(lǐng)域中，許多重要的會(huì)議都曾經(jīng)向?qū)徃迦私o出建議，在學(xué)術(shù)期刊評(píng)審過(guò)程中也是如此。在 NLP 領(lǐng)域中，我們希望重點(diǎn)強(qiáng)調(diào)：

• ACL 2017 上，NLP領(lǐng)域的領(lǐng)袖級(jí)研究者 Mirella Lapata, Marco Baroni, Yoav Artzi, Emily Bender, Joel Tetreault, Ani Nenkova, and Tim Baldwin 等人曾撰寫(xiě)的「審稿建議漫談」，閱讀地址：Discursive advice，https://acl2017.wordpress.com/2017/02/23/last-minute-reviewing-advice/

• NAACL 2018 上給出的審稿教程「兩份優(yōu)秀的審稿意見(jiàn)示例」，閱讀地址：https://naacl2018.wordpress.com/2018/01/20/a-review-form-faq/

• Noah Smith 撰寫(xiě)的有關(guān)同行評(píng)審的博文，閱讀地址：https://soundcloud.com/nlp-highlights/77-on-writing-quality-peer-reviews-with-noah-a-smith

煩請(qǐng)大家費(fèi)點(diǎn)時(shí)間瀏覽一下這些優(yōu)秀的資源。

在這里，我們希望重新強(qiáng)調(diào)一些建議/不建議做的事，希望它們能夠幫助審稿人和作者。

首先，請(qǐng)?jiān)u價(jià)論文的貢獻(xiàn)。此時(shí)，你應(yīng)該用到你在 NLP 領(lǐng)域的專(zhuān)業(yè)知識(shí)。我們建議你不應(yīng)該僅僅因?yàn)樽髡咴谡撐闹薪o出的實(shí)驗(yàn)結(jié)果較好，或者在數(shù)學(xué)上似乎很復(fù)雜就接收論文。這都不是論文構(gòu)成貢獻(xiàn)的充分或必要條件。

同時(shí)，我們還建議你不應(yīng)該僅僅因?yàn)橛行┱撐牡膶?shí)驗(yàn)結(jié)果沒(méi)有比目前最佳的工作（SOTA）好就拒掉它們。在之前的 ACL 大會(huì)上，一些審稿人過(guò)于看重 SOTA 的模型性能，他們給任何沒(méi)有達(dá)到 SOTA 性能的系統(tǒng)都打了低分。

然而，我們的目的是發(fā)表真正最好的論文，那么一個(gè)具有建設(shè)性的問(wèn)題就是「論文應(yīng)該在哪些方面最先進(jìn)？」。正如博文「Peer review in NLP: reject-if-not-SOTA」中所談到的，一篇論文的貢獻(xiàn)可以是在效率、泛化能力、可解釋性和許多其它的指標(biāo)上有所進(jìn)步。任何令人信服的貢獻(xiàn)都不應(yīng)該僅僅因?yàn)闆](méi)有在某些指標(biāo)上取得最高的排名而被拒絕。博文地址：https://hackingsemantics.xyz/2020/reviewing-models/關(guān)于不同類(lèi)型的貢獻(xiàn)，馬里蘭大學(xué)的 Philip Resnik 教授曾說(shuō):

我認(rèn)為，鼓勵(lì)審稿人們明確地思考貢獻(xiàn)的本質(zhì)，以及「我們真正需要提出的問(wèn)題是什么」是非常有意義的。首先，你應(yīng)該考慮/討論：

這份研究工作是否在科學(xué)方面有所貢獻(xiàn)？如果有的話，請(qǐng)繼續(xù)追問(wèn)：

• 作者試圖提升我們對(duì)世界上什么現(xiàn)象的理解？

• 對(duì)于這個(gè)之前未知的現(xiàn)象，現(xiàn)在我們有了什么了解？

這份研究工作是否在工程方面有所貢獻(xiàn)？如果有的話，請(qǐng)繼續(xù)追問(wèn)：

• 這份工作在解決什么現(xiàn)實(shí)世界中的問(wèn)題（或一系列問(wèn)題）上取得了進(jìn)步？

• 或者沒(méi)如果它針對(duì)的不是一個(gè)當(dāng)前的現(xiàn)實(shí)問(wèn)題，那么它將在未來(lái)幫助解決哪些現(xiàn)實(shí)問(wèn)題？

這份工作是否在理論方面（例如，數(shù)學(xué)上）有所貢獻(xiàn)？如果有的話，請(qǐng)繼續(xù)追問(wèn)：

• 我們現(xiàn)在是否知道什么之前不知道的東西？

• 這份工作在理論或數(shù)學(xué)上的進(jìn)展與科學(xué)或工程上的目標(biāo)有什么聯(lián)系？（見(jiàn)上文）

計(jì)算語(yǔ)言學(xué)的工作可能在科學(xué)、工程、理論方面都有所貢獻(xiàn)，而不僅僅是在某一個(gè)方面有所貢獻(xiàn)。但是，我建議，如果一篇論文在上述三個(gè)方面都沒(méi)有任何貢獻(xiàn)，而在下面的子條目中可以找到答案，那么你就需要認(rèn)真考慮這篇論文的內(nèi)容是否與本會(huì)議的要求相符。

其次，在閱讀論文和撰寫(xiě)審稿意見(jiàn)時(shí)，請(qǐng)考慮下面這些重要的因素：

• 論文提出了什么學(xué)術(shù)觀點(diǎn)，論文的哪些內(nèi)容對(duì)這些觀點(diǎn)起了什么支撐作用？如果論文提出了觀點(diǎn) X 并取得了一定的性能提升，那么這種性能提升是否真的是由 X 帶來(lái)的？

• 審稿意見(jiàn)要詳細(xì)具體。例如，如果你認(rèn)為作者忽略了一些需要引用的關(guān)鍵論文，請(qǐng)?jiān)谀愕膶徃逡庖?jiàn)中將這些參考文獻(xiàn)列出來(lái)。引用這些文獻(xiàn)可能對(duì)你來(lái)說(shuō)是顯而易見(jiàn)的，但是作者往往并不這么清楚。詳細(xì)的審稿意見(jiàn)可以幫助作者制定一份有力的針對(duì)審稿意見(jiàn)的應(yīng)對(duì)方案，并在他們的論文中解決這些問(wèn)題。值得注意的是，作者并不一定要引用或?qū)Ρ韧瑫r(shí)期的其它工作（即在論文提交三個(gè)月內(nèi)出現(xiàn)的其它文獻(xiàn)），特別是在這些論文沒(méi)有在經(jīng)過(guò)同行評(píng)審的平臺(tái)上發(fā)表的情況下。

• 請(qǐng)?zhí)岢鼍哂薪ㄔO(shè)性的建議。指出論文在哪些方面做得不好，可能在評(píng)審時(shí)起到把關(guān)性的作用（給出拒稿的理由），但是這樣做對(duì)作者的幫助就沒(méi)有那么大了。給出一些關(guān)于作者可以如何改進(jìn)這些存在問(wèn)題的方面的建議，則可以讓他們把工作做得更好。

• 即使在批評(píng)的時(shí)候，也請(qǐng)注意使用友善的語(yǔ)言。審稿人可能會(huì)很容易變得有些激動(dòng)，寫(xiě)出一些你永遠(yuǎn)不會(huì)當(dāng)著別人的面說(shuō)的不禮貌的話。請(qǐng)盡量在你的審稿意見(jiàn)中保持禮貌。最后需要注意的是，現(xiàn)在越來(lái)越多的作者會(huì)在社交媒體上公開(kāi)評(píng)審意見(jiàn)（尤其是當(dāng)這些評(píng)審意見(jiàn)以不切實(shí)際的理由拒掉這些論文時(shí)）。

因此，我們建議審稿人不應(yīng)該基于下面的原因拒掉一篇論文：

• 論文的語(yǔ)言或?qū)懽黠L(fēng)格。請(qǐng)重點(diǎn)關(guān)注論文的實(shí)質(zhì)性?xún)?nèi)容。我們理解，有時(shí)論文的語(yǔ)言或?qū)懽黠L(fēng)格很差，以至于審稿人無(wú)法弄懂論文的內(nèi)容和實(shí)質(zhì)。在這種情況下，拒稿是可以的，但你只有在努力弄懂這篇論文后才能這么做。

• 論文的研究工作針對(duì)的語(yǔ)言不是英語(yǔ)。我們關(guān)注的是針對(duì)任何語(yǔ)言的自然語(yǔ)言處理。

• 論文的實(shí)驗(yàn)結(jié)果并不比 SOTA 的工作好。請(qǐng)根據(jù)上文和「Peer review in NLP: reject-if-not-SOTA」（https://hackingsemantics.xyz/2020/reviewing-models/）中給出的建議，查看論文的貢獻(xiàn)和發(fā)現(xiàn)。

• 論文沒(méi)有使用某類(lèi)特定的方法（例如，深度學(xué)習(xí)）。好的工作并不要求一定要使用某種特定的方法。請(qǐng)說(shuō)明為什么需要這種方法。想想這篇論文的貢獻(xiàn)是什么，請(qǐng)牢記：使用多種方法并不是一件壞事。

• 論文的方法過(guò)于簡(jiǎn)單。我們的目的是不要設(shè)計(jì)出最為復(fù)雜的方法。在這里，請(qǐng)?jiān)傧胂胝撐牡呢暙I(xiàn)和發(fā)現(xiàn)是什么。通常，使用最簡(jiǎn)單的方法完成的論文的引用量是最多的。如果某種簡(jiǎn)單的方法比以前的工作中更復(fù)雜的方法性能更好，那么這通常是一個(gè)重要的發(fā)現(xiàn)。

• 論文的主題范圍較窄或者過(guò)時(shí)。請(qǐng)保持開(kāi)放的心態(tài)。我們并不希望整個(gè)研究社區(qū)都爭(zhēng)相研究同一個(gè)火熱的話題。請(qǐng)關(guān)注論文的貢獻(xiàn)，想想它對(duì)我們的研究社區(qū)有何影響。

• 如果論文的主題是全新的，這樣一來(lái)我們就沒(méi)有現(xiàn)有的對(duì)比工作，或者所有現(xiàn)有的工作都是在另外的領(lǐng)域完成的。我們需要對(duì)涉足新領(lǐng)域的論文保持興趣。論

• 文介紹的是研究資源。在像 NLP 這樣依賴(lài)于有監(jiān)督機(jī)器學(xué)習(xí)的領(lǐng)域中，數(shù)據(jù)集的開(kāi)發(fā)與建模工作同等重要。博文「Peer review in NLP: resource papers」（https://hackingsemantics.xyz/2020/reviewing-data/）討論了接收/駁回一篇描述研究資源的論文的原則，大家可參考。

當(dāng)你撰寫(xiě)審稿意見(jiàn)時(shí)，請(qǐng)避免根據(jù)上述理由作為拒稿理由的主要原則。我們將確保作者知曉這些準(zhǔn)則，并且在作者撰寫(xiě)反駁意見(jiàn)的時(shí)候參考它們。領(lǐng)域主席（AC）們將基于上面的原則仔細(xì)審核審稿意見(jiàn)，并且可以要求審稿人修改審稿意見(jiàn)，或者提供客觀的理由來(lái)證明其立場(chǎng)。

我們希望這些建議對(duì)于審稿人有所幫助，同時(shí)也希望有更多的作者對(duì)審稿人給出的深刻反饋表示感謝，我們希望抱怨評(píng)審意見(jiàn)的審稿人少一些。感謝各位幫助我們?cè)u(píng)審論文，讓我們一同努力，辦出一屆成功的 EMNLP 2020 大會(huì)！

相關(guān)閱讀資源：

如果你想要閱讀更多有關(guān)審稿的通用建議，我們向你推薦以下資源：

• NeurIPS不僅僅指導(dǎo)審稿人應(yīng)該在審稿意見(jiàn)中包含什么內(nèi)容，同時(shí)還在「審稿人指南」中給出了一些實(shí)用的審稿意見(jiàn)范例。這些審稿意見(jiàn)是根據(jù)「論文的貢獻(xiàn)」、「論文的質(zhì)量」、「清晰度」、「原創(chuàng)性」、「重要性」等評(píng)價(jià)標(biāo)準(zhǔn)組織的。這對(duì)于新的審稿人和作者都是非常實(shí)用的。閱讀地址：https://nips.cc/Conferences/2019/PaperInformation/ReviewerGuidelines

• ICML給出了一些優(yōu)秀審稿意見(jiàn)的范例。請(qǐng)參閱「審稿人指南」的第二部分，閱讀地址：https://icml.cc/Conferences/2020/ReviewerGuidelines

• PatThomson 寫(xiě)過(guò)一篇關(guān)于期刊評(píng)審的博文「peer reviewing your first paper」 ，這與會(huì)議審稿有著大致相似的程序。文章分為三部分，包括如何批判性地閱讀論文，如何確定需要進(jìn)行的修改和寫(xiě)給 PC 的處理建議，如何撰寫(xiě)有建設(shè)性的反饋意見(jiàn)。閱讀地址：https://patthomson.net/2019/10/14/reviewing-your-first-paper/

• Wiley出版集團(tuán)發(fā)布了一個(gè)「給審稿新手的十個(gè)小建議」講解視頻，觀看地址：https://players.brightcove.net/3806881048001/rFXiCa5uY_default/index.html?videoId=4518165477001。你也可以通過(guò)下面的鏈接查看文字版：https://authorservices.wiley.com/asset/photos/reviewers.html/journal-reviewers.html/Top_Tips_for_Peer_Review.pdf。

  其中，第八條建議對(duì)于所有人都是很實(shí)用的：「首先看看結(jié)語(yǔ)」。Wiley 之所以提倡這么做，是因?yàn)榻Y(jié)語(yǔ)往往會(huì)讓你很好的把握這份研究是否在其領(lǐng)域內(nèi)取得了令人激動(dòng)的進(jìn)展。另一個(gè)這樣做的理由是，看看論文作者聲稱(chēng)他們做了些什么：結(jié)語(yǔ)與摘要和引言不同，后者可能做出比論文實(shí)際能夠支撐的結(jié)果更令人印象深刻的論述。

• 愛(ài)思唯爾出版集團(tuán)的「Researcher Academy」制作了一段有關(guān)「如何寫(xiě)出一份有用的同行評(píng)審意見(jiàn)」的視頻，觀看地址：https://researcheracademy.elsevier.com/navigating-peer-review/certified-peer-reviewer-course/31-write-helpful-peer-review-report。這段視頻是由「柳葉刀全球健康」期刊的創(chuàng)始編輯和開(kāi)源期刊主編 Zo? Mullan 進(jìn)行講解，大家可參考。

• 一篇早期在「美國(guó)醫(yī)學(xué)協(xié)會(huì)雜志」（JAMA）上發(fā)表的文章提出了一些有關(guān)論文評(píng)審的有趣觀點(diǎn)，例如「是什么造就了一名優(yōu)秀的審稿人和一篇優(yōu)秀的醫(yī)學(xué)雜志審稿意見(jiàn)？」，閱讀地址：https://jamanetwork.com/journals/jama/fullarticle/187762

  該論文得出的結(jié)論之一是，「年齡更年輕也是編輯質(zhì)量評(píng)估的獨(dú)立預(yù)測(cè)因素」。雷鋒網(wǎng)雷鋒網(wǎng)

閱讀上面提到的任何文章和視頻都將會(huì)讓你樹(shù)立信心，讓你相信自己在做正確的事情。雷鋒網(wǎng)

在這份官方建議的指導(dǎo)下，今年“放榜”之際， EMNLP 的審稿人們是否會(huì)讓大家失望了？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。