0
雷鋒網(wǎng) AI 科技評論按：學(xué)術(shù)論文，是科研人員記錄研究成果、與同行交流討論的最重要的載體；論文能在期刊、會議上發(fā)表，也就表明這項成果得到了同行的認(rèn)可。
不過對于對計算機(jī)科學(xué)領(lǐng)域的科研人員們來說，發(fā)表論文、尤其是在會議上發(fā)表論文的慣例面臨著重大挑戰(zhàn)。人工智能這一計算機(jī)科學(xué)等學(xué)科的衍生領(lǐng)域這幾年呈爆發(fā)式的增長，各個相關(guān)學(xué)術(shù)會議的參會人數(shù)、論文投稿數(shù)量也指數(shù)級地增長。
正如人類設(shè)計的計算系統(tǒng)會遇到可拓展性（scalability）問題一樣，學(xué)術(shù)會議論文投稿、評審的傳統(tǒng)模式在處理如今大幅增長的投稿論文數(shù)量時也帶來了許多令人不滿的結(jié)果，比如僅僅是按時審?fù)晁械耐陡逭撐木褪且淮筇魬?zhàn)，審稿人們也需要耗費越來越多的精力在審稿過程中；作者們越來越普遍地報怨會議中的論文評審隨機(jī)性增加、不公正，但他們卻又不得不想盡辦法讓自己的論文被某個會議接收，有人甚至?xí)褂靡恍┩稒C(jī)取巧的辦法。
在 IJCAI 2019 開幕之前、公布論文接收結(jié)果之時，許多論文作者就表達(dá)了自己對結(jié)果的不滿，似乎這屆 IJCAI 的論文審稿過程中出現(xiàn)了不少的問題。IJCAI 2019 的 PC （program chair，程序主席）Sarit Kraus 當(dāng)時很快就給作者們發(fā)送了一封郵件，做了一些解釋，也給出了一些他的個人觀點。
當(dāng)然了，這并不能真正地解決問題，所以曾任 IJCAI 2017 程序主席的 Carles Sierra 在 IJCAI 2019 會議中組織了一個環(huán)節(jié)，邀請了多位資深、且（曾經(jīng)）擔(dān)任頂會主席的學(xué)者參加圓桌討論，系統(tǒng)、全面地重新思考如何認(rèn)識以及應(yīng)對當(dāng)前頂會中暴露出的問題。
參加討論的學(xué)者們?yōu)椋◤淖蟮接遥耗暇┐髮W(xué)教授周志華，將擔(dān)任 IJCAI 2021 程序主席；巴爾-伊蘭大學(xué)教授 Sarit Kraus，本屆 IJCAI 2019 程序主席；帕多瓦大學(xué)教授，F(xiàn)rancesca Rossi 曾任 IJCAI 2013 程序主席；蒙彼利埃大學(xué)教授 Christian Bessiere，將擔(dān)任 IJCAI 2020 程序主席；得克薩斯大學(xué)奧斯汀分校教授 Peter Stone，曾任 AAAI 2014 程序主席。
在圓桌討論中，學(xué)者們討論到了很多問題，也提出了很多深入的見解和新穎的解決方法。當(dāng)然了，這些措施很可能沒法很快就形成領(lǐng)域內(nèi)的共識并執(zhí)行下去，但充分的討論、好的點子開始形成，是解決一切問題的開始。
雷鋒網(wǎng) AI 科技評論記者全程聆聽了圓桌討論內(nèi)容，并把一些有價值的討論內(nèi)容摘錄如下。
如今各個 AI 會議都很容易出現(xiàn)審稿人不足的狀況，所以幾位學(xué)者都表示了對同一個想法的支持：讓投稿論文的作者也承擔(dān)一些審稿工作（具體方式還有待討論，一個比較簡單的方式是今年投稿的作者需要明年參與審稿）。首先這直接增加了可以參與審稿的人數(shù)；其次，從個人和集體的關(guān)系來看，提交論文讓別人審是論文作者享受了來自整個學(xué)術(shù)社區(qū)的服務(wù)，那么他也應(yīng)當(dāng)為學(xué)術(shù)社區(qū)做出一些服務(wù)，比如審別人的論文。
另外大家也提到了反復(fù)投稿的問題。論文作者們?nèi)缃竦膽T例是，投某一個會議不中的論文，就在出結(jié)果以后投到緊接著的下一個同類型的會議，期待著新的審稿人給它更好的評價。這種做法當(dāng)然會造成嚴(yán)重的資源浪費，而且還會培養(yǎng)出作者的惰性，不那么積極地按照審稿意見更新自己的論文。多位學(xué)者都提到應(yīng)該設(shè)立一些措施處理這種問題，簡單的做法比如針對同一篇論文的審稿意見可以在不同的會議之間通用，這樣時間順序靠后的會議就不必重新審這篇論文。
其它觀點還有
周志華：為了處理大量論文，論文審稿委員會需要設(shè)置多級結(jié)構(gòu)，比如 SAC/AC/SPC/PC，但這樣做也會減少直接審稿的PC 的人數(shù)；如今常用的 SPC 提名 PC 的做法也遇到了困難，多位不同的 SPC 分別提名 PC 名單，但其實很多名字都會重復(fù)，總的提名名單里人還是不多；以及資深學(xué)者很忙，經(jīng)常同時為多個會議審稿，同時還有自己繁重的工作，而會議的投稿量越來越大，導(dǎo)致為會議找到足夠的資深審稿人越來越困難，幾乎成為不可能的任務(wù).
Sarit Kraus：很多審稿人報怨時間安排太滿，不同會議的審稿之間可能有沖突，可以試試 PC、SPC、AC 等等每年只服務(wù)一個會，可以更少人、更投入地完成工作。
Christian Bessiere：快速發(fā)展的領(lǐng)域里常見的問題就是經(jīng)驗學(xué)識較淺的學(xué)者多、資深的學(xué)者少。那么可以在審稿過程中根據(jù)資歷安排不同的任務(wù)或者做法，比如需要多位經(jīng)驗學(xué)識較淺的學(xué)者共同決定一篇論文的質(zhì)量，但資深學(xué)者可以獨立決定一篇文章。
應(yīng)對大量的論文投稿，大家都提到需要設(shè)計快速淘汰機(jī)制，快速篩掉質(zhì)量不高的一部分論文當(dāng)然就可以減少工作量；更少的工作量，就可以專注地評審論文，提高評審質(zhì)量?？梢栽诂F(xiàn)有流程前增加一個快速篩論文環(huán)節(jié)，比如：根據(jù)摘要篩論文；要求提交短視頻或者論文演講的 PPT，根據(jù)它們篩論文；每篇論文只看 20 秒。但畢竟還是增加了額外的工作量。
Christian Bessiere 提到可以考慮采用全新的審稿和發(fā)表機(jī)制，比如采取每月發(fā)表的方式（而不是如今的集中在會議發(fā)表），對應(yīng)地，作者們就可以在全年中的任意時間投稿，然后論文評審和錄用結(jié)果公布都是每月進(jìn)行。這種方式可以克服很多目前會議集中審稿帶來的問題（包括上面提高的反復(fù)投稿也可以在這種機(jī)制下得到遏制）。（雷鋒網(wǎng) AI 科技評論注：ACL 2019 上也有一個討論論文評審方式的圓桌，也提到了這種方式）
周志華教授還談了一些他對論文評審過程的有趣的觀察：不同的論文分配機(jī)制有各自的問題，審稿人的專業(yè)性和想閱讀論文的興趣常常難以兼顧；由于稿件量很大，審稿人拿到的“一批文章”不具有采樣代表性，然而審稿人通常會在這一批文章中做“比較”。如果你的文章正好落在一個拿到一批相對較好的文章的審稿人手里，就更容易被拒稿；如果落在一個拿到一批相對差的文章的審稿人手里，就更容易被接受。這就造成了“運(yùn)氣”很重要，也間接導(dǎo)致不少作者甚至不做修改就投稿去碰運(yùn)氣。他提議可以考慮設(shè)置一些投稿成本，比如會議收取 10 美元投稿費，論文被錄用就用來抵扣注冊費，沒被接收就貢獻(xiàn)作為學(xué)生參會的旅行資助。
在這里，確保評審質(zhì)量是指希望審稿人可以認(rèn)真負(fù)責(zé)地審稿。多位學(xué)者都談到可以考慮使用積分（token）制度，提出了高質(zhì)量評審意見的審稿人、乃至被評為優(yōu)秀審稿人的學(xué)者可以獲得一些積分，然后各個會議就可以只允許有積分的人投稿多篇論文（第一篇投稿可以不需要積分）。周志華提出這種機(jī)制設(shè)計需要另外耗費一批資深專家來評價評審意見，因為不能簡單地用文字長短來判斷評審意見是否專業(yè)到位，也不能完全依賴論文作者評價自己論文收到的審稿意見，畢竟作者們天然地對審稿人抱有敵意；Sarit Kraus 認(rèn)為審稿意見在不同會議間通用能鼓勵大家更仔細(xì)評審；而 Peter Stone 則提出這種機(jī)制可能和雙盲評審是有沖突的。
我們對“不當(dāng)行為”了解并不多，相信有些讀者也是這樣。在討論中，學(xué)者們提到的不當(dāng)行為包括：
許多論文會涉及利益沖突，比如審稿人會給來自自己同事的論文打更高的分?jǐn)?shù)，但給不熟悉的、乃至對于自己看出來來自競爭對手的論文打更低的分?jǐn)?shù)；
在論文評審過程中，審稿人之間故意泄露作者身份；
論文作者在投稿時為了提高中的概率，會把相同的研究寫成幾篇略有區(qū)別的論文分別投稿；
在評審過程中，有些作者收到了審稿意見，但是不愿意修改自己的論文，只想盡快投到下一個會議
針對利益沖突，周志華提出我們需要一定的利益沖突檢測機(jī)制，在論文分配過程中進(jìn)行調(diào)整。
Sarit Kraus 說道，投稿中的不當(dāng)行為其實是我們自己培養(yǎng)出的怪物：根本原因是年青學(xué)者有很大的壓力發(fā)表論文，如今許許多多的東西都和發(fā)表的論文數(shù)量掛鉤，所以他們也只能想盡辦法讓自己的論文能夠錄用。
Peter Stone 則提到了對整件事的“道”的想法：也許我們可以指定一些規(guī)則，規(guī)定了哪些事是不可以做的，但是我們?nèi)祟惪偸悄軙朕k法找到漏洞、繞過規(guī)則。改善這件事，我們需要更多鼓勵好的行為、讓好的行為成為大家效仿的樣板。
實際上，整個圓桌討論中主持人 Carles Sierra 都希望聽眾們也參與到討論中來，他把幾個話題都發(fā)表在了網(wǎng)絡(luò)留言板上，聽眾們可以自由地在其中寫下自己的意見。在前面幾個問題的討論結(jié)束后，現(xiàn)場聽眾也提出了一些問題，幾位圓桌嘉賓們也給出了有價值的回答。
既然會議式論文投稿有這么多問題，為什么我們還要舉辦會議，投期刊不好嗎
周志華：期刊的論文評審過程確實高質(zhì)量，但是計算機(jī)科學(xué)界注重會議的風(fēng)氣已是既定事實，改變這個風(fēng)氣需要很長的時間。計算機(jī)學(xué)科并沒有像物理的PRL、化學(xué)的JACS那樣整個學(xué)科都能投稿的“共同期刊”，甚至僅對人工智能來說也沒有各個子領(lǐng)域都能投稿的共同期刊。
Christian Bessiere：會議其實很有意義，是拓展人脈、和研究同一個課題的學(xué)者當(dāng)面深入討論的非常好的機(jī)會
Peter Stone：我們有 arXiv、會議、期刊三種不同的發(fā)表途徑，arXiv 最快、開放性最高，期刊則最慢、可以期待論文質(zhì)量也最高。三者同時存在是很好的互相補(bǔ)充
先準(zhǔn)備論文演講，投稿時根據(jù)論文演講PPT或者視頻決定是否錄用論文，這個主意好嗎
Sarit Kraus：“審視頻再決定是否要論文”是個很好的點子
Francesca Rossi：也許可以采用，不過需要注意，不同會議對好的演講的要求有所不同，綜合性會議需要讓其他領(lǐng)域的研究者也能聽得懂，而某個領(lǐng)域的專門會議就需要更深入細(xì)致的講解
Peter Stone：AAAI2019 已經(jīng)嘗試了先決定論文是否接收，然后讓作者提交 PPT 后決定這篇論文成為海報論文還是口頭報告論文。這雖然增長了審稿流程，但是能鼓勵大家更好地準(zhǔn)備論文演講（現(xiàn)在的很多論文演講就是站在臺上低頭念稿）
關(guān)于雙盲評審和 OpenReview 間的取舍
周志華：OpenReview不應(yīng)該泄露審稿人身份，否則審稿人會感覺壓力太大而不接受審稿邀請。但匿名又會遭遇其他問題，例如已經(jīng)出現(xiàn)了有論文作者邀請很多朋友撰寫正面意見導(dǎo)致正式審稿人難免受到誘導(dǎo)。
結(jié)語：面對這一快速增長的領(lǐng)域里出現(xiàn)的挑戰(zhàn)和問題，許多學(xué)者都主動開始探尋背后更深層次的原因，并討論解決方案。有的方案也許是“推翻重來”式的，比如改成月度的評審和發(fā)表，但這也更體現(xiàn)了計算機(jī)科學(xué)家們探究本質(zhì)、勇于創(chuàng)新的品質(zhì)。相信領(lǐng)域內(nèi)的風(fēng)氣、慣例可以和這個領(lǐng)域一起不斷前進(jìn)、成長。
雷鋒網(wǎng) AI 科技評論報道。文中周志華老師的發(fā)言已經(jīng)過周老師本人審閱訂正。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
