0
| 本文作者： 我在思考中 | 2021-11-11 15:03 | 專題：ICLR 2019 |
作者 | 琰琰
編輯 | 青暮
此外，ICLR 2022初審平均分最高為8分，有32篇，比去年多出了25篇。
每篇論文有3-4位評審者共同評分，單個(gè)評分達(dá)到10分的有39篇，其中一篇出自姚班畢業(yè)生，普林斯頓在讀博士生李志遠(yuǎn)，整體評分為[8,6,8,10]，另外其他兩篇拿到10分的論文，也都有最低6分的單個(gè)評分。
ICLR，全稱為International Conference on Learning Representations（國際學(xué)習(xí)表征會議），2013年由兩位深度學(xué)習(xí)大牛、圖靈獎得主 Yoshua Bengio 和 Yann LeCun牽頭創(chuàng)辦。成立僅七年，ICLR已被學(xué)術(shù)研究者們廣泛認(rèn)可，被認(rèn)為是“深度學(xué)習(xí)領(lǐng)域的頂級會議”。
第一輪評審結(jié)束后，作者與審稿人\AC將進(jìn)入Rebuttal環(huán)節(jié)，截至到11 月 22 日結(jié)束，并在22年1月24日公布最終錄用結(jié)果。ICLR 2022（第十屆）在明年 4 月 25 日至 29 日線上舉行。
以下是本次ICLR 2022提交論文關(guān)鍵詞的詞云圖：深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、表征學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)等依然為最熱門主題。
從排名數(shù)據(jù)來看，強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)的投稿數(shù)量要遠(yuǎn)超其他研究領(lǐng)域，例如對比學(xué)習(xí)、遷移學(xué)習(xí)的投稿數(shù)量不足強(qiáng)化學(xué)習(xí)的四分之一。另外在ICLR 2021 中比較火熱的元學(xué)習(xí)（meta learning），過了一年后熱度也有了明顯的下降，今年排在了第12位。
在ICLR 20212中，3355篇論文共收到12981 條評論，每篇論文的評論大約在5個(gè)左右（平均值為4.917）。論文平均分在4.93分（去年是5.37分），大部分集中在4.2-5.8中間。
通過評論和關(guān)鍵字之間的頻率分析，可以看出，要想最大限度地獲得高分，最好使用諸如深度生成模型（deep generative models）或標(biāo)準(zhǔn)化流（normalizing flows）之類的關(guān)鍵字。
從曬出的評審列表來看，今年論文的最高平均分為8分，與去年的8.25分相比略低。不過，8分以上的論文有32篇，比去年多出了25篇，且32篇論文中有三篇單個(gè)評分達(dá)到了10分。
去年最高單個(gè)評分為9分，沒有任何一篇平均分或單個(gè)評分達(dá)到10分，而今年總共有39篇。
Score-Based Generative Modeling with Critically-Damped Langevin Diffusion，匿名提交狀態(tài)
What Happens after SGD Reaches Zero Loss? --A Mathematical Framework，第一作者是普林斯頓大學(xué)的zhiyuan Li
Sampling with Mirrored Stein Operators，作者是英國微軟研究院的Jiaxin Shi值得關(guān)注的是，其中一篇出自華人博士生zhiyuan Li，我是普林斯頓大學(xué)
另外，在3325篇有效提交中，7分以上平均分有156篇，6分以上有654篇，約占所有論文的20%。
去年ICLR 2021接收率為28.7%，前年ICLR 2020接受率為26.5%，如果按照這一趨勢，目前達(dá)到6分以上的論文基本處于安全范圍。
比較危險(xiǎn)的5.6-6分這一檔，總共有233篇。
如果ICLR 2022按照26.5%-28.7%接受率，中稿截至應(yīng)該在列表881-954的位置，目前5.6分以上論文有886篇。
接下來經(jīng)過rebuttal環(huán)節(jié)后，分?jǐn)?shù)可能會發(fā)生很大的變化。去年第一輪評審結(jié)束后，有1836 名評審者更改了分?jǐn)?shù)（總共 10271 名），整體分?jǐn)?shù)上升了0.3。也就是說，大約 50% 的提交至少有一個(gè)分?jǐn)?shù)發(fā)生了變化，而且大部分發(fā)生在rebuttal之后。
AI科技評論發(fā)現(xiàn)，在拿到滿分評價(jià)的論文中，有一篇出自清華姚班畢業(yè)生、普林斯頓博士生李志遠(yuǎn)。
這篇論文由李志遠(yuǎn)與tianhao Wang, Sanjeev Arora合作完成，主要研究了隨機(jī)梯度下降 (SGD) 的隱性偏差問題，論文整體評分為[8，6，8，10]。
給出10分強(qiáng)烈推薦的評審者認(rèn)為，這項(xiàng)研究非常有價(jià)值，解決了機(jī)器學(xué)習(xí)處理有噪聲標(biāo)簽的關(guān)鍵問題，并提供了超參數(shù)線性網(wǎng)絡(luò)的有噪聲標(biāo)簽SGD的最優(yōu)性。
給出6分最低分的評審者，認(rèn)為研究思路有創(chuàng)新，但一些模型假設(shè)、設(shè)置和主要結(jié)果需要更多詳盡的解釋。
值得注意的是，不是所有拿到滿分的論文，整體評分都很高。一位網(wǎng)友根據(jù)按標(biāo)準(zhǔn)分爬取出了10篇最具爭議的論文，這些論文的單個(gè)評分都相差比較大，既有滿分評分，也有不足4分的低分。
| link | mean | max | min | std | median |
| Visual hyperacuity with moving sensor and recurrent neural computations | 視覺系統(tǒng)，卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)，視覺感知 | 4.75 | 10 | 3 | 3.031089 |
| Palette: Image-to-Image Diffusion Models | 機(jī)器學(xué)習(xí)、人工智能、計(jì)算機(jī)視覺 | 4.75 | 10 | 3 | 3.031089 |
| White Paper Assistance: A Step Forward Beyond the Shortcut Learning | 捷徑學(xué)習(xí)、偏差、分類、不平衡分類、魯棒性 | 3.75 | 8 | 1 | 2.947457 |
| Constructing a Good Behavior Basis for Transfer using Generalized Policy Updates | 強(qiáng)化學(xué)習(xí)、終身學(xué)習(xí)、遷移學(xué)習(xí) | 6 | 10 | 3 | 2.94392 |
| Universal Approximation Under Constraints is Possible with Transformers | Transformer 、幾何深度學(xué)習(xí)、可測量最大定理、非仿射隨機(jī)投影、最優(yōu)傳輸。 | 7 | 10 | 3 | 2.94392 |
| Learning Continuous Environment Fields via Implicit Functions | 連續(xù)場表示，隱式神經(jīng)網(wǎng)絡(luò) | 5 | 8 | 1 | 2.94392 |
| Mask and Understand: Evaluating the Importance of Parameters | 影響函數(shù)、可解釋性、模型剪枝、特征重要性排序 | 4 | 8 | 1 | 2.94392 |
| Efficient and Modular Implicit Differentiation | 隱式微分、雙層優(yōu)化、autodiff、jax | 6.333333 | 10 | 3 | 2.867442 |
| Robust Robotic Control from Pixels using Contrastive Recurrent State-Space Models | 對比學(xué)習(xí)、基于模型的強(qiáng)化學(xué)習(xí)、干擾、預(yù)測編碼 | 4.666667 | 8 | 1 | 2.867442 |
| Information-Aware Time Series Meta-Contrastive Learning | 信息感知、時(shí)間序列、對比學(xué)習(xí) | 6.333333 | 10 | 3 | 2.867442 |
| Quantized sparse PCA for neural network weight compression | 模型壓縮，神經(jīng)網(wǎng)絡(luò)量化，稀疏主成分分析，矢量量化 | 4.666667 | 8 | 1 | 2.867442 |
例如這篇與Transformer相關(guān)的論文《Universal Approximation Under Constraints is Possible with Transformers》，整體評分為[8,3,10]。給出3分的評審者認(rèn)為，論文提供了嚴(yán)謹(jǐn)?shù)睦碚摶A(chǔ)，但實(shí)驗(yàn)論證不夠充足，有很多無法理解的細(xì)節(jié)。
給出滿分的評審者認(rèn)為，這是一個(gè)值得稱贊的工作，研究問題清晰，論證過程研究，既有理論支撐，文末也有附實(shí)驗(yàn)細(xì)節(jié)，而且研究方法具有足夠的創(chuàng)新性。
ICLR 采用公開評審（Open Review ）機(jī)制。所有提交的論文都會公開，并且接受所有同行的評審及提問，任何學(xué)者都可或匿名或?qū)嵜卦u價(jià)論文。而在初審公開之后，論文作者也能夠?qū)φ撐倪M(jìn)行調(diào)整和修改以及進(jìn)行Rebuttal。以下是CLR2021 的評審流程如下圖所示：
翻譯下來，大概如下:
| 1、作者提交論文 | 5、程序主席分配論文給審稿人 | 9、審稿人作出終審 |
| 2、區(qū)域主席競標(biāo)論文 | 6、審稿人完成初審 | 10、區(qū)域主席作出論文Oral/poster等接收建議 |
| 3、程序主席分配論文 | 7、區(qū)域主席審閱評審質(zhì)量 | 11、程序主席作出論文最終的接收決定 |
| 4、區(qū)域主席推薦審稿人，審稿人競標(biāo)論文 | 8、“互懟”（Rebuttal）階段 |
ICLR 審稿一直吐槽與爭議不斷。此前，南京大學(xué)周志華教授曾曝出ICLR 2020有47%的審稿人從來沒有在本領(lǐng)域發(fā)表過論文。開放評審的參與者應(yīng)該都是水平相當(dāng)?shù)膶＜也庞行?，否則容易被誤導(dǎo)，頂會能“頂”正是因?yàn)橛懈咚綄＜野殃P(guān)，但現(xiàn)在似乎不太可能了......
滑鐵盧大學(xué)計(jì)算機(jī)系教授Gautam Kamath在推特上發(fā)文表示，自己的論文也投了ICLR，但是審稿人不具備專業(yè)知識，審核不了，直到截稿之前也審核完，而且不回復(fù)郵件，拒絕溝通......
引用鏈接：
https://openreview.net/group?id=ICLR.cc/2022/Conferencehttps://twitter.com/SergeyI49013776/status/1458018709847560193
https://github.com/kashif/ICLR2021-OpenReviewData/tree/iclr2022
https://github.com/VietTralala/ICLR2022-OpenReviewData/blob/master/analyze_reviews.ipynb
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
