雷鋒網(wǎng)AI科技評(píng)論按：ICLR 2017 將于4月24-26日在法國土倫舉行，屆時(shí)雷鋒網(wǎng)AI科技評(píng)論的編輯們也將前往法國帶來一線報(bào)道。在這個(gè)深度學(xué)習(xí)會(huì)議舉辦之前，雷鋒網(wǎng)也將圍繞會(huì)議議程及論文介紹展開一系列的覆蓋和專題報(bào)道，敬請期待。

Andrej Karpathy 認(rèn)為，把每篇論文在 ICLR 2017 （International Conference on Learning Representations，一個(gè)廣受歡迎的深度學(xué)習(xí)會(huì)議）的入選情況（分為4種：口頭報(bào)告 (oral) ，海報(bào)展示 (poster) ，進(jìn)一步研討 (workshop) ，被拒 (reject) ），和該論文被添加到 arxiv-sanity 網(wǎng)站的 library 的次數(shù)進(jìn)行交叉比較，是一件很有趣的事情。某篇論文是否能入選 ICLR 2017 ，是由幾個(gè)相應(yīng)領(lǐng)域的領(lǐng)頭人和審稿人，經(jīng)過幾個(gè)月時(shí)間的審閱后才能決定的。而在 arxiv-sanity 上參與決定的人，只有每月為此投入總共2個(gè)小時(shí)的原作者，當(dāng)然還有應(yīng)對投稿洪流的若干網(wǎng)站工作人員。現(xiàn)在讓我們來看看這場自上而下、自下而上的戰(zhàn)役會(huì)發(fā)生什么。

投稿論文在 ICLR 2017的入選情況可以參看OpenReview.net的情況，投稿論文共計(jì)491篇，其中15篇（3％）論文將在會(huì)上做口頭報(bào)告，183篇（37.3％）論文將被制成海報(bào)在會(huì)上展覽，48篇（9.8％）論文被建議進(jìn)一步研討，245篇（49.9％）論文被拒絕。 ICLR 2017將于4月24日至27日在土倫舉辦，屆時(shí)入選的論文將在會(huì)議上進(jìn)行展示。期待一睹土倫這個(gè)美麗的城市：

法國 土倫

扯遠(yuǎn)了，讓我們言歸正傳回到文章主題上。

另一方面，作者一方的 arxiv-sanity 網(wǎng)站具有l(wèi)ibrary功能。換言之，任何注冊用戶都可以在該網(wǎng)站上他們的 library 里添加論文，然后基于所有收藏論文全文的二元 tf-idf 特征， arxiv-sanity 將為每位用戶訓(xùn)練出個(gè)性化的支持向量機(jī) (Support Vector Machine) ，提供基于內(nèi)容的論文推薦。例如在網(wǎng)站里的 library 收藏一些關(guān)于加強(qiáng)學(xué)習(xí) (Reinforcement Learning)  、生成模型 (Gnerative Models) 、計(jì)算機(jī)視覺 (Computer Vision) 的論文，無論網(wǎng)站何時(shí)出現(xiàn)關(guān)于這些主題的新論文，它們都將出現(xiàn)在“推薦”標(biāo)簽中的最上方。現(xiàn)在 arxiv-sanity 網(wǎng)站上的審查池 (review pool) 總共有3195個(gè)用戶——他們是 library 里收藏至少一篇論文的用戶，這些用戶迄今共收錄了55671篇論文，平均每人17.4篇。

arxiv-sanity 網(wǎng)站一個(gè)很重要的特征是，用戶贊同 (upvote) 一篇論文后，會(huì)產(chǎn)生相應(yīng)的影響。因?yàn)橛脩羰珍浾撐牡膭?dòng)機(jī)暗示著此論文對用戶來說非常重要，所以當(dāng)用戶收錄一篇論文時(shí)，該論文會(huì)增加該文章方向上的推薦權(quán)衡，進(jìn)而影響推薦給用戶的論文。

實(shí)驗(yàn)

長話短說， Andrej 對 ICLR 中的所有論文進(jìn)行了循環(huán)，然后在 arxiv-sanity 網(wǎng)站上，通過嘗試對收錄的論文的標(biāo)題進(jìn)行全字符匹配，把相同的論文找出來。論文沒法匹配的原因可能是，有些 ICLR 論文沒有被網(wǎng)站收錄，有些論文因?yàn)樽髡咧孛笈c原題目不匹配，或者因?yàn)轭}目中包含不能匹配的奇特字符等。

例如，對 ICLR 2017進(jìn)行口頭報(bào)告的論文進(jìn)行匹配，作者得到的結(jié)果是：

15篇進(jìn)行口頭報(bào)告的論文，在 arxiv-sanity 網(wǎng)站上找到了以下10篇，附帶網(wǎng)站里的 library 收藏?cái)?shù)：

這里看到，在 ICLR 做口頭報(bào)告的15篇論文， arxiv-sanity 收錄了10篇，題目左邊的數(shù)字是網(wǎng)站里將這篇論文添加到 library 的用戶數(shù)，例如， "Reinforcement Learning with Unsupervised Auxiliary Tasks" 被64個(gè) arxiv-sanity 用戶添加到了 library 。

183篇制成海報(bào)展覽的論文，在 arxiv-sanity 網(wǎng)站上找到了以下113篇，附帶網(wǎng)站里的 library 收藏?cái)?shù)：

某些論文得到了很多人的青睞，最多達(dá)到149人！然而收藏某些論文的人一個(gè)也沒有。

建議進(jìn)一步研討的論文，結(jié)果如下：

48篇建議進(jìn)一步研討的論文，在 arxiv-sanity 網(wǎng)站上找到了以下23篇，附帶網(wǎng)站里的 library 收藏?cái)?shù)：

作者不打算列出總計(jì)200篇被拒絕的論文， Arxiv-sanity 用戶真的非常喜歡其中一些論文，但是 ICLR 會(huì)議涉及領(lǐng)域的領(lǐng)頭人和審稿人一點(diǎn)也不喜歡：

245篇被拒絕的論文，在 arxiv-sanity 網(wǎng)站上找到了以下58篇，附帶網(wǎng)站里的 library 收藏?cái)?shù)：

 

以上所列論文的前幾篇，投稿遭到拒絕這一結(jié)局對它們來說可能不太公平。

現(xiàn)在另一個(gè)問題是—— ICLR 2017的投稿論文如果只由 arxiv-sanity 用戶投票評(píng)選（可以在 arxiv 上找到的論文），結(jié)果會(huì)是怎么樣子的呢？ 這是投票結(jié)果的一個(gè)摘錄：

做頭口報(bào)告的論文：

制成海報(bào)展覽的論文：

由 arxiv-sanity 用戶投票評(píng)選的完整列表可以看這里。請注意，基于 arxiv-sanity 用戶的投票評(píng)選結(jié)果，一些被拒絕的 ICLR 2017投稿論文，幾乎優(yōu)秀到可以進(jìn)行口頭報(bào)告，特別是以下這幾篇：

"The Predictron: End-To-End Learning and Planning"

 "RL^2: Fast Reinforcement Learning via Slow Reinforcement Learning" 

 "Understanding intermediate layers using linear classifier probes" 

 "Hierarchical Memory Networks" 

相反地， arxiv-sanity 用戶對一些入選的論文并不太喜歡，以下是完整的混亂矩陣：

 

這是文本形式的混亂矩陣，每一欄還附帶了論文的標(biāo)題。這矩陣看起來不太糟糕，只是雙方在評(píng)選進(jìn)行口頭報(bào)告的論文上面分歧很大；同意制成海報(bào)展覽的論文，雙方分歧相對少很多；最重要的是，進(jìn)行口頭報(bào)告與被拒絕的論文之間的分歧非常小，同時(shí)制成海報(bào)展覽的論文與被拒絕的論文之間的分歧也非常少。此外，祝賀 Max 等 ，因?yàn)?"Reinforcement Learning with Unsupervised Auxiliary Tasks" 是唯一一篇雙方都同意應(yīng)該進(jìn)行口頭報(bào)告的優(yōu)秀論文:)

最后，幾天前作者在媒體上看到以下這篇由卡洛斯·佩雷斯 (Carlos E. Perez） 撰寫的文章 ："Ten Deserving Deep Learning Papers that were Rejected at ICLR 2017"，似乎 arxiv-sanity 用戶的看法與這篇文章的意見不謀而合。包括 LipNet ，在這篇文章里列出的所有論文（同樣可以在 arxiv-sanity 上找到）應(yīng)該成為入選論文，和 arxiv-sanity 用戶的看法出奇一致。

討論

注意：這里存在幾個(gè)使結(jié)果有所偏斜的因素。例如， arxiv-sanity 用戶群的大小隨著時(shí)間的推移而增大，所以這些結(jié)果可能稍微偏向于后期收錄在 arxiv-sanity 的論文，因?yàn)樵酵笫珍涍M(jìn)網(wǎng)站的新論文越容易引起更多用戶的關(guān)注。除此之外，論文被看到的頻率并不相同。例如，如果論文被有名人士轉(zhuǎn)發(fā)，看到論文的人會(huì)更多，將論文添加到他們 library 的人也會(huì)更多。最后，另一個(gè)更好地說明傾斜存在的理由是，在 arxiv-sanity ，好論文的曝光率會(huì)更多，因?yàn)槭珍浽?arxiv-sanity 的論文不是匿名的，好論文當(dāng)然會(huì)得到更多的關(guān)注，在 ICLR 同樣存在這種特殊情況，所以在這一點(diǎn)上雙方?jīng)]有區(qū)別。

終上所述， Andrej Karpathy從這個(gè)實(shí)驗(yàn)得出的結(jié)論是：哪些投稿論文可以入選 ICLR 的征兆很多。而且結(jié)果是從互聯(lián)網(wǎng)這個(gè)自下而上的評(píng)選過程中“免費(fèi)”獲得的，而不用幾百人用幾個(gè)月時(shí)間才能得出結(jié)果。作者想對被拖延幾個(gè)星期或者幾個(gè)月，長時(shí)間處于巨大壓力下，忍受來回辯駁痛苦的提交方或者審查方說：也許你們不需要這么痛苦?；蛘咧辽?，改進(jìn)的空間很大。

更多資訊請關(guān)注雷鋒網(wǎng)。

via  medium,   雷鋒網(wǎng)編譯，頭圖viaJulia Manzerova@flickr

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。