0
| 本文作者： 我在思考中 | 2021-12-02 15:31 |
編輯 | 青暮
昨日， NeurIPS 2021公布了獲獎(jiǎng)?wù)撐拿麊危?/span>
NeurIPS，全稱神經(jīng)信息處理系統(tǒng)大會(huì)（Conference and Workshop on Neural Information Processing Systems），作為關(guān)于機(jī)器學(xué)習(xí)和計(jì)算神經(jīng)科學(xué)的國(guó)際會(huì)議，每年固定在12月舉行，由NIPS基金會(huì)主辦。NeurIPS是機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)會(huì)議 ，是神經(jīng)計(jì)算方面最好的會(huì)議之一 。在中國(guó)計(jì)算機(jī)學(xué)會(huì)的國(guó)際學(xué)術(shù)會(huì)議排名中，NeurIPS為人工智能領(lǐng)域的A類會(huì)議。
該會(huì)議最早是由連接學(xué)派（connectionist）神經(jīng)網(wǎng)絡(luò)的學(xué)者于1987年在加拿大創(chuàng)辦。之前發(fā)布在NeurIPS的論文包羅萬(wàn)象，從單純的工程問(wèn)題到使用計(jì)算機(jī)模型來(lái)理解生物神經(jīng)元系統(tǒng)等各種主題。而近幾年論文的主題主要以機(jī)器學(xué)習(xí)，人工智能和統(tǒng)計(jì)學(xué)為主。
一年一度，各路AI大神“華山論劍”，高手云集，備受矚目。今年NeurIPS將于下周正式拉開(kāi)帷幕！
在準(zhǔn)備會(huì)議之際，組委會(huì)決定“花點(diǎn)時(shí)間”宣布2021年杰出論文獎(jiǎng)、時(shí)間檢驗(yàn)獎(jiǎng)以及數(shù)據(jù)集和基準(zhǔn)測(cè)試最佳論文獎(jiǎng)名單。
今年共有6篇論文被選為杰出論文獎(jiǎng)（Outstanding Paper Awards），評(píng)選委員稱贊這些論文“具有極好的清晰度、洞察力、創(chuàng)造力和影響深遠(yuǎn)的潛力”。
下面，我們將一一介紹這6篇佳作（按論文ID順序排列）。
由微軟研究院和斯坦福大學(xué)合作完成的《A Universal Law of Robustness via Isoperimetry》
論文地址：https://openreview.net/pdf?id=z71OSKqTFh7
作者：Sebastien Bubeck, Mark Sellke
獲獎(jiǎng)理由：這篇論文提出了一個(gè)理論模型來(lái)解釋為什么許多先進(jìn)的深度網(wǎng)絡(luò)需要比平滑擬合訓(xùn)練數(shù)據(jù)所需更多的參數(shù)。特別是在關(guān)于training分布的某些規(guī)律性條件下，O(1)-Lipschitz 函數(shù)在標(biāo)簽噪聲尺度以下插入訓(xùn)練數(shù)據(jù)所需的參數(shù)數(shù)量為nd，其中n是訓(xùn)練示例的數(shù)量，d是數(shù)據(jù)的分布。這個(gè)結(jié)果與傳統(tǒng)的結(jié)果形成了鮮明的對(duì)比，傳統(tǒng)的結(jié)果表明一個(gè)函數(shù)需要n個(gè)參數(shù)。對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行插值，為了平滑地插值，這個(gè)額外的因子d顯得很必要。該理論簡(jiǎn)單而優(yōu)雅，與一些經(jīng)驗(yàn)觀察到的模型大小一致，這些模型對(duì)MNIST分類具有魯棒的泛化能力。這項(xiàng)工作也提供了關(guān)于為 ImageNet分類開(kāi)發(fā)魯棒模型所需的模型大小的可測(cè)試預(yù)測(cè)。
由由DeepMind團(tuán)隊(duì)、普林斯頓大學(xué)計(jì)算機(jī)科學(xué)系和布朗大學(xué)計(jì)算機(jī)科學(xué)系合作完成的《On the Expressivity of Markov Reward》
論文地址：https://openreview.net/pdf?id=9DlCh34E1bN
作者：David Abel, Will Dabney, Anna Harutyunyan, Mark K. Ho, Michael L. Littman, Doina Precup, Satinder Singh
獲獎(jiǎng)理由：馬爾可夫獎(jiǎng)勵(lì)函數(shù)是不確定性和強(qiáng)化學(xué)習(xí)下順序決策的主要框架。這篇論文仔細(xì)、清晰地闡述了馬爾可夫獎(jiǎng)勵(lì)何時(shí)足以使系統(tǒng)設(shè)計(jì)者能夠根據(jù)它們對(duì)特定行為的偏好、對(duì)行為的偏好或?qū)顟B(tài)和動(dòng)作序列的偏好來(lái)指定任務(wù)。論文作者通過(guò)簡(jiǎn)單的說(shuō)明性示例證明，存在一些無(wú)法指定馬爾可夫獎(jiǎng)勵(lì)函數(shù)來(lái)引發(fā)所需任務(wù)和結(jié)果的任務(wù)。幸運(yùn)的是，研究人員發(fā)現(xiàn)，可以在多項(xiàng)式時(shí)間內(nèi)確定所需設(shè)置是否存在兼容的馬爾可夫獎(jiǎng)勵(lì)，如果存在，也存在多項(xiàng)式時(shí)間算法來(lái)在有限決策過(guò)程設(shè)置中構(gòu)建這樣的馬爾可夫獎(jiǎng)勵(lì)。這項(xiàng)工作闡明了獎(jiǎng)勵(lì)設(shè)計(jì)的挑戰(zhàn)，并可能開(kāi)辟未來(lái)研究馬爾可夫框架何時(shí)以及如何足以實(shí)現(xiàn)人類利益相關(guān)者所需的性能的途徑。
由由蒙特利爾大學(xué)MILA實(shí)驗(yàn)室和谷歌研究院大腦團(tuán)隊(duì)合作的《 Deep Reinforcement Learning at the Edge of the Statistical Precipice 》
論文地址：https://openreview.net/pdf?id=uqv8-U4lKBe
作者：Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron Courville, Marc G. Bellemare
獲獎(jiǎng)理由：
方法的嚴(yán)格比較可以加速有意義的科學(xué)進(jìn)步。本文提出了提高深度強(qiáng)化學(xué)習(xí)算法比較嚴(yán)謹(jǐn)性的實(shí)用方法：具體而言，新算法的評(píng)估應(yīng)提供分層的引導(dǎo)程序置信區(qū)間、跨任務(wù)和運(yùn)行的性能概況以及四分位數(shù)均值。該論文強(qiáng)調(diào)，在許多任務(wù)和多次運(yùn)行中報(bào)告深度強(qiáng)化學(xué)習(xí)結(jié)果的標(biāo)準(zhǔn)方法可能使評(píng)估新算法是否代表過(guò)去方法的一致和可觀的進(jìn)步變得困難，并通過(guò)實(shí)證示例說(shuō)明了這一點(diǎn)。所提出的性能摘要旨在通過(guò)每個(gè)任務(wù)的少量運(yùn)行進(jìn)行計(jì)算，這對(duì)于許多計(jì)算資源有限的研究實(shí)驗(yàn)室來(lái)說(shuō)可能是必要的。
由華盛頓大學(xué)、艾倫人工智能研究院、斯坦福大學(xué)合作完成的《MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers》
論文鏈接：https://openreview.net/forum?id=Tqx7nJp7PR
作者：Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui
獲獎(jiǎng)理由：本篇研究提出了MAUVE——一種用于比較模型生成文本分布和人工生成文本分布的散度度量。這個(gè)想法簡(jiǎn)約而不簡(jiǎn)單，它基本上使用了被比較的兩個(gè)文本的量化嵌入（soft）KL 散度測(cè)量連續(xù)族。他們提出的MAUVE度量基本上是對(duì)連續(xù)度量系列的集成，旨在捕獲第I類錯(cuò)誤（生成不切實(shí)際的文本）和第II類錯(cuò)誤（不捕獲所有可能的人類文本）。實(shí)驗(yàn)表明，MAUVE識(shí)別了模型生成文本的已知模式，與之前的差異度量相比，并且與人類判斷的相關(guān)性更好。這篇論文非常優(yōu)秀，研究問(wèn)題在開(kāi)放式文本生成快速發(fā)展的背景下很重要，結(jié)果也很明確清晰。
由法國(guó)巴黎 PSL 研究大學(xué)、洛桑聯(lián)邦理工學(xué)院計(jì)算機(jī)與通信科學(xué)學(xué)院、洛桑聯(lián)邦理工學(xué)院和 MSR-Inria聯(lián)合中心合作完成的《 A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip 》
論文地址：https://openreview.net/pdf?id=bGfDnD7xo-v
作者：Mathieu Even, Rapha?l Berthier, Francis Bach, Nicolas Flammarion, Pierre Gaillard, Hadrien Hendrikx, Laurent Massoulié, Adrien Taylor
獲獎(jiǎng)理由：
本文描述了Nesterov加速梯度方法的“連續(xù)”版本，其中兩個(gè)獨(dú)立的向量變量在連續(xù)時(shí)間內(nèi)共同演化，這很像以前使用微分方程來(lái)理解加速度的方法，但研究人員使用了由泊松點(diǎn)過(guò)程決定的隨機(jī)時(shí)間的梯度更新。這種新方法導(dǎo)致了（隨機(jī)）離散時(shí)間方法：（1）與Nesterov方法具有相同的加速收斂性；(2) 帶有利用連續(xù)時(shí)間參數(shù)的清晰透明的分析，這可以說(shuō)比之前對(duì)加速梯度方法的分析更容易理解；(3) 避免了連續(xù)時(shí)間過(guò)程離散化的額外錯(cuò)誤，這與之前使用連續(xù)時(shí)間過(guò)程理解加速方法的幾次嘗試形成鮮明對(duì)比。
由魏茨曼科學(xué)研究所、Facebook AI研究院和加州大學(xué)洛杉磯分校共同合作的《Moser Flow: Divergence-based Generative Modeling on Manifolds 》
論文鏈接：https://openreview.net/pdf?id=qGvMv3undNJ
作者：Noam Rozen, Aditya Grover, Maximilian Nickel, and Yaron Lipman
獲獎(jiǎng)理由：
作者們提出了一種在黎曼流形上訓(xùn)練連續(xù)歸一化流（CNF）生成模型的方法。關(guān)鍵思想是利用Moser（1965）描述了CNF（Moser稱之為流形上的方向保持自同構(gòu)）的解。這個(gè)解運(yùn)用一類具有幾何正則性條件的受限常微分方程，目標(biāo)密度函數(shù)的散度顯式定義。Moser Flow方法使用解決方案概念來(lái)開(kāi)發(fā)基于參數(shù)化目標(biāo)密度估計(jì)器（可以是神經(jīng)網(wǎng)絡(luò)）的CNF方法。訓(xùn)練相當(dāng)于簡(jiǎn)單地優(yōu)化密度估計(jì)器的散度，它回避運(yùn)行 ODE 求解器（標(biāo)準(zhǔn)反向傳播訓(xùn)練所需）。實(shí)驗(yàn)表明，與之前的CNF工作相比，訓(xùn)練時(shí)間更快，測(cè)試性能更好，并且在具有非恒定曲率的隱式曲面（如Stanford Bunny model）上建模密度。總的來(lái)說(shuō)，利用幾何規(guī)則性條件來(lái)避開(kāi)昂貴的反向傳播訓(xùn)練的概念可能具有更廣泛的興趣。
由普林斯頓大學(xué)和法國(guó)高等國(guó)家信息與自動(dòng)化研究所共同完成的《Online Learning for Latent Dirichlet Allocation》，發(fā)表時(shí)間為2010年。
論文鏈接：https://proceedings.neurips.cc/paper/2010/file/71f6278d140af599e06ad9bf1ba03cb0-Paper.pdf
作者：Matthew D. Hoffman, David M. Blei, Francis Bach
獲獎(jiǎng)理由：
本文介紹了一種基于隨機(jī)變分梯度的推理方法，用于在超大文本語(yǔ)料庫(kù)上訓(xùn)練潛在的Dirichlet分配（LDA）模型。在理論方面，它驗(yàn)證了訓(xùn)練過(guò)程收斂于局部最優(yōu)，出人意料的是，簡(jiǎn)單隨機(jī)梯度更新對(duì)應(yīng)于證據(jù)下限（ELBO）目標(biāo)的隨機(jī)自然梯度。在實(shí)證方面，作者首次表明，LDA可以輕松地在幾十萬(wàn)個(gè)文檔的文本語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，使其成為解決“大數(shù)據(jù)”問(wèn)題的實(shí)用技術(shù)。這篇論文在ML社區(qū)產(chǎn)生了巨大的影響，因?yàn)樗砹烁鼜V泛模型一般隨機(jī)梯度變分推理過(guò)程的第一塊墊腳石。在本文之后，再也沒(méi)有理由使用完整的批量訓(xùn)練程序進(jìn)行變分推理了。
評(píng)選過(guò)程：
時(shí)間測(cè)試獎(jiǎng)的設(shè)定是授予10年前NeurIPS會(huì)議論文的。2020年，評(píng)審委員審議了時(shí)間范圍更寬泛的論文，選擇2011年而非2010年的佳作。因此，今年組委會(huì)決定將獲獎(jiǎng)?wù)撐牡倪x擇實(shí)現(xiàn)限制為10年或11年。因?yàn)?0年此次會(huì)議上發(fā)表的任何論文都沒(méi)有獲得時(shí)間檢驗(yàn)獎(jiǎng)，經(jīng)過(guò)慎重考慮，將重點(diǎn)時(shí)限放在2010年。
委員會(huì)根據(jù)引文數(shù)量對(duì)NeurIPS 2010年的所有論文進(jìn)行排名。制定了大約500篇引用量的臨界值。在這標(biāo)準(zhǔn)下遴選了16篇文章。會(huì)議討論中委員會(huì)的四名成員都支持一篇論文——《Online Learning for Latent Dirichlet Allocation》。每個(gè)委員會(huì)成員對(duì)這篇論文的評(píng)價(jià)排行都高于所有其他候選論文，以絕對(duì)優(yōu)勢(shì)高出第二預(yù)選論文，最終一致通過(guò)被評(píng)為時(shí)間檢驗(yàn)獎(jiǎng)。
今年，NeurIPS 推出了全新的“數(shù)據(jù)集與基準(zhǔn)測(cè)試”評(píng)選流程。
審稿人打出分?jǐn)?shù)確定了一份簡(jiǎn)短的論文列表，依據(jù)咨詢委員會(huì)所有成員投票，從列表中評(píng)選出兩篇最佳論文獎(jiǎng)。
由加州大學(xué)洛杉磯分校、谷歌紐約研究院和谷歌洛杉磯研究院合作完成的《 Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research 》
論文地址：https://openreview.net/pdf?id=zNQBIBKJRkd
作者：Bernard Koch, Emily Denton, Alex Hanna, Jacob Gates Foster
獲獎(jiǎng)理由：
這篇論文分析了數(shù)千篇論文并研究了不同機(jī)器學(xué)習(xí)子社區(qū)中數(shù)據(jù)集使用的演變過(guò)程，以及數(shù)據(jù)集采用和創(chuàng)建之間的相互作用。研究人員發(fā)現(xiàn)，在大多數(shù)社區(qū)中，隨著時(shí)間的推移，使用更少的不同數(shù)據(jù)集會(huì)發(fā)生演變，并且這些數(shù)據(jù)集來(lái)自少數(shù)精英機(jī)構(gòu)。這種演變是有問(wèn)題的，因?yàn)榛鶞?zhǔn)變得不那么具有普遍性，存在于這些數(shù)據(jù)集來(lái)源中的偏見(jiàn)可能會(huì)被放大，新的數(shù)據(jù)集變得更難被研究團(tuán)體接受。這對(duì)整個(gè)機(jī)器學(xué)習(xí)社區(qū)來(lái)說(shuō)是一個(gè)重要的“警鐘”，讓他們更加批判性地思考哪些數(shù)據(jù)集可以用于基準(zhǔn)測(cè)試，并將更多的重點(diǎn)放在創(chuàng)建新的、更多樣化的數(shù)據(jù)集上。
由斯坦福大學(xué)、芝加哥大學(xué)和Flatiron研究院合作完成的《ATOM3D: Tasks On Molecules in Three Dimensions》
論文地址：https://openreview.net/pdf?id=FkDZLpK1Ml2
作者：Raphael John Lamarre Townshend, Martin V?gele, Patricia Adriana Suriana, Alexander Derry, Alexander Powers, Yianni Laloudakis, Sidhika Balachandar, Bowen Jing, Brandon M. Anderson, Stephan Eismann, Risi Kondor, Russ Altman, Ron O. Dror
獲獎(jiǎng)理由：
本文介紹了一組具有小分子和/或生物聚合物3D表示的基準(zhǔn)數(shù)據(jù)集，用于解決廣泛的問(wèn)題，涵蓋單分子結(jié)構(gòu)預(yù)測(cè)、生物分子之間的相互作用以及分子功能和設(shè)計(jì)/工程任務(wù)。然后將3D模型簡(jiǎn)單而強(qiáng)大的應(yīng)用與具有1D或2D表示的最新模型進(jìn)行基準(zhǔn)測(cè)試，并顯示出比低維模型更好的性能。這項(xiàng)研究表述了如何為給定任務(wù)選擇和設(shè)計(jì)模型的重要見(jiàn)解。這不僅提供了基準(zhǔn)數(shù)據(jù)集，還提供了基線模型和開(kāi)源工具來(lái)利用這些數(shù)據(jù)集和模型，大大降低了機(jī)器學(xué)習(xí)人員進(jìn)入計(jì)算生物學(xué)和分子設(shè)計(jì)領(lǐng)域的門檻。
祝賀所有獲獎(jiǎng)?wù)撸?/span>
參考鏈接：
https://twitter.com/thegautamkamath/status/1465830407622955012
https://blog.neurips.cc/2021/11/30/announcing-the-neurips-2021-award-recipients/
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
