NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

本文作者：我在思考中

2021-12-02 15:31

導(dǎo)語：6篇獲杰出論文獎，1篇獲時間檢驗獎，還有2篇數(shù)據(jù)集和基準(zhǔn)測試最佳論文獎。

作者 | 莓酊、杏花

編輯 | 青暮

昨日， NeurIPS 2021公布了獲獎?wù)撐拿麊危?/span>

NeurIPS，全稱神經(jīng)信息處理系統(tǒng)大會（Conference and Workshop on Neural Information Processing Systems），作為關(guān)于機器學(xué)習(xí)和計算神經(jīng)科學(xué)的國際會議，每年固定在12月舉行，由NIPS基金會主辦。NeurIPS是機器學(xué)習(xí)領(lǐng)域的頂級會議，是神經(jīng)計算方面最好的會議之一。在中國計算機學(xué)會的國際學(xué)術(shù)會議排名中，NeurIPS為人工智能領(lǐng)域的A類會議。

該會議最早是由連接學(xué)派（connectionist）神經(jīng)網(wǎng)絡(luò)的學(xué)者于1987年在加拿大創(chuàng)辦。之前發(fā)布在NeurIPS的論文包羅萬象，從單純的工程問題到使用計算機模型來理解生物神經(jīng)元系統(tǒng)等各種主題。而近幾年論文的主題主要以機器學(xué)習(xí)，人工智能和統(tǒng)計學(xué)為主。

一年一度，各路AI大神“華山論劍”，高手云集，備受矚目。今年NeurIPS將于下周正式拉開帷幕！

在準(zhǔn)備會議之際，組委會決定“花點時間”宣布2021年杰出論文獎、時間檢驗獎以及數(shù)據(jù)集和基準(zhǔn)測試最佳論文獎名單。

NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

杰出論文獎（Outstanding Paper Awards）

今年共有6篇論文被選為杰出論文獎（Outstanding Paper Awards），評選委員稱贊這些論文“具有極好的清晰度、洞察力、創(chuàng)造力和影響深遠的潛力”。

下面，我們將一一介紹這6篇佳作（按論文ID順序排列）。

由微軟研究院和斯坦福大學(xué)合作完成的《A Universal Law of Robustness via Isoperimetry》

NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=z71OSKqTFh7

作者：Sebastien Bubeck, Mark Sellke

獲獎理由：這篇論文提出了一個理論模型來解釋為什么許多先進的深度網(wǎng)絡(luò)需要比平滑擬合訓(xùn)練數(shù)據(jù)所需更多的參數(shù)。特別是在關(guān)于training分布的某些規(guī)律性條件下，O(1)-Lipschitz 函數(shù)在標(biāo)簽噪聲尺度以下插入訓(xùn)練數(shù)據(jù)所需的參數(shù)數(shù)量為nd，其中n是訓(xùn)練示例的數(shù)量，d是數(shù)據(jù)的分布。這個結(jié)果與傳統(tǒng)的結(jié)果形成了鮮明的對比，傳統(tǒng)的結(jié)果表明一個函數(shù)需要n個參數(shù)。對訓(xùn)練數(shù)據(jù)進行插值，為了平滑地插值，這個額外的因子d顯得很必要。該理論簡單而優(yōu)雅，與一些經(jīng)驗觀察到的模型大小一致，這些模型對MNIST分類具有魯棒的泛化能力。這項工作也提供了關(guān)于為 ImageNet分類開發(fā)魯棒模型所需的模型大小的可測試預(yù)測。

由由DeepMind團隊、普林斯頓大學(xué)計算機科學(xué)系和布朗大學(xué)計算機科學(xué)系合作完成的《On the Expressivity of Markov Reward》

NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=9DlCh34E1bN

作者：David Abel, Will Dabney, Anna Harutyunyan, Mark K. Ho, Michael L. Littman, Doina Precup, Satinder Singh

獲獎理由：馬爾可夫獎勵函數(shù)是不確定性和強化學(xué)習(xí)下順序決策的主要框架。這篇論文仔細、清晰地闡述了馬爾可夫獎勵何時足以使系統(tǒng)設(shè)計者能夠根據(jù)它們對特定行為的偏好、對行為的偏好或?qū)顟B(tài)和動作序列的偏好來指定任務(wù)。論文作者通過簡單的說明性示例證明，存在一些無法指定馬爾可夫獎勵函數(shù)來引發(fā)所需任務(wù)和結(jié)果的任務(wù)。幸運的是，研究人員發(fā)現(xiàn)，可以在多項式時間內(nèi)確定所需設(shè)置是否存在兼容的馬爾可夫獎勵，如果存在，也存在多項式時間算法來在有限決策過程設(shè)置中構(gòu)建這樣的馬爾可夫獎勵。這項工作闡明了獎勵設(shè)計的挑戰(zhàn)，并可能開辟未來研究馬爾可夫框架何時以及如何足以實現(xiàn)人類利益相關(guān)者所需的性能的途徑。

由由蒙特利爾大學(xué)MILA實驗室和谷歌研究院大腦團隊合作的《 Deep Reinforcement Learning at the Edge of the Statistical Precipice 》

NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=uqv8-U4lKBe

作者：Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron Courville, Marc G. Bellemare

獲獎理由：

方法的嚴格比較可以加速有意義的科學(xué)進步。本文提出了提高深度強化學(xué)習(xí)算法比較嚴謹性的實用方法：具體而言，新算法的評估應(yīng)提供分層的引導(dǎo)程序置信區(qū)間、跨任務(wù)和運行的性能概況以及四分位數(shù)均值。該論文強調(diào)，在許多任務(wù)和多次運行中報告深度強化學(xué)習(xí)結(jié)果的標(biāo)準(zhǔn)方法可能使評估新算法是否代表過去方法的一致和可觀的進步變得困難，并通過實證示例說明了這一點。所提出的性能摘要旨在通過每個任務(wù)的少量運行進行計算，這對于許多計算資源有限的研究實驗室來說可能是必要的。

由華盛頓大學(xué)、艾倫人工智能研究院、斯坦福大學(xué)合作完成的《MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers》

NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文鏈接：https://openreview.net/forum?id=Tqx7nJp7PR

作者：Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui

獲獎理由：本篇研究提出了MAUVE——一種用于比較模型生成文本分布和人工生成文本分布的散度度量。這個想法簡約而不簡單，它基本上使用了被比較的兩個文本的量化嵌入（soft）KL 散度測量連續(xù)族。他們提出的MAUVE度量基本上是對連續(xù)度量系列的集成，旨在捕獲第I類錯誤（生成不切實際的文本）和第II類錯誤（不捕獲所有可能的人類文本）。實驗表明，MAUVE識別了模型生成文本的已知模式，與之前的差異度量相比，并且與人類判斷的相關(guān)性更好。這篇論文非常優(yōu)秀，研究問題在開放式文本生成快速發(fā)展的背景下很重要，結(jié)果也很明確清晰。

由法國巴黎 PSL 研究大學(xué)、洛桑聯(lián)邦理工學(xué)院計算機與通信科學(xué)學(xué)院、洛桑聯(lián)邦理工學(xué)院和 MSR-Inria聯(lián)合中心合作完成的《 A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip 》

NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=bGfDnD7xo-v

作者：Mathieu Even, Rapha?l Berthier, Francis Bach, Nicolas Flammarion, Pierre Gaillard, Hadrien Hendrikx, Laurent Massoulié, Adrien Taylor

獲獎理由：

本文描述了Nesterov加速梯度方法的“連續(xù)”版本，其中兩個獨立的向量變量在連續(xù)時間內(nèi)共同演化，這很像以前使用微分方程來理解加速度的方法，但研究人員使用了由泊松點過程決定的隨機時間的梯度更新。這種新方法導(dǎo)致了（隨機）離散時間方法：（1）與Nesterov方法具有相同的加速收斂性；(2) 帶有利用連續(xù)時間參數(shù)的清晰透明的分析，這可以說比之前對加速梯度方法的分析更容易理解；(3) 避免了連續(xù)時間過程離散化的額外錯誤，這與之前使用連續(xù)時間過程理解加速方法的幾次嘗試形成鮮明對比。

由魏茨曼科學(xué)研究所、Facebook AI研究院和加州大學(xué)洛杉磯分校共同合作的《Moser Flow: Divergence-based Generative Modeling on Manifolds 》

NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文鏈接：https://openreview.net/pdf?id=qGvMv3undNJ

作者：Noam Rozen, Aditya Grover, Maximilian Nickel, and Yaron Lipman

獲獎理由：

作者們提出了一種在黎曼流形上訓(xùn)練連續(xù)歸一化流（CNF）生成模型的方法。關(guān)鍵思想是利用Moser（1965）描述了CNF（Moser稱之為流形上的方向保持自同構(gòu)）的解。這個解運用一類具有幾何正則性條件的受限常微分方程，目標(biāo)密度函數(shù)的散度顯式定義。Moser Flow方法使用解決方案概念來開發(fā)基于參數(shù)化目標(biāo)密度估計器（可以是神經(jīng)網(wǎng)絡(luò)）的CNF方法。訓(xùn)練相當(dāng)于簡單地優(yōu)化密度估計器的散度，它回避運行 ODE 求解器（標(biāo)準(zhǔn)反向傳播訓(xùn)練所需）。實驗表明，與之前的CNF工作相比，訓(xùn)練時間更快，測試性能更好，并且在具有非恒定曲率的隱式曲面（如Stanford Bunny model）上建模密度。總的來說，利用幾何規(guī)則性條件來避開昂貴的反向傳播訓(xùn)練的概念可能具有更廣泛的興趣。

時間檢驗獎（Test of Time Award）

由普林斯頓大學(xué)和法國高等國家信息與自動化研究所共同完成的《Online Learning for Latent Dirichlet Allocation》，發(fā)表時間為2010年。

NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文鏈接：https://proceedings.neurips.cc/paper/2010/file/71f6278d140af599e06ad9bf1ba03cb0-Paper.pdf

作者：Matthew D. Hoffman, David M. Blei, Francis Bach

獲獎理由：

本文介紹了一種基于隨機變分梯度的推理方法，用于在超大文本語料庫上訓(xùn)練潛在的Dirichlet分配（LDA）模型。在理論方面，它驗證了訓(xùn)練過程收斂于局部最優(yōu)，出人意料的是，簡單隨機梯度更新對應(yīng)于證據(jù)下限（ELBO）目標(biāo)的隨機自然梯度。在實證方面，作者首次表明，LDA可以輕松地在幾十萬個文檔的文本語料庫上進行訓(xùn)練，使其成為解決“大數(shù)據(jù)”問題的實用技術(shù)。這篇論文在ML社區(qū)產(chǎn)生了巨大的影響，因為它代表了更廣泛模型一般隨機梯度變分推理過程的第一塊墊腳石。在本文之后，再也沒有理由使用完整的批量訓(xùn)練程序進行變分推理了。

評選過程：

時間測試獎的設(shè)定是授予10年前NeurIPS會議論文的。2020年，評審委員審議了時間范圍更寬泛的論文，選擇2011年而非2010年的佳作。因此，今年組委會決定將獲獎?wù)撐牡倪x擇實現(xiàn)限制為10年或11年。因為10年此次會議上發(fā)表的任何論文都沒有獲得時間檢驗獎，經(jīng)過慎重考慮，將重點時限放在2010年。

委員會根據(jù)引文數(shù)量對NeurIPS 2010年的所有論文進行排名。制定了大約500篇引用量的臨界值。在這標(biāo)準(zhǔn)下遴選了16篇文章。會議討論中委員會的四名成員都支持一篇論文——《Online Learning for Latent Dirichlet Allocation》。每個委員會成員對這篇論文的評價排行都高于所有其他候選論文，以絕對優(yōu)勢高出第二預(yù)選論文，最終一致通過被評為時間檢驗獎。

數(shù)據(jù)集和基準(zhǔn)測試最佳論文獎（Datasets & Benchmarks Best Paper Awards）

今年，NeurIPS 推出了全新的“數(shù)據(jù)集與基準(zhǔn)測試”評選流程。

審稿人打出分數(shù)確定了一份簡短的論文列表，依據(jù)咨詢委員會所有成員投票，從列表中評選出兩篇最佳論文獎。

由加州大學(xué)洛杉磯分校、谷歌紐約研究院和谷歌洛杉磯研究院合作完成的《 Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research 》

NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=zNQBIBKJRkd

作者：Bernard Koch, Emily Denton, Alex Hanna, Jacob Gates Foster

獲獎理由：

這篇論文分析了數(shù)千篇論文并研究了不同機器學(xué)習(xí)子社區(qū)中數(shù)據(jù)集使用的演變過程，以及數(shù)據(jù)集采用和創(chuàng)建之間的相互作用。研究人員發(fā)現(xiàn)，在大多數(shù)社區(qū)中，隨著時間的推移，使用更少的不同數(shù)據(jù)集會發(fā)生演變，并且這些數(shù)據(jù)集來自少數(shù)精英機構(gòu)。這種演變是有問題的，因為基準(zhǔn)變得不那么具有普遍性，存在于這些數(shù)據(jù)集來源中的偏見可能會被放大，新的數(shù)據(jù)集變得更難被研究團體接受。這對整個機器學(xué)習(xí)社區(qū)來說是一個重要的“警鐘”，讓他們更加批判性地思考哪些數(shù)據(jù)集可以用于基準(zhǔn)測試，并將更多的重點放在創(chuàng)建新的、更多樣化的數(shù)據(jù)集上。

由斯坦福大學(xué)、芝加哥大學(xué)和Flatiron研究院合作完成的《ATOM3D: Tasks On Molecules in Three Dimensions》

NeurIPS 2021獲獎?wù)撐某鰻t！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=FkDZLpK1Ml2

作者：Raphael John Lamarre Townshend, Martin V?gele, Patricia Adriana Suriana, Alexander Derry, Alexander Powers, Yianni Laloudakis, Sidhika Balachandar, Bowen Jing, Brandon M. Anderson, Stephan Eismann, Risi Kondor, Russ Altman, Ron O. Dror

獲獎理由：

本文介紹了一組具有小分子和/或生物聚合物3D表示的基準(zhǔn)數(shù)據(jù)集，用于解決廣泛的問題，涵蓋單分子結(jié)構(gòu)預(yù)測、生物分子之間的相互作用以及分子功能和設(shè)計/工程任務(wù)。然后將3D模型簡單而強大的應(yīng)用與具有1D或2D表示的最新模型進行基準(zhǔn)測試，并顯示出比低維模型更好的性能。這項研究表述了如何為給定任務(wù)選擇和設(shè)計模型的重要見解。這不僅提供了基準(zhǔn)數(shù)據(jù)集，還提供了基線模型和開源工具來利用這些數(shù)據(jù)集和模型，大大降低了機器學(xué)習(xí)人員進入計算生物學(xué)和分子設(shè)計領(lǐng)域的門檻。

祝賀所有獲獎?wù)撸?/span>

參考鏈接：