0
雷鋒網(wǎng) AI 科技評論按：彼時，為期 7 天（6 月 9 日至 15 日）的 ICML 2019（國際機器學習大會）正在美國加州如火如荼地舉行。據(jù) ICML 2019 前不久公布的論文結(jié)果，今年大會共收到 3424 篇有效投稿論文，最終收錄的論文數(shù)量為 774 篇，接收率為 22.6%。而今天，萬眾矚目的 ICML 2019 最佳論文結(jié)果最新出爐，將會議推向了高潮。 
（圖片來源：Twitter 網(wǎng)友）
本屆最佳論文共有 2 篇，分別是：
《挑戰(zhàn)無監(jiān)督解耦表示學習中的常見假設》，論文作者分別來自谷歌大腦、馬克斯·普朗克學會（ Max-Planck-Gesellschaft ）以及蘇黎世聯(lián)邦理工學院（ETH Zurich）；
《稀疏變分高斯過程回歸的收斂速度》，論文作者來自劍橋大學。
《挑戰(zhàn)無監(jiān)督解耦表示學習中的常見假設》
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
論文作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar R?tsch, Sylvain Gelly, Bernhard Sch?lkopf, Olivier Bachem
論文摘要：無監(jiān)督解耦表示學習背后的關鍵思路是，真實世界的數(shù)據(jù)是由大量的變量解釋因子生成的，而無監(jiān)督學習算法可以對這些因子實現(xiàn)修復。在本論文中，我們嚴謹?shù)鼗仡櫫嗽擃I域的最新進展，并對一些常見假設提出了異議。我們首先從理論上驗證，如果模型和數(shù)據(jù)都沒有歸納偏置，無監(jiān)督解耦表示學習基本上是不可能實現(xiàn)的。之后，我們在 7 個不同的數(shù)據(jù)集上訓練了 12000 多個模型，涵蓋了可重復、大規(guī)模實驗研究中最重要的方法和評估指標。我們發(fā)現(xiàn)，雖然不同的方法都成功地執(zhí)行了由相應損失「鼓勵」的屬性，但是在無監(jiān)督的情況下，這些方法似乎都無法識別出良好解耦的模型。除此之外，增加解耦似乎并不會降低下游任務學習的樣本復雜度。而我們的研究結(jié)果最終表明，未來對于解耦學習的研究應該明確歸納偏見和（隱式）監(jiān)督在其中所發(fā)揮的作用，探究強制學習到的表示解耦的明確利好，并考慮涵蓋多個數(shù)據(jù)集的可重復的實驗設置。
《稀疏變分高斯過程回歸的收斂速度》
Rates of Convergence for Sparse Variational Gaussian Process Regression
論文作者：David R. Burt, Carl E. Rasmussen, Mark van der Wilk
論文摘要：此前，我們對高斯過程后驗提出了效果很不錯的變分近似法，從而避免了數(shù)據(jù)集大小為 N 時，O(N3) 發(fā)生縮放。這些方法將計算成本降到了 O(NM2)，其中 M≤N 作為誘導概括高斯過程的變量的數(shù)值。雖然大小為 N 的數(shù)據(jù)集的計算成本幾乎呈線性，但算法真正的復雜性取決于 M 如何增加以確保一定的近似質(zhì)量。對此，我們通過描述 KL 向后發(fā)散的上界行為來解決這個問題，并證明了在高概率情況下，通過讓 M 的增長速度慢于 N，從而使得 KL 的發(fā)散度可隨意減小。其中一個特別受關注的案例是，具有 D 維度中正態(tài)分布輸入為的回歸，使用常用的平方指數(shù)核函數(shù) M=O(logDN) 便足夠了。我們的研究結(jié)果表明，隨著數(shù)據(jù)集的增加，高斯過程后驗可以真正近似地逼近，并為如何在連續(xù)學習場景中增加 M 提供了具體規(guī)則。
（圖片來源：Twitter 網(wǎng)友）
同期，ICML 2019 也公布了 7 篇摘得提名獎（Honorable Mentions）的論文，分別如下：
《類比可解釋性：趨向理解詞嵌入》
Analogies Explained: Towards Understanding Word Embeddings
作者：Carl Allen，Timothy Hospedales
《SATNet：使用差分可滿足性求解器來橋接深度學習和邏輯推理》
SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
作者：Po-WeiWang，Priya L. Donti，Bryan Wilder，Zico Kolter
《深度神經(jīng)網(wǎng)絡中隨機梯度噪聲的尾指數(shù)分析》
A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks
作者：Umut ?im?ekli，L, event Sagun, Mert Gürbüzbalaban
《趨向隨機傅里葉特征的統(tǒng)一分析》
Towards A Unified Analysis of Random Fourier Features
作者：Zhu Li，Jean-Fran?ois Ton，Dino Oglic，Dino Sejdinovic
《分期償還的蒙特卡羅積分》
Amortized Monte Carlo Integration
作者：Adam Golinski、Yee Whye Teh、Frank Wood、Tom Rainforth
論文下載地址：http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf
《多智能體深度強化學習的內(nèi)在動機的社會影響》
Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning
作者：Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas
《隨機波束以及找到它們的地方：取樣序列無需更換的 Gumbel-Top-k 方法》
Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement
作者：Wouter Kool, Herke van Hoof, Max Welling
5 月中，我們在《ICML 2019 論文收錄 TOP 榜單：清華領銜七家國內(nèi)高校、企業(yè)登上榜單》一文中提到，谷歌在 reddit 網(wǎng)友根據(jù) ICML 2019 論文收錄名單統(tǒng)計出的幾大 TOP 榜單中霸榜，讓排名其后的研究機構們都望塵莫及：
在研究機構收錄論文 TOP 榜單中，谷歌以 80+ 篇收錄論文數(shù)量位列第一且遙遙領先于排在其之后的 MIT、加州大學伯克利分校、谷歌大腦、斯坦福大學、CMU 以及微軟。另外在將工業(yè)界單拎出來的工業(yè)界研究機構收錄論文 TOP榜單中，谷歌及其附屬公司谷歌大腦、DeepMind 奪得前四席位，更是以壓倒性優(yōu)勢拔得頭籌。
在以唯一作者、第一作者身份被收錄論文的作者 TOP 榜單中，來自谷歌的 Ashok Cutkosky 拿下了該榜單的第一名，在其被收錄的 3 篇論文中，有 1 篇唯一作者被收錄的論文、1 篇以第一作者被收錄的論文。
在各研究機構相對貢獻 TOP 榜單中，谷歌依舊獨占鰲頭，相對貢獻接近 40，遙遙領先于其后的斯坦福大學、加州大學伯克利分校、MIT、CMU。
而如今最佳論文獎揭曉，則是為谷歌在本屆 ICML 中所取得的佳績再添了一層光輝！ 雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
