0
| 本文作者： 叢末 | 2019-06-13 10:49 | 專題：ICML 2019 |
雷鋒網(wǎng) AI 科技評(píng)論按：彼時(shí)，為期 7 天（6 月 9 日至 15 日）的 ICML 2019（國(guó)際機(jī)器學(xué)習(xí)大會(huì)）正在美國(guó)加州如火如荼地舉行。據(jù) ICML 2019 前不久公布的論文結(jié)果，今年大會(huì)共收到 3424 篇有效投稿論文，最終收錄的論文數(shù)量為 774 篇，接收率為 22.6%。而今天，萬(wàn)眾矚目的 ICML 2019 最佳論文結(jié)果最新出爐，將會(huì)議推向了高潮。 
（圖片來(lái)源：Twitter 網(wǎng)友）
本屆最佳論文共有 2 篇，分別是：
《挑戰(zhàn)無(wú)監(jiān)督解耦表示學(xué)習(xí)中的常見(jiàn)假設(shè)》，論文作者分別來(lái)自谷歌大腦、馬克斯·普朗克學(xué)會(huì)（ Max-Planck-Gesellschaft ）以及蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）；
《稀疏變分高斯過(guò)程回歸的收斂速度》，論文作者來(lái)自劍橋大學(xué)。
《挑戰(zhàn)無(wú)監(jiān)督解耦表示學(xué)習(xí)中的常見(jiàn)假設(shè)》
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
論文作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar R?tsch, Sylvain Gelly, Bernhard Sch?lkopf, Olivier Bachem
論文摘要：無(wú)監(jiān)督解耦表示學(xué)習(xí)背后的關(guān)鍵思路是，真實(shí)世界的數(shù)據(jù)是由大量的變量解釋因子生成的，而無(wú)監(jiān)督學(xué)習(xí)算法可以對(duì)這些因子實(shí)現(xiàn)修復(fù)。在本論文中，我們嚴(yán)謹(jǐn)?shù)鼗仡櫫嗽擃I(lǐng)域的最新進(jìn)展，并對(duì)一些常見(jiàn)假設(shè)提出了異議。我們首先從理論上驗(yàn)證，如果模型和數(shù)據(jù)都沒(méi)有歸納偏置，無(wú)監(jiān)督解耦表示學(xué)習(xí)基本上是不可能實(shí)現(xiàn)的。之后，我們?cè)?7 個(gè)不同的數(shù)據(jù)集上訓(xùn)練了 12000 多個(gè)模型，涵蓋了可重復(fù)、大規(guī)模實(shí)驗(yàn)研究中最重要的方法和評(píng)估指標(biāo)。我們發(fā)現(xiàn)，雖然不同的方法都成功地執(zhí)行了由相應(yīng)損失「鼓勵(lì)」的屬性，但是在無(wú)監(jiān)督的情況下，這些方法似乎都無(wú)法識(shí)別出良好解耦的模型。除此之外，增加解耦似乎并不會(huì)降低下游任務(wù)學(xué)習(xí)的樣本復(fù)雜度。而我們的研究結(jié)果最終表明，未來(lái)對(duì)于解耦學(xué)習(xí)的研究應(yīng)該明確歸納偏見(jiàn)和（隱式）監(jiān)督在其中所發(fā)揮的作用，探究強(qiáng)制學(xué)習(xí)到的表示解耦的明確利好，并考慮涵蓋多個(gè)數(shù)據(jù)集的可重復(fù)的實(shí)驗(yàn)設(shè)置。
《稀疏變分高斯過(guò)程回歸的收斂速度》
Rates of Convergence for Sparse Variational Gaussian Process Regression
論文作者：David R. Burt, Carl E. Rasmussen, Mark van der Wilk
論文摘要：此前，我們對(duì)高斯過(guò)程后驗(yàn)提出了效果很不錯(cuò)的變分近似法，從而避免了數(shù)據(jù)集大小為 N 時(shí)，O(N3) 發(fā)生縮放。這些方法將計(jì)算成本降到了 O(NM2)，其中 M≤N 作為誘導(dǎo)概括高斯過(guò)程的變量的數(shù)值。雖然大小為 N 的數(shù)據(jù)集的計(jì)算成本幾乎呈線性，但算法真正的復(fù)雜性取決于 M 如何增加以確保一定的近似質(zhì)量。對(duì)此，我們通過(guò)描述 KL 向后發(fā)散的上界行為來(lái)解決這個(gè)問(wèn)題，并證明了在高概率情況下，通過(guò)讓 M 的增長(zhǎng)速度慢于 N，從而使得 KL 的發(fā)散度可隨意減小。其中一個(gè)特別受關(guān)注的案例是，具有 D 維度中正態(tài)分布輸入為的回歸，使用常用的平方指數(shù)核函數(shù) M=O(logDN) 便足夠了。我們的研究結(jié)果表明，隨著數(shù)據(jù)集的增加，高斯過(guò)程后驗(yàn)可以真正近似地逼近，并為如何在連續(xù)學(xué)習(xí)場(chǎng)景中增加 M 提供了具體規(guī)則。
（圖片來(lái)源：Twitter 網(wǎng)友）
同期，ICML 2019 也公布了 7 篇摘得提名獎(jiǎng)（Honorable Mentions）的論文，分別如下：
《類(lèi)比可解釋性：趨向理解詞嵌入》
Analogies Explained: Towards Understanding Word Embeddings
作者：Carl Allen，Timothy Hospedales
《SATNet：使用差分可滿足性求解器來(lái)橋接深度學(xué)習(xí)和邏輯推理》
SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
作者：Po-WeiWang，Priya L. Donti，Bryan Wilder，Zico Kolter
《深度神經(jīng)網(wǎng)絡(luò)中隨機(jī)梯度噪聲的尾指數(shù)分析》
A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks
作者：Umut ?im?ekli，L, event Sagun, Mert Gürbüzbalaban
《趨向隨機(jī)傅里葉特征的統(tǒng)一分析》
Towards A Unified Analysis of Random Fourier Features
作者：Zhu Li，Jean-Fran?ois Ton，Dino Oglic，Dino Sejdinovic
《分期償還的蒙特卡羅積分》
Amortized Monte Carlo Integration
作者：Adam Golinski、Yee Whye Teh、Frank Wood、Tom Rainforth
論文下載地址：http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf
《多智能體深度強(qiáng)化學(xué)習(xí)的內(nèi)在動(dòng)機(jī)的社會(huì)影響》
Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning
作者：Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas
《隨機(jī)波束以及找到它們的地方：取樣序列無(wú)需更換的 Gumbel-Top-k 方法》
Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement
作者：Wouter Kool, Herke van Hoof, Max Welling
5 月中，我們?cè)?a href="http://www.ozgbdpf.cn/news/201905/Zu7o4eldIsZ52dgh.html" target="_self">《ICML 2019 論文收錄 TOP 榜單：清華領(lǐng)銜七家國(guó)內(nèi)高校、企業(yè)登上榜單》一文中提到，谷歌在 reddit 網(wǎng)友根據(jù) ICML 2019 論文收錄名單統(tǒng)計(jì)出的幾大 TOP 榜單中霸榜，讓排名其后的研究機(jī)構(gòu)們都望塵莫及：
在研究機(jī)構(gòu)收錄論文 TOP 榜單中，谷歌以 80+ 篇收錄論文數(shù)量位列第一且遙遙領(lǐng)先于排在其之后的 MIT、加州大學(xué)伯克利分校、谷歌大腦、斯坦福大學(xué)、CMU 以及微軟。另外在將工業(yè)界單拎出來(lái)的工業(yè)界研究機(jī)構(gòu)收錄論文 TOP榜單中，谷歌及其附屬公司谷歌大腦、DeepMind 奪得前四席位，更是以壓倒性優(yōu)勢(shì)拔得頭籌。
在以唯一作者、第一作者身份被收錄論文的作者 TOP 榜單中，來(lái)自谷歌的 Ashok Cutkosky 拿下了該榜單的第一名，在其被收錄的 3 篇論文中，有 1 篇唯一作者被收錄的論文、1 篇以第一作者被收錄的論文。
在各研究機(jī)構(gòu)相對(duì)貢獻(xiàn) TOP 榜單中，谷歌依舊獨(dú)占鰲頭，相對(duì)貢獻(xiàn)接近 40，遙遙領(lǐng)先于其后的斯坦福大學(xué)、加州大學(xué)伯克利分校、MIT、CMU。
而如今最佳論文獎(jiǎng)揭曉，則是為谷歌在本屆 ICML 中所取得的佳績(jī)?cè)偬砹艘粚庸廨x！ 雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
專題
本專題其他文章
