雷鋒網(wǎng)AI 科技評(píng)論消息：NeurIPS 2018 于 12 月 3 日—12 月 8 日在加拿大蒙特利爾會(huì)展中心（Palais des Congrès de Montréal）舉辦，今年共計(jì)有 9 場(chǎng) Tutorial 、7 場(chǎng)主題 Talk 和 41 場(chǎng) Workshop，相較去年來說，不管是主題活動(dòng)，還是投稿論文，亦或是參會(huì)人數(shù)，都上了一層新的臺(tái)階。

在大會(huì)第一天的下午的開幕式環(huán)節(jié)，最佳論文獎(jiǎng)、時(shí)間檢驗(yàn)獎(jiǎng)等諸多獎(jiǎng)項(xiàng)一并揭曉，大會(huì)主席也向在場(chǎng)觀眾透露了今年論文的熱點(diǎn)分布，會(huì)議新的亮點(diǎn)以及一系列數(shù)據(jù)。

隨著會(huì)議的影響和規(guī)模越來越大，今年創(chuàng)造性地開設(shè)了展覽日，吸引了將近 32 家公司，設(shè)立了 15 場(chǎng)演講和圓桌，17 篇 demo 展示和 10 場(chǎng) workshop。

今年共有 9 場(chǎng) tutorial，其中有 5 場(chǎng)由組委會(huì)邀請(qǐng)。組委會(huì)共接收 36 個(gè) tutorial 舉辦申請(qǐng)，最后通過 4 場(chǎng)。workshop 申請(qǐng)上，共收到 118 份報(bào)名，最終通過 39 份。競(jìng)賽申請(qǐng)上，共收到 21 份申請(qǐng)，最終通過 8 個(gè)。

組委會(huì)今年特別提及了到四場(chǎng) workshop，分別是 WiML，Black in AI，LatinX in AI，Queer in AI，宣揚(yáng)反對(duì)歧視和偏見。

組委會(huì)表示，我們需要意識(shí)到人是復(fù)雜的動(dòng)物，要能看到其他人的觀點(diǎn)，切身體會(huì)到被當(dāng)做局外人的感受，要多聽、多做研究、多學(xué)習(xí)，不斷努力，表明自己的觀點(diǎn)和態(tài)度。

為了將會(huì)議辦好，組委會(huì)在今年也做出了很多努力，如設(shè)立 advisory board, inclusion survey ，邀請(qǐng) D&I 講者，在 Twitter 上提供小貼士等。

會(huì)議上，也特別提到簽證問題，此次有超過一半的參會(huì)黑人簽證被拒。他們表示，接下來將會(huì)早一點(diǎn)發(fā)出邀請(qǐng)函，未來在會(huì)議主辦地的選擇上也會(huì)注意。

今年組委會(huì)共審閱 4854 篇論文，接收論文 1010 篇，接收率與去年一致，均為 21%?？梢钥吹?，從 2015 年開始，NeurIPS 的投稿論文迎來爆發(fā)式增長(zhǎng)。

組委會(huì)今年統(tǒng)計(jì)出十大熱點(diǎn)領(lǐng)域，分別是：

• Algorithms

• Deep Learning

• Applications

• RL&Planning

• Prob. Methods

• Theory

• Optimization

• Neuro.&Cog.Sci.

• Data, etc

• Other

在論文分布上，共接收 30 篇 oral 論文，168 篇 spotlight 論文，812 篇 poster 論文。其中，有 44% 的接收論文提供了代碼或數(shù)據(jù)，有 56% 的論文已經(jīng)在網(wǎng)上公布。

今年共有四篇最佳論文獎(jiǎng)，一篇時(shí)間檢驗(yàn)獎(jiǎng)。

最佳論文獎(jiǎng)

Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes

利用樣本壓縮方案學(xué)習(xí)高斯混合的近似緊樣本復(fù)雜度界

作者：Hassan Ashtiani，Shai Ben-David，Nicholas Harvey，Christopher Liaw，Abbas Mehrabian，Yaniv Plan

我們證明了 (k d^2/ε^2) 樣本對(duì)于學(xué)習(xí) R^d 中 k 個(gè)高斯的混合，直至總變差距離中的誤差 ε 來說，是充分必要條件。這改善了已知的上界和下界這一問題。對(duì)于軸對(duì)準(zhǔn)高斯混合，我們證明了 O(k d/ε^2) 樣本匹配一個(gè)已知的下界是足夠的。上限是基于樣本壓縮概念的分布學(xué)習(xí)新技術(shù)。任何允許這種樣本壓縮方案的分布類都可以用很少的樣本來學(xué)習(xí)。此外，如果一類分布具有這樣的壓縮方案，那么這些產(chǎn)品和混合物的類也是如此。我們主要結(jié)果的核心是證明了 R^d 中的高斯類能有效的進(jìn)行樣本壓縮。  

Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

網(wǎng)絡(luò)中非光滑分布優(yōu)化的優(yōu)化算法

作者：Kevin Scaman, Francis Bach, Sébastien Bubeck, Yin Tat Lee, Laurent Massoulié 

在本文中，我們考慮使用計(jì)算單元網(wǎng)絡(luò)的非光滑凸函數(shù)的分布式優(yōu)化。我們?cè)趦蓚€(gè)正則性假設(shè)下研究這個(gè)問題：（1）全局目標(biāo)函數(shù)的 Lipschitz 連續(xù)性，（2）局部個(gè)體函數(shù)的 Lipschitz 連續(xù)性。在局部正則性假設(shè)下，本文給出了稱為多步原對(duì)偶（MSPD）的一階最優(yōu)分散算法及其相應(yīng)的最優(yōu)收斂速度。這個(gè)結(jié)果的一個(gè)顯著特點(diǎn)是，對(duì)于非光滑函數(shù)，當(dāng)誤差的主要項(xiàng)在 O(1/t) 中時(shí)，通信網(wǎng)絡(luò)的結(jié)構(gòu)僅影響 O(1/t) 中的二階項(xiàng)，其中 t 是時(shí)間。換言之，即使在非強(qiáng)凸目標(biāo)函數(shù)的情況下，由于通信資源的限制而導(dǎo)致的誤差也以快速率減小。在全局正則性假設(shè)下，基于目標(biāo)函數(shù)的局部平滑，給出了一種簡(jiǎn)單而有效的分布式隨機(jī)平滑（DRS）算法，并證明了 DRS 在最優(yōu)收斂速度的 d1/4 乘因子內(nèi)，其中 d 為底層。

Neural Ordinary Differential Equations

神經(jīng)常微分方程

作者：Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud 

我們引入了一種新的深度神經(jīng)網(wǎng)絡(luò)模型。我們使用神經(jīng)網(wǎng)絡(luò)參數(shù)化隱藏狀態(tài)的導(dǎo)數(shù)，來代替指定隱藏層的離散序列。網(wǎng)絡(luò)的輸出是使用黑箱微分方程求解器計(jì)算的。這些連續(xù)深度模型具有恒定的存儲(chǔ)器成本，使它們的評(píng)估策略適應(yīng)于每個(gè)輸入，并且可以顯式地以數(shù)值精度換取速度。我們?cè)谶B續(xù)深度殘差網(wǎng)絡(luò)和連續(xù)時(shí)間潛變量模型中證明了這些性質(zhì)。我們還構(gòu)造了連續(xù)歸一化流，這是一種生成模型，可以通過最大似然度進(jìn)行訓(xùn)練，而不需要對(duì)數(shù)據(jù)維度進(jìn)行劃分或排序。對(duì)于訓(xùn)練，我們將展示如何通過任何 ODE 求解器可擴(kuò)展地反向傳播，而無需訪問其內(nèi)部操作。這允許較大模型中的 ODES 進(jìn)行端到端的訓(xùn)練。

Non-delusional Q-learning and value-iteration

「Non-delusional」Q 學(xué)習(xí)和價(jià)值迭代

作者：Tyler Lu，Dale Schuurmans，Craig Boutilier

我們用函數(shù)逼近法確定了 Q-學(xué)習(xí)和其他形式的動(dòng)態(tài)規(guī)劃中誤差的根本來源。當(dāng)近似結(jié)構(gòu)限制了可表達(dá)的貪婪策略的類別時(shí)，就會(huì)產(chǎn)生偏差。由于標(biāo)準(zhǔn) Q-updates 對(duì)可表達(dá)的策略類做出了全局不協(xié)調(diào)的動(dòng)作選擇，因此可能導(dǎo)致不一致甚至沖突的 Q 值估計(jì)，從而導(dǎo)致病態(tài)行為，例如過度/低估、不穩(wěn)定甚至發(fā)散。為了解決這個(gè)問題，我們引入了策略一致性的新概念，并定義了一個(gè)本地備份流程，通過使用信息集，也就是記錄與備份 Q 值一致的策略約束集，來確保全局一致性。我們證明了使用這種備份的基于模型和無模型的算法都能消除妄想偏差，從而產(chǎn)生第一種已知算法，保證在一般條件下的最優(yōu)結(jié)果。此外，這些算法只需要多項(xiàng)式的一些信息集（的潛在指數(shù)支持）。最后，我們建議使用其他實(shí)用的啟發(fā)式價(jià)值迭代和 Q 學(xué)習(xí)方法去嘗試減少妄想偏差。  

時(shí)間檢驗(yàn)獎(jiǎng)

The Tradeoffs of Large Scale Learning

權(quán)衡大規(guī)模學(xué)習(xí)

作者：Léon Bottou，Olivier Bousquet

這篇文章建立了一個(gè)理論框架，在學(xué)習(xí)算法中考慮了近似優(yōu)化的影響。分析表明，對(duì)于小規(guī)模和大規(guī)模學(xué)習(xí)問題來說，近似最優(yōu)化算法的 tradeoff 是不相同的。小規(guī)模的學(xué)習(xí)問題服從于常規(guī)的近似估計(jì)。大規(guī)模學(xué)習(xí)系統(tǒng)還受限于底層優(yōu)化算法的非平凡方式的計(jì)算復(fù)雜性。

會(huì)議重頭戲就此結(jié)束，接下來，將是一系列有意思的 workshop 和對(duì)所有論文的展示，雷鋒網(wǎng) AI 科技評(píng)論也將為大家持續(xù)帶來相關(guān)報(bào)導(dǎo)。

特此感謝第四范式涂威威供圖。雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。