雷鋒網(wǎng)AI 科技評論消息：NeurIPS 2018 于 12 月 3 日—12 月 8 日在加拿大蒙特利爾會展中心（Palais des Congrès de Montréal）舉辦，今年共計有 9 場 Tutorial 、7 場主題 Talk 和 41 場 Workshop，相較去年來說，不管是主題活動，還是投稿論文，亦或是參會人數(shù)，都上了一層新的臺階。

在大會第一天的下午的開幕式環(huán)節(jié)，最佳論文獎、時間檢驗獎等諸多獎項一并揭曉，大會主席也向在場觀眾透露了今年論文的熱點分布，會議新的亮點以及一系列數(shù)據(jù)。

隨著會議的影響和規(guī)模越來越大，今年創(chuàng)造性地開設(shè)了展覽日，吸引了將近 32 家公司，設(shè)立了 15 場演講和圓桌，17 篇 demo 展示和 10 場 workshop。

今年共有 9 場 tutorial，其中有 5 場由組委會邀請。組委會共接收 36 個 tutorial 舉辦申請，最后通過 4 場。workshop 申請上，共收到 118 份報名，最終通過 39 份。競賽申請上，共收到 21 份申請，最終通過 8 個。

組委會今年特別提及了到四場 workshop，分別是 WiML，Black in AI，LatinX in AI，Queer in AI，宣揚反對歧視和偏見。

組委會表示，我們需要意識到人是復(fù)雜的動物，要能看到其他人的觀點，切身體會到被當做局外人的感受，要多聽、多做研究、多學(xué)習，不斷努力，表明自己的觀點和態(tài)度。

為了將會議辦好，組委會在今年也做出了很多努力，如設(shè)立 advisory board, inclusion survey ，邀請 D&I 講者，在 Twitter 上提供小貼士等。

會議上，也特別提到簽證問題，此次有超過一半的參會黑人簽證被拒。他們表示，接下來將會早一點發(fā)出邀請函，未來在會議主辦地的選擇上也會注意。

今年組委會共審閱 4854 篇論文，接收論文 1010 篇，接收率與去年一致，均為 21%?？梢钥吹剑瑥?2015 年開始，NeurIPS 的投稿論文迎來爆發(fā)式增長。

組委會今年統(tǒng)計出十大熱點領(lǐng)域，分別是：

• Algorithms

• Deep Learning

• Applications

• RL&Planning

• Prob. Methods

• Theory

• Optimization

• Neuro.&Cog.Sci.

• Data, etc

• Other

在論文分布上，共接收 30 篇 oral 論文，168 篇 spotlight 論文，812 篇 poster 論文。其中，有 44% 的接收論文提供了代碼或數(shù)據(jù)，有 56% 的論文已經(jīng)在網(wǎng)上公布。

今年共有四篇最佳論文獎，一篇時間檢驗獎。

最佳論文獎

Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes

利用樣本壓縮方案學(xué)習高斯混合的近似緊樣本復(fù)雜度界

作者：Hassan Ashtiani，Shai Ben-David，Nicholas Harvey，Christopher Liaw，Abbas Mehrabian，Yaniv Plan

我們證明了 (k d^2/ε^2) 樣本對于學(xué)習 R^d 中 k 個高斯的混合，直至總變差距離中的誤差 ε 來說，是充分必要條件。這改善了已知的上界和下界這一問題。對于軸對準高斯混合，我們證明了 O(k d/ε^2) 樣本匹配一個已知的下界是足夠的。上限是基于樣本壓縮概念的分布學(xué)習新技術(shù)。任何允許這種樣本壓縮方案的分布類都可以用很少的樣本來學(xué)習。此外，如果一類分布具有這樣的壓縮方案，那么這些產(chǎn)品和混合物的類也是如此。我們主要結(jié)果的核心是證明了 R^d 中的高斯類能有效的進行樣本壓縮。  

Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

網(wǎng)絡(luò)中非光滑分布優(yōu)化的優(yōu)化算法

作者：Kevin Scaman, Francis Bach, Sébastien Bubeck, Yin Tat Lee, Laurent Massoulié 

在本文中，我們考慮使用計算單元網(wǎng)絡(luò)的非光滑凸函數(shù)的分布式優(yōu)化。我們在兩個正則性假設(shè)下研究這個問題：（1）全局目標函數(shù)的 Lipschitz 連續(xù)性，（2）局部個體函數(shù)的 Lipschitz 連續(xù)性。在局部正則性假設(shè)下，本文給出了稱為多步原對偶（MSPD）的一階最優(yōu)分散算法及其相應(yīng)的最優(yōu)收斂速度。這個結(jié)果的一個顯著特點是，對于非光滑函數(shù)，當誤差的主要項在 O(1/t) 中時，通信網(wǎng)絡(luò)的結(jié)構(gòu)僅影響 O(1/t) 中的二階項，其中 t 是時間。換言之，即使在非強凸目標函數(shù)的情況下，由于通信資源的限制而導(dǎo)致的誤差也以快速率減小。在全局正則性假設(shè)下，基于目標函數(shù)的局部平滑，給出了一種簡單而有效的分布式隨機平滑（DRS）算法，并證明了 DRS 在最優(yōu)收斂速度的 d1/4 乘因子內(nèi)，其中 d 為底層。

Neural Ordinary Differential Equations

神經(jīng)常微分方程

作者：Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud 

我們引入了一種新的深度神經(jīng)網(wǎng)絡(luò)模型。我們使用神經(jīng)網(wǎng)絡(luò)參數(shù)化隱藏狀態(tài)的導(dǎo)數(shù)，來代替指定隱藏層的離散序列。網(wǎng)絡(luò)的輸出是使用黑箱微分方程求解器計算的。這些連續(xù)深度模型具有恒定的存儲器成本，使它們的評估策略適應(yīng)于每個輸入，并且可以顯式地以數(shù)值精度換取速度。我們在連續(xù)深度殘差網(wǎng)絡(luò)和連續(xù)時間潛變量模型中證明了這些性質(zhì)。我們還構(gòu)造了連續(xù)歸一化流，這是一種生成模型，可以通過最大似然度進行訓(xùn)練，而不需要對數(shù)據(jù)維度進行劃分或排序。對于訓(xùn)練，我們將展示如何通過任何 ODE 求解器可擴展地反向傳播，而無需訪問其內(nèi)部操作。這允許較大模型中的 ODES 進行端到端的訓(xùn)練。

Non-delusional Q-learning and value-iteration

「Non-delusional」Q 學(xué)習和價值迭代

作者：Tyler Lu，Dale Schuurmans，Craig Boutilier

我們用函數(shù)逼近法確定了 Q-學(xué)習和其他形式的動態(tài)規(guī)劃中誤差的根本來源。當近似結(jié)構(gòu)限制了可表達的貪婪策略的類別時，就會產(chǎn)生偏差。由于標準 Q-updates 對可表達的策略類做出了全局不協(xié)調(diào)的動作選擇，因此可能導(dǎo)致不一致甚至沖突的 Q 值估計，從而導(dǎo)致病態(tài)行為，例如過度/低估、不穩(wěn)定甚至發(fā)散。為了解決這個問題，我們引入了策略一致性的新概念，并定義了一個本地備份流程，通過使用信息集，也就是記錄與備份 Q 值一致的策略約束集，來確保全局一致性。我們證明了使用這種備份的基于模型和無模型的算法都能消除妄想偏差，從而產(chǎn)生第一種已知算法，保證在一般條件下的最優(yōu)結(jié)果。此外，這些算法只需要多項式的一些信息集（的潛在指數(shù)支持）。最后，我們建議使用其他實用的啟發(fā)式價值迭代和 Q 學(xué)習方法去嘗試減少妄想偏差。  

時間檢驗獎

The Tradeoffs of Large Scale Learning

權(quán)衡大規(guī)模學(xué)習

作者：Léon Bottou，Olivier Bousquet

這篇文章建立了一個理論框架，在學(xué)習算法中考慮了近似優(yōu)化的影響。分析表明，對于小規(guī)模和大規(guī)模學(xué)習問題來說，近似最優(yōu)化算法的 tradeoff 是不相同的。小規(guī)模的學(xué)習問題服從于常規(guī)的近似估計。大規(guī)模學(xué)習系統(tǒng)還受限于底層優(yōu)化算法的非平凡方式的計算復(fù)雜性。

會議重頭戲就此結(jié)束，接下來，將是一系列有意思的 workshop 和對所有論文的展示，雷鋒網(wǎng) AI 科技評論也將為大家持續(xù)帶來相關(guān)報導(dǎo)。

特此感謝第四范式涂威威供圖。雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。