0
| 本文作者： MrBear | 2020-01-02 09:58 |
作為 2019 年最后一場重量級(jí)的人工智能國際學(xué)術(shù)頂會(huì)，NeurIPS 2019 所反映出的一些人工智能研究趨勢(shì)，例如神經(jīng)網(wǎng)絡(luò)可解釋性、深度學(xué)習(xí)新方法、神經(jīng)科學(xué)等等，想必對(duì)于大家在新的一年開展研究工作，具有一定的借鑒和參考價(jià)值。
NeurIPS 2019 共舉辦 51 場研討會(huì)，接收了 1,428 篇論文，以及有超過 13,000 名參會(huì)者，可謂萬眾矚目。
來自英偉達(dá)的工程師小姐姐 Chip Huyen 基于自己的參會(huì)體驗(yàn)，較為全面地總結(jié)了 NeurIPS 2019 反映的關(guān)鍵研究趨勢(shì)。
下面我們一一來看：
最近，研究人員對(duì)深度學(xué)習(xí)的局限性進(jìn)行了大量的反思，以下為幾個(gè)例子：
Facebook 的人工智能總監(jiān)表達(dá)了對(duì)算力達(dá)到瓶頸的擔(dān)憂。人工智能企業(yè)不應(yīng)該僅僅寄希望于通過更大的深度學(xué)習(xí)系統(tǒng)來不斷取得進(jìn)步。因?yàn)椤脯F(xiàn)在，一個(gè)實(shí)驗(yàn)可能要花費(fèi)七位數(shù)的金錢，但現(xiàn)實(shí)情況不會(huì)讓這一數(shù)字增長到九位數(shù)或十位數(shù)，因?yàn)闆]人負(fù)擔(dān)得起這樣的開銷」
Yoshua Bengio 認(rèn)為以 Gary Marcus 為代表的一些人經(jīng)常指出深度學(xué)習(xí)的局限性。Bengio 將 Gary Marcus 的觀點(diǎn)總結(jié)為「你們看，我就說深度學(xué)習(xí)不行吧」，而 Gary Marcus 則反駁了這種說法。
針對(duì)這一趨勢(shì)，Yann Lecun 談到：「我不明白，為什么突然之間，我們看到了許多新聞和推特聲稱人工智能的進(jìn)步正在放緩，或稱深度學(xué)習(xí)正在碰壁。在過去的五年中，我?guī)缀踉诿恳淮窝葜v上都會(huì)指出這兩個(gè)局限和挑戰(zhàn)。所以，認(rèn)識(shí)到這些局限性并不是什么新鮮事。而且，實(shí)際上人工智能的發(fā)展并沒有慢下來」。
在這種大環(huán)境下，我們很高興看到探究深度學(xué)習(xí)背后的理論（深度學(xué)習(xí)為何有效？它是如何工作的？）的論文的數(shù)量迎來了爆炸式增長。
在今年的 NeurIPS 上，有 31 篇融合了各種技術(shù)的論文。本屆大會(huì)的杰出新方向論文獎(jiǎng)授予了 Baishnavh 和 J.Zico Kolter 的論文「Uniform convergence may be unable to explain generalization in deep learning」
他們認(rèn)為一致收斂理論本身并不能解釋深度學(xué)習(xí)的泛化能力。隨著數(shù)據(jù)集的規(guī)模增大，泛化差異（Generalization Gap，模型在見過和未見過的數(shù)據(jù)上的性能差異）的理論界限也會(huì)增大，而經(jīng)驗(yàn)泛化差異則會(huì)減小。
圖 1：泛化差異和泛化邊界隨訓(xùn)練集規(guī)模變化的情況
神經(jīng)切線核（NTK，https://arxiv.org/abs/1806.07572）是近年來提出的一個(gè)研究方向，旨在理解神經(jīng)網(wǎng)絡(luò)的優(yōu)化和泛化。有關(guān) NTK 的討論多次出現(xiàn)在本屆 NeurIPS 的亮點(diǎn)演講中，我在 NeurIPS 期間也與其他人多次談到 NTK。
Arthur Jacot 等人提出了「全連接的神經(jīng)網(wǎng)絡(luò)等價(jià)于寬度無限時(shí)的高斯過程」這一眾所周知的概念，能夠在函數(shù)空間而不是參數(shù)空間中研究它們的訓(xùn)練動(dòng)力學(xué)（Training Dynamics）。他們證明了「在人工神經(jīng)網(wǎng)絡(luò)參數(shù)梯度下降的過程中，網(wǎng)絡(luò)函數(shù)（將輸入向量映射到輸出向量）遵循關(guān)于一種新的核——NTK的函數(shù)代價(jià)的核梯度」。
他們還表明，當(dāng)我們使用梯度下降法訓(xùn)練一個(gè)有限層版本的 NTK 時(shí)，其性能將收斂到寬度無限的 NTK 上，然后在訓(xùn)練中性能保持不變。
下面，我們列出本屆 NeurIPS 上一些基于 NTK 構(gòu)建的論文：
Learning and Generalization in Overparameterized Neural Networks, Going Beyond Two Layers，論文鏈接：https://arxiv.org/abs/1811.04918
On the Inductive Bias of Neural Tangent Kernels，論文鏈接：http://papers.nips.cc/paper/9449-on-the-inductive-bias-of-neural-tangent-kernels
然而，許多人認(rèn)為 NTK 不能完全解釋深度學(xué)習(xí)。一個(gè)神經(jīng)網(wǎng)絡(luò)要接近 NTK 狀態(tài)需要具備學(xué)習(xí)率小、初始化寬度大、無權(quán)值衰減等超參數(shù)設(shè)置，而在實(shí)際訓(xùn)練中并不經(jīng)常使用這樣的設(shè)置。
NTK 的觀點(diǎn)還認(rèn)為，神經(jīng)網(wǎng)絡(luò)只會(huì)像核方法一樣泛化，但根據(jù)我們的經(jīng)驗(yàn)來看，它們可以更好地泛化。
Colin Wei 等人的論文「Regularization Matters: Generalization and Optimization of Neural Nets v.s. their Induced Kernel」從理論上證明了帶有權(quán)值衰減的神經(jīng)網(wǎng)絡(luò)具有比 NTK 更好的泛化能力，這說明研究 L2 正則化神經(jīng)網(wǎng)絡(luò)可以為泛化問題提供更好的研究思路。此論文鏈接：
本屆 NeurIPS 上也有幾篇論文說明了，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)可以具有比 NTK 更好的性能：
What Can ResNet Learn Efficiently, Going Beyond Kernels？論文鏈接：http://papers.nips.cc/paper/9103-what-can-resnet-learn-efficiently-going-beyond-kernels
Limitations of Lazy Training of Two-layers Neural Network，論文鏈接：http://papers.nips.cc/paper/9111-limitations-of-lazy-training-of-two-layers-neural-network
許多論文分析了神經(jīng)網(wǎng)絡(luò)的不同組成部分的表現(xiàn)。比如，Chulhee Yun 等人提出了「Small ReLU networks are powerful memorizers: a tight analysis of memorization capacity」，說明了「帶有 O(sqrt(N)) 個(gè)隱藏節(jié)點(diǎn)的 3 層的 ReLU 網(wǎng)絡(luò)可以完美地記憶大多數(shù)帶有 N 個(gè)數(shù)據(jù)點(diǎn)的數(shù)據(jù)集」。論文鏈接：https://arxiv.org/abs/1810.07770
Shirin Jalali 等人在論文「Efficient Deep Learning of Gaussian Mixture Models」（論文鏈接：https://papers.nips.cc/paper/8704-efficient-deep-approximation-of-gmms）中，開篇就提出了這樣一個(gè)問題：通用近似定理（Universal approximation theorem，一譯萬能逼近定理）表明，任何正則函數(shù)都可以通過一個(gè)單隱層神經(jīng)網(wǎng)絡(luò)近似。
那么，增加深度能讓它更有效率嗎？他們說明了，在高斯混合模型的最優(yōu)貝葉斯分類的情況下，這些函數(shù)可以用帶有單個(gè)隱層的神經(jīng)網(wǎng)絡(luò)中的 o (exp (n)) 個(gè)節(jié)點(diǎn)以任意精度近似，而在兩層網(wǎng)絡(luò)中只需要用 o (n) 個(gè)節(jié)點(diǎn)近似。
在一篇更為實(shí)用的論文「Control Batch Size and Learning Rate to Generalize Well: Theoretical and Empirical Evidence」中，F(xiàn)engxiang He 和他的團(tuán)隊(duì)在 CIFAR 數(shù)據(jù)集上使用隨機(jī)梯度下降算法（SGD）訓(xùn)練了 1,600 個(gè) ResNet-110 模型和 VGG-19 模型，發(fā)現(xiàn)這些模型的泛化能力與批處理大小呈負(fù)相關(guān)，與學(xué)習(xí)率呈正相關(guān)，與「批處理大小/學(xué)習(xí)率」的比值呈負(fù)相關(guān)。
圖 2：測(cè)試準(zhǔn)確率于批處理大小、學(xué)習(xí)率的誒關(guān)系。第四行分別是（1）使用 CIFAR-10 數(shù)據(jù)集訓(xùn)練的 ResNet-110 模型（2）使用 CIFAR-100 數(shù)據(jù)集訓(xùn)練的 ResNet-110 模型（3）使用 CIFAR-10 數(shù)據(jù)集訓(xùn)練的 VGG-19 模型（4）使用 CIFAR-100 數(shù)據(jù)集訓(xùn)練的 VGG-19 模型。每條曲線都是根據(jù) 20 個(gè)網(wǎng)絡(luò)的情況綜合繪制而出。
與此同時(shí)，Yuanzhi Li 等人的論文「Towards Explaining the Regularization Effect of Initial Large Learning Rate in Training Neural Networks」指出：「一個(gè)具有較大的初始學(xué)習(xí)率并使用退火算法訓(xùn)練的雙層網(wǎng)絡(luò)，比使用較小的初始學(xué)習(xí)率訓(xùn)練的相同的網(wǎng)絡(luò)具有更好的泛化性能。這是因?yàn)閷W(xué)習(xí)率較小的模型首先會(huì)記憶低噪聲、難以擬合的模式，它在較高噪聲、易于擬合的情況下的泛化性能比學(xué)習(xí)率較大的情況下差一些?！?/p>
盡管這些理論分析非常吸引人，也很重要，但是很難講它們聚合成一個(gè)大的研究體系，因?yàn)檫@其中的一個(gè)研究都集中在整個(gè)系統(tǒng)的一個(gè)較為狹窄的方面。
在今年的 NeurIPS 上，研究者們提出了一系列新穎的方法，而不僅僅是在別人的工作上疊加上新的網(wǎng)絡(luò)層。我感興趣的三個(gè)方向是：貝葉斯學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)，以及凸優(yōu)化。
1、使用貝葉斯原理進(jìn)行深度學(xué)習(xí)
正如 Emtiyaz Khan 在他的演講「Deep Learning with Bayesian Principles」中所強(qiáng)調(diào)的，貝葉斯學(xué)習(xí)和深度學(xué)習(xí)是有很大的而區(qū)別。
根據(jù) Khan 的說法，深度學(xué)習(xí)使用的是一種「試錯(cuò)」的方法，我們通過實(shí)驗(yàn)看看會(huì)得到什么結(jié)果，然而貝葉斯原理迫使你事先考慮一個(gè)假設(shè)（先驗(yàn)）。
圖 3：貝葉斯學(xué)習(xí)與深度學(xué)習(xí)對(duì)比
與常規(guī)的深度學(xué)習(xí)相比，貝葉斯深度學(xué)習(xí)有兩個(gè)主要的優(yōu)勢(shì)：非確定性估計(jì)以及在小數(shù)據(jù)集上更好的泛化性能。
在現(xiàn)實(shí)世界的應(yīng)用中，讓系統(tǒng)能夠進(jìn)行預(yù)測(cè)是遠(yuǎn)遠(yuǎn)不夠的。弄明白每個(gè)預(yù)測(cè)的可靠性是很重要的。例如，對(duì)癌癥進(jìn)行預(yù)測(cè)時(shí)，可靠性為 50.1% 和可靠性為 99.9% 時(shí)的治療方案是不同的。在貝葉斯學(xué)習(xí)中，非確定性估計(jì)是一個(gè)內(nèi)在的特質(zhì)。
傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)給出的是單點(diǎn)估計(jì)——它們使用一組權(quán)值針對(duì)一個(gè)數(shù)據(jù)點(diǎn)輸出一個(gè)預(yù)測(cè)。另一方面，貝葉斯神經(jīng)網(wǎng)絡(luò)使用一個(gè)關(guān)于網(wǎng)絡(luò)權(quán)重的概率分布，并輸出該分布中所有權(quán)重組合的平均預(yù)測(cè)值，這與對(duì)許多神經(jīng)網(wǎng)絡(luò)求平均的效果相同。
因此，貝葉斯神經(jīng)網(wǎng)絡(luò)是一種自然的集成，它的作用類似于正則化，并且能夠防止過擬合。
訓(xùn)練具有數(shù)百萬參數(shù)的貝葉斯神經(jīng)網(wǎng)絡(luò)仍然需要非常大的計(jì)算開銷。要想使網(wǎng)絡(luò)收斂到一個(gè)后驗(yàn)上可能需要花費(fèi)數(shù)周的時(shí)間，因此諸如變分推斷這樣的近似方法越來越流行。本屆 NeurIPS 的「概率方法-變分推斷」環(huán)節(jié)共有 10 篇論文與這類變分貝葉斯方法有關(guān)。
下面是向大家推薦的本屆 NeurIPS 上有關(guān)貝葉斯深度學(xué)習(xí)的 3 篇論文：
Importance Weighted Hierarchical Variational Inference（https://arxiv.org/abs/1905.03290）
A Simple Baseline for Bayesian Uncertainty in Deep Learning（https://arxiv.org/abs/1902.02476）
Practical Deep Learning with Bayesian Principles（https://arxiv.org/abs/1906.02506）
2、圖神經(jīng)網(wǎng)絡(luò)（GNN）
多年來，我經(jīng)常談到：圖論是在機(jī)器學(xué)習(xí)領(lǐng)域最被低估的課題之一。我很高興有關(guān)圖的工作在本屆 NeurIPS 上大放異彩。
「圖表征學(xué)習(xí)」是本屆 NeurIPS 上最受歡迎的研討會(huì)。令人驚訝的是，該領(lǐng)域已經(jīng)取得了如此大的進(jìn)步。時(shí)間回到 2015 年，當(dāng)我在實(shí)習(xí)期間開始研究圖神經(jīng)網(wǎng)絡(luò)時(shí)，我沒有想到會(huì)有如此多的研究人員參與到這個(gè)領(lǐng)域中來。
圖是適用于許多種數(shù)據(jù)（例如，社交網(wǎng)絡(luò)、知識(shí)庫、游戲的狀態(tài)）的優(yōu)雅而自然的表征形式。用于推薦系統(tǒng)的「用戶-物品」數(shù)據(jù)可以被表示為一個(gè)二分圖，其中一個(gè)不相交的集合由用戶組成，另一個(gè)由物品組成。
圖也可以表征神經(jīng)網(wǎng)絡(luò)的輸出。正如 Yoshua Bengio 在他的演講中提醒人們的那樣：任何聯(lián)合分布都可以通過因子圖來表示。
這使得圖神經(jīng)網(wǎng)絡(luò)能夠完美地適應(yīng)組合優(yōu)化（例如，旅行商問題、任務(wù)調(diào)度問題）、身份匹配（在這種問題中 Twitter 用戶和 Facebook 的用戶是一樣的嗎？）、推薦系統(tǒng)等任務(wù)。
目前最流行的圖神經(jīng)網(wǎng)絡(luò)是圖卷積神經(jīng)網(wǎng)絡(luò)（GCNN），這是意料之中的，因?yàn)閳D和卷積都可以編碼局部的信息。卷積以尋找輸入中鄰近部分之間的關(guān)系為目標(biāo)編碼一種偏置。而圖通過邊對(duì)輸入中關(guān)系最密切的部分進(jìn)行編碼。
圖 4：（左圖）二分圖 St=（G，C，E，V）有 n=3 個(gè)變量和 m=2 個(gè)常量。（右圖）用于將策略πθ（a|st）參數(shù)化的二分圖 GCNN 架構(gòu)。
下面是向大家推薦的 GNN 論文：
Exact Combinatorial Optimization with Graph Convolutional Neural Networks，論文地址：https://arxiv.org/abs/1906.01629
是的， 今年有一篇論文融合了 NTK 和圖神經(jīng)網(wǎng)絡(luò)兩個(gè)最熱門的研究趨勢(shì)：Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels，論文地址：https://arxiv.org/abs/1905.13192
本屆NeurIPS 上我最喜歡的海報(bào)展示：(Nearly) Efficient Algorithms for the Graph Matching Problem on Correlated Random Graphs，論文地址：https://arxiv.org/abs/1805.02349
圖 5：(Nearly) Efficient Algorithms for the Graph Matching Problem on Correlated Random Graphs
（除 NeurIPS 論文之外的）推薦閱讀材料：
Thomas N. Kipf 關(guān)于圖卷積網(wǎng)絡(luò)的博文（https://tkipf.github.io/graph-convolutional-networks/）
Kung-Hsiang，Huang 的圖神經(jīng)網(wǎng)絡(luò)（Basics，DeepWalk，GraphSage）簡介（https://towardsdatascience.com/a-gentle-introduction-to-graph-neural-network-basics-deepwalk-and-graphsage-db5d540d50b3）
3、凸優(yōu)化
我一直默默推崇 Stephen Boyd 關(guān)于凸優(yōu)化的工作，所以很高興看到它在 NeurIPS 上越來越受歡迎。在今年的 NeurIPS 上，有 32 篇論文是關(guān)于這個(gè)主題的。
Stephen Boyd 和 j. Zico Kolter 的實(shí)驗(yàn)室也展示了他們的論文「Differentiable Convex Optimization Layers」，該論文說明了如何通過凸優(yōu)化問題的解來進(jìn)行微分，這使得將它們可以被嵌入可微分的程序（如神經(jīng)網(wǎng)絡(luò)）并根據(jù)數(shù)據(jù)進(jìn)行學(xué)習(xí)。
凸優(yōu)化問題之所以吸引人，是因?yàn)樗鼈兛梢员痪_地求解（可以實(shí)現(xiàn) 1e-10 的容錯(cuò)率），而且速度很快。它們也不會(huì)產(chǎn)生奇怪的或意料之外的輸出，而這對(duì)于現(xiàn)實(shí)世界中的應(yīng)用是至關(guān)重要的。盡管在真實(shí)場景中遇到的許多問題是非凸的，但是將它們分解為一系列凸問題可以達(dá)到很好的效果。
神經(jīng)網(wǎng)絡(luò)也使用凸優(yōu)化的算法進(jìn)行訓(xùn)練。然而，神經(jīng)網(wǎng)絡(luò)重點(diǎn)強(qiáng)調(diào)以一種端到端的方式從頭進(jìn)行學(xué)習(xí)，而凸優(yōu)化問題的應(yīng)用則顯式地使用領(lǐng)域特定的知識(shí)對(duì)系統(tǒng)建模。如果能夠以凸方法對(duì)系統(tǒng)進(jìn)行顯式建模，那么通常所需的數(shù)據(jù)就會(huì)少得多。關(guān)于可微凸優(yōu)化層的工作是將端到端學(xué)習(xí)和顯式建模的優(yōu)勢(shì)結(jié)合起來的一種方法。
當(dāng)你想要控制一個(gè)系統(tǒng)的輸出時(shí)，凸優(yōu)化特別有用。例如，SpaceX 公司使用凸優(yōu)化來發(fā)射火箭，BlackRock 公司將它用于交易算法?？吹酵箖?yōu)化在深度學(xué)習(xí)中的應(yīng)用真的很酷，就像現(xiàn)在的貝葉斯學(xué)習(xí)一樣。
下面是 Akshay Agrawal 推薦的一些有關(guān)凸優(yōu)化的 NeurIPS 論文：
Acceleration via Symplectic Discretization of High-Resolution Differential Equations，論文鏈接：https://papers.nips.cc/paper/8811-acceleration-via-symplectic-discretization-of-high-resolution-differential-equations
Hamiltonian descent for composite objectives，論文鏈接：http://papers.nips.cc/paper/9590-hamiltonian-descent-for-composite-objectives
圖 6：用于問題
的Hamiltonian 下降（HD）和梯度下降算法的對(duì)比情況
根據(jù) NeurIPS 2019 程序委員會(huì)主席 Hugo Larochelle 的分析，接收率最高的論文類別是神經(jīng)科學(xué)。在Yoshua Bengio的演講「From System 1 Deep Learning to System 2 Deep Learning」和 Blaise Aguera y Arcas的演講「Social Intelligence」中，他們都敦促機(jī)器學(xué)習(xí)研究社區(qū)更多地思考自然智能的生物學(xué)根源。
圖 7：神經(jīng)科學(xué)是論文接收率最高的類別
Bengio 的演講將「意識(shí)」引入了主流的機(jī)器學(xué)習(xí)詞匯體系中。Bengio 提出的「意識(shí)」概念的核心是注意力。他將機(jī)器注意力機(jī)制與我們的大腦選擇分配注意力的方式進(jìn)行了比較：「機(jī)器學(xué)習(xí)可以用來幫助腦科學(xué)家更好地理解意識(shí)，但我們對(duì)意識(shí)的理解也可以幫助機(jī)器學(xué)習(xí)發(fā)展出更好的能力」。
根據(jù) Bengio 的說法，如果我們希望機(jī)器學(xué)習(xí)算法能夠泛化到分布之外的樣本上，那么受意識(shí)啟發(fā)的方法可能是一種解決方案。
圖 8：將機(jī)器學(xué)習(xí)用于意識(shí)&將意識(shí)用于機(jī)器學(xué)習(xí)——（1）形式化定義并測(cè)試特定的意識(shí)的假設(shè)函數(shù)（2）揭開意識(shí)的神秘面紗（3）從計(jì)算和統(tǒng)計(jì)的角度（例如，系統(tǒng)的泛化）理解意識(shí)演化的優(yōu)勢(shì)（4）將這些優(yōu)勢(shì)應(yīng)用于學(xué)習(xí)智能體。
在本屆大會(huì)上，我最喜歡 Aguera y Arcas 的演講。他的演講在理論上非常嚴(yán)謹(jǐn)，但同時(shí)也是可行的。他認(rèn)為通過優(yōu)化方法不足以獲得類似于人類的智力：「優(yōu)化不是生命體工作的方式，大腦不僅僅是在評(píng)估一個(gè)函數(shù)。它們會(huì)發(fā)展。它們會(huì)自我修正。他們從經(jīng)驗(yàn)中學(xué)習(xí)。僅僅通過一個(gè)函數(shù)并不能包含這些東西」。
他呼吁人們研究「一種更通用的、受生物學(xué)啟發(fā)的突觸更新規(guī)則，它允許使用損失函數(shù)和梯度下降法，但并不要求一定要這么做」。
NeurIPS 上的這一趨勢(shì)與我觀察到的現(xiàn)象不謀而合：很多人工智能界的研究人員正轉(zhuǎn)而研究神經(jīng)科學(xué)。他們把神經(jīng)科學(xué)重新帶回了機(jī)器學(xué)習(xí)領(lǐng)域。
有些我所熟知的智者紛紛離開了人工智能研究領(lǐng)域，投身工業(yè)界或神經(jīng)科學(xué)領(lǐng)域。這是為什么呢？
1. 我們需要理解人類學(xué)習(xí)的機(jī)制，從而教導(dǎo)機(jī)器進(jìn)行學(xué)習(xí)。
2. 科學(xué)研究應(yīng)該是一個(gè)從假設(shè)到實(shí)驗(yàn)的過程，而如今的人工智能研究則往往是先做實(shí)驗(yàn)然后證明結(jié)果成立。
讓我們從更宏觀的角度看看本屆 NeurIPS 大會(huì)上的論文都與什么主題相關(guān)。首先，我使用 Vennclods 將 1,011 份 NeurIPS 2018 的論文和 1,428 份 NeurIPS 2019 的論文的標(biāo)題進(jìn)行了可視化。中間黑色的部分是在這兩年都十分常見的論文關(guān)鍵詞的列表。
圖 9：NeurIPS 關(guān)鍵詞云
接著，如下圖所示，我計(jì)算出了這些關(guān)鍵詞從 2018 年到 2019 年的百分比變化。例如，如果在2018年，所有被接收的論文中有 1% 包含關(guān)鍵詞「X」，而在2019年，這個(gè)數(shù)字是 2% ，那么這一比例的變化是（2-1） / 1=100% 。在下圖中，我將絕對(duì)比例變化在 20% 以上的關(guān)鍵詞繪制了出來。
圖 10：NeurIPS 關(guān)鍵詞百分比變化情況
要點(diǎn)：
即使是在機(jī)器人領(lǐng)域之外，強(qiáng)化學(xué)習(xí)也得到了進(jìn)一步發(fā)展。具有顯著正向變化的關(guān)鍵詞有：多臂老虎機(jī)、反饋、遺憾值、控制。
生成模型依然很流行。GAN 仍然吸引著我們的想象力，但是炒作變少了。
循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)依然延續(xù)了去年的下降趨勢(shì)。
與硬件相關(guān)的關(guān)鍵詞也在增加，這表明有更多考慮到硬件的算法誕生。這是解決「硬件成為機(jī)器學(xué)習(xí)瓶頸」這一問題的方法。
令人遺憾的是，「數(shù)據(jù)」這一關(guān)鍵詞的百分比處于下降趨勢(shì)。我激動(dòng)萬分地前去參觀「Algorithms–Missing Data」海報(bào)展，但卻發(fā)現(xiàn)竟然只有一張海報(bào)「Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption」張貼了出來！
「元」這一關(guān)鍵詞在今年增長的最多。詳情請(qǐng)參閱 Jesse Mu 的「Meta-meme」（https://twitter.com/jayelmnop/status/1206637800537362432）
盡管「貝葉斯」一詞的比例下降了，但「非確定性」卻上升了。去年，有許多論文使用了貝葉斯原理，但并不是將其運(yùn)用在深度學(xué)習(xí)中。
提交給正會(huì)的 7 千多篇論文中，有 1428 篇被接收，接收率為 21%。
據(jù)我估計(jì)，1萬3千多名參會(huì)者中，至少有一半人并沒有在會(huì)議期間展示論文。
57 個(gè)研討會(huì)，其中 4 個(gè)專注于包容性：Black in AI，Women in Machine Learning，LatinX in AI,，Queer in AI，New In Machine Learning，Machine Learning Competitions for All。
1萬6千多頁會(huì)議記錄
在所有被接收的論文中，有 12% 至少包含一名來自谷歌或 DeepMind 的作者。
有 87 篇論文來自斯坦福，它是本屆 NeurIPS 被接收論文最多的學(xué)術(shù)機(jī)構(gòu)。
有 250 篇關(guān)于應(yīng)用的論文，占總論文數(shù)的 16.7%。
648 是本屆大會(huì)時(shí)間檢驗(yàn)論文獎(jiǎng)獲得者 Lin Xiao 的「Dual Averaging Method for Regularized Stochastic Learning and Online Optimization」的引用次數(shù)。這證明了引用量與貢獻(xiàn)不一定相關(guān)。
75% 的論文在「camera-ready」版中給出了代碼鏈接，去年這一數(shù)字只有 50%。
2,255 份審稿意見提到了查看提交的代碼。
173 篇論文聲稱進(jìn)行了 OpenReview 上的可復(fù)現(xiàn)性挑戰(zhàn)。
31 張海報(bào)出現(xiàn)在了本屆 NeurIPS 的「創(chuàng)意和設(shè)計(jì)中的機(jī)器學(xué)習(xí)」研討會(huì)上。一些人告訴我這是他們?cè)诒緦么髸?huì)上最喜歡的環(huán)節(jié)。
為「Good Kid」樂隊(duì)在閉幕宴會(huì)上的演出打 call！如果你還沒有欣賞過他們的音樂作品，可以去 Spotify 上聽一聽。
有時(shí)，他們是機(jī)器學(xué)習(xí)研究者；有時(shí)，他們又是搖滾明星。今夜，他們二者都是！
「Retrospectives: A Venue for Self-Reflection in ML Research」研討會(huì)進(jìn)行了 11 場演講，這也是大家最喜歡的環(huán)節(jié)之一。
除此之外，本屆 NeurIPS 的火爆氛圍也相當(dāng)引人關(guān)注，大家可回顧《學(xué)術(shù)會(huì)議，1.3 萬人參加，我們?cè)搼c賀還是反思？》一文。
無論從知識(shí)的角度還是從社交的角度來說，NeurIPS 都勢(shì)不可擋。我不認(rèn)為任何人能夠閱讀16,000頁的會(huì)議記錄。海報(bào)展人滿為患，這使得我們很難與作者交談。毫無疑問，我錯(cuò)過了很多。
然而，會(huì)議的大規(guī)模召開也意味著匯聚了許多的研究方向和相關(guān)的研究人員。讓我能夠了解自己研究的分支領(lǐng)域之外的工作，能夠向那些研究背景和興趣與我不同的研究人員學(xué)習(xí)，這種感覺很好。
看到研究社區(qū)從「更大就更好」的誤區(qū)中走出來是一件很棒的事。我逛海報(bào)展收獲的印象是：許多論文只是在小數(shù)據(jù)集上做實(shí)驗(yàn)，比如 MNIST 和 CIFAR。最佳論文獎(jiǎng)獲得者 Ilias Diakonikolas 等人的「Distribution-Independent PAC Learning of Halfspaces with Massart Noise」就沒有任何實(shí)驗(yàn)。
我經(jīng)常聽到年輕的研究人員擔(dān)心：只有加入大型研究實(shí)驗(yàn)室，才能獲得計(jì)算資源。但 NeurIPS 證明了：你可以在無需擔(dān)心數(shù)據(jù)和計(jì)算問題的情況下做出重要的貢獻(xiàn)。
在我參加的 NewInML 圓桌討論上，有人說他不知道 NeurIPS 上的大多數(shù)論文如何被應(yīng)用到生產(chǎn)環(huán)節(jié)中去。Neil Lawence 指出，也許他應(yīng)該考慮參加其它會(huì)議。
NeurIPS 比許多其它的機(jī)器學(xué)習(xí)會(huì)議更加理論化——從事基礎(chǔ)研究是很重要的。
總的來說，我在 NeurIPS 上度過了一段美好的時(shí)光，并計(jì)劃明年急需參會(huì)。然而，對(duì)于那些新加入機(jī)器學(xué)習(xí)研究社區(qū)的人來說，我建議他們將 ICLR 作為參加的第一個(gè)學(xué)術(shù)會(huì)議。ICLR 的規(guī)模更小、時(shí)間更短、也更加面向?qū)嶋H應(yīng)用。明年，ICLR 將在埃塞俄比亞召開，那是一個(gè)神奇的國度！
Via https://huyenchip.com/2019/12/18/key-trends-neurips-2019.html 雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
