雷鋒網(wǎng) AI 科技評(píng)論按：本篇屬于「頂會(huì)見聞系列」。作為一個(gè)研究人員們欣賞彼此論文、討論學(xué)術(shù)話題的嚴(yán)肅學(xué)術(shù)頂級(jí)會(huì)議，NIPS 今年頗為熱鬧，前有「11 分鐘售罄門票」事件，讓大家見識(shí)到了人工智能和機(jī)器學(xué)習(xí)的火爆程度堪比 Taylor Swift 演唱會(huì)，后又改名 NeurIPS 引起紛紛熱議，并給大家?guī)砹艘坏馈?NeurIPS 該怎么發(fā)音」的難題。對(duì)于 NIPS 改名后的首場(chǎng)盛會(huì) NeurIPS 2018，想必大家的期待都要遠(yuǎn)遠(yuǎn)超乎往年了。如果大家很遺憾地沒有奔赴現(xiàn)場(chǎng)一探究竟的話，那就來看看其他參會(huì)者的見聞總結(jié)和分享吧，說不定會(huì)有新的收獲呢？

作者 Félix 是 AI 與大數(shù)據(jù)解決方案公司 sicara.com 技術(shù)博客作者之一，這篇文章中，他首先也對(duì) NeurIPS 2018 的火爆程度發(fā)表了自己的一些感慨，之后則給大家?guī)砹艘环菡撐木x，特別挑選出了一些能夠全面概述人工智能的不同領(lǐng)域的高質(zhì)量論文，領(lǐng)域覆蓋神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、視頻預(yù)測(cè)等各個(gè)細(xì)分領(lǐng)域，希望能讓大家稍微感受到一些 NeurIPS 的現(xiàn)場(chǎng)氛圍。雷鋒網(wǎng) AI 科技評(píng)論全文編譯如下。

對(duì)于今年沒能參加 NeurIPS（前稱 NIPS）感到可惜？所以我就寫了這篇 2018 年版的論文選讀，現(xiàn)在分享給你。

NeurIPS（神經(jīng)信息處理系統(tǒng)大會(huì)，前稱 NIPS）現(xiàn)在的熱度蓋過了 Beyoncé 演唱會(huì)，今年，這場(chǎng)最盛大的人工智能會(huì)議，門票 11 分鐘就宣告售罄。此外，今年會(huì)議接受的論文數(shù)量也創(chuàng)下記錄（超過一千篇）。

在下面的論文選讀中，你會(huì)發(fā)現(xiàn)我希望給你傳遞一點(diǎn) NeurIPS 的氛圍。我的目標(biāo)是找到那些能夠全面概述人工智能的不同領(lǐng)域的高質(zhì)量論文，當(dāng)然，這份選讀無法做到詳盡并且有些主觀。

《SING：從音符到樂器的神經(jīng)生成器》

• 《SING: Symbol-to-Instrument Neural Generator》，Alexandre Défossez (FAIR, PSL, SIERRA), Neil Zeghidour (PSL, FAIR, LSCP), Nicolas Usunier (FAIR), Léon Bottou (FAIR), Francis Bach (DI-ENS, PSL, SIERRA) 

• 論文下載地址：https://arxiv.org/abs/1810.09785

這篇論文提出了一種新的神經(jīng)音頻合成器：從音符到樂器的神經(jīng)生成器（SING）。這個(gè)模型可以從幾百個(gè)具有不同音高和因素的樂器中產(chǎn)生音樂。

SING 可以直接產(chǎn)生取樣為 16000 Hz 的 4 秒波形，并且具備輕量級(jí)架構(gòu)。其網(wǎng)絡(luò)的第一部分是 LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)），它采用所使用的樂器、音高和音速三者的獨(dú)熱碼級(jí)聯(lián)作為輸入，并在 265 個(gè)時(shí)間步長(zhǎng)期間被使用。一個(gè)卷積網(wǎng)絡(luò)會(huì)對(duì)級(jí)聯(lián)的輸出進(jìn)行解碼并生成音頻波形。

這個(gè)網(wǎng)絡(luò)使用了一種特殊的損失：波形和目標(biāo)波形的對(duì)數(shù)頻譜圖（通過短時(shí)傅里葉變換獲得）之間的 1-范數(shù)。

SING 得出了非常好的結(jié)果（在這里 https://research.fb.com/wp-content/themes/fb-research/research/sing-paper/ 收聽音頻樣本），目前為止，比參考網(wǎng)絡(luò) Wavenet 表現(xiàn)更好。這個(gè)網(wǎng)絡(luò)僅專用于樂器，不過它最顯著的成果體現(xiàn)在處理時(shí)間上，它的速度比 Wavenet 快 2500 倍。

《基于幾何變換的深度異常檢測(cè)》

• 《Deep Anomaly Detection Using Geometric Transformations》，Izhak Golan, Ran El-Yaniv

• 論文下載地址：https://arxiv.org/abs/1805.10917

這篇來自以色列理工學(xué)院的論文，旨在將深度學(xué)習(xí)模型充分利用于異常檢測(cè)領(lǐng)域。

目前最新的技術(shù)是自動(dòng)編碼器（它檢測(cè)嵌入或重構(gòu)數(shù)據(jù)中的異常），該論文提議對(duì)數(shù)據(jù)進(jìn)行一組幾何變換，然后將判別模型應(yīng)用到變換后的實(shí)例上（分?jǐn)?shù)低的圖像將被視為異常）。對(duì)分類器進(jìn)行訓(xùn)練來區(qū)分變換后的圖像，從而使其學(xué)習(xí)顯著的幾何特征，其中的一些特征可能區(qū)分異常數(shù)據(jù)。就性能而言，這種方法對(duì)度量帶來的改進(jìn)是空前的：與當(dāng)前在 CatsVsDogs 上表現(xiàn)最好的算法相比，表現(xiàn)最好的基線 的 AUC 提高了 67%。

《GLoMo：非監(jiān)督學(xué)習(xí)關(guān)系圖表作為可轉(zhuǎn)移的表示》

• 《GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations》，Zhilin Yang, Jake Zhao, Bhuwan Dhingra, Kaiming He, William W. Cohen, Ruslan Salakhutdinov, Yann LeCun

• 論文下載地址：https://arxiv.org/abs/1806.05662

本文提出了一種遷移學(xué)習(xí)的新方法。這種方法并沒有遷移嵌入之類的一元特征，而為傳輸隱含關(guān)系圖帶來了可能性，這些圖包含隨基本嵌入消失的數(shù)據(jù)單元（像素、詞…）之間的關(guān)聯(lián)信息。

例如，對(duì)于一個(gè)問答問題，使用圖生成器訓(xùn)練答案預(yù)測(cè)器，從問題輸入預(yù)測(cè)答案。這個(gè)網(wǎng)絡(luò)試圖生成一個(gè)被注入到答案預(yù)測(cè)器的隱藏層中的好關(guān)聯(lián)矩陣（這個(gè)矩陣包含關(guān)聯(lián)信息但不包含輸入的值）。答案預(yù)測(cè)器和圖生成器同時(shí)進(jìn)行訓(xùn)練。

一旦經(jīng)過訓(xùn)練，該圖形生成器就可以與執(zhí)行不同任務(wù)（例如情緒分析）的模型一起使用，從而提高它們的性能。這種新方法提高了問答、情感分析、圖像分類等問題的性能。

《監(jiān)督無監(jiān)督的學(xué)習(xí)》

• 《Supervising Unsupervised Learning》，Vikas K. Garg, Adam Kalai

• 論文下載地址：https://arxiv.org/abs/1709.05262

無監(jiān)督學(xué)習(xí)的一個(gè)主要問題是沒有直接評(píng)估算法性能的方法。這使得選擇某一種算法來調(diào)整超參數(shù)或評(píng)估性能，成為一件非常難的事。

這篇論文嘗試使用元無監(jiān)督學(xué)習(xí)（MUL）來解決這個(gè)問題，元無監(jiān)督學(xué)習(xí)是一個(gè)經(jīng)訓(xùn)練后可以基于數(shù)據(jù)集的特性決定使用哪個(gè)無監(jiān)督模型的分類器。為此，就需要一組標(biāo)記好的數(shù)據(jù)集。

例如，假設(shè)給定了一個(gè)問題，而我們沒有任何有標(biāo)記的數(shù)據(jù)，然后要在幾種無監(jiān)督的分類算法中挑選出一個(gè)，之后我們就找來許多有標(biāo)簽的數(shù)據(jù)集，把每一個(gè)算法都在它們上面運(yùn)行，再算出分類成績(jī)。然后，我們組合使用數(shù)據(jù)集特征（維度，特征值等）和分類器輸出上的無監(jiān)督度量（在集群內(nèi)擴(kuò)展等），訓(xùn)練出一個(gè)模型來預(yù)測(cè)最佳算法。該模型可用于為要解決的目標(biāo)數(shù)據(jù)集選擇算法。

這種方法似乎優(yōu)于完全無監(jiān)督的方法，即便在標(biāo)記數(shù)據(jù)集與我們正在研究的數(shù)據(jù)集沒有緊密關(guān)聯(lián)的情況下，結(jié)果也是這樣。

《Banach Wasserstein 生成式對(duì)抗網(wǎng)絡(luò)》

• 《Banach Wasserstein GAN》，Jonas Adler, Sebastian Lunz

• 論文下載地址：https://arxiv.org/abs/1806.06621

這篇論文介紹了 Banach Wasserstein 生成式對(duì)抗網(wǎng)絡(luò)（BWGANs），它是對(duì)本身就改進(jìn)自 GANs 的 Wasserstein GANs（WGANs）的擴(kuò)展（這里 https://medium.com/m/global-identity?redirectUrl=https%3A%2F%2Fmedium.freecodecamp.org%2Fan-intuitive-introduction-to-generative-adversarial-networks-gans-7a2264a81394 有對(duì) GAN 不錯(cuò)的介紹）。

對(duì)于基本的 GAN，假設(shè)判別器經(jīng)過了完美的訓(xùn)練，生成的網(wǎng)絡(luò)實(shí)際上最小化了生成圖像分布和真實(shí)分布間的 Jenson-Shannon 距離（JSD，Kullback–Leibler 散度的對(duì)稱形式）。但是 JSD 距離不適用于測(cè)量圖像分布間的距離。

WGANs 則對(duì)損失進(jìn)行了修改，從而最小化 Wasserstein 距離而不是 JSD 距離。為此，通過給損失函數(shù)添加一個(gè)梯度上的 L2 懲罰項(xiàng)，給網(wǎng)絡(luò)增加了一個(gè)溫和的 Lipschitz 約束。Wasserstein 距離的一個(gè)主要優(yōu)點(diǎn)是，它可以應(yīng)用于圖像空間上的任意范數(shù)。

然而，由于損失上的懲罰項(xiàng)，WGAN 要求必須使用 L2 范數(shù)，因此失去了使用更適用于圖像的范數(shù)的能力，例如，Sobolev 范數(shù)，它不僅強(qiáng)調(diào)像素，而且強(qiáng)調(diào)邊緣。

本論文提出對(duì)懲罰項(xiàng)進(jìn)行泛化，從而使得范數(shù)的選擇不再僅限于 L2 范數(shù)。

作者們使用 W=[-1/2，2] 的 Sobolev 范數(shù)，它在 CIFAR-10 數(shù)據(jù)集上的表現(xiàn)超越了當(dāng)前最好的結(jié)果。

這是一篇非常數(shù)學(xué)化的文章：它不僅包含詳盡的證明（不僅僅是證明的概述），還回顧了諸如 Banach 空間和 Sobleev 空間此類的基本概念。

《學(xué)習(xí)分解和解耦視頻預(yù)測(cè)中的表示》

• 《Learning to Decompose and Disentangle Representations for Video Prediction》，Jun-Ting Hsieh, Bingbin Liu, De-An Huang, Li Fei-Fei, Juan Carlos Niebles

• 論文下載地址：https://arxiv.org/abs/1806.04166

視頻預(yù)測(cè)是從先前的 T 幀預(yù)測(cè)圖像接下來的 k 幀的任務(wù)。要解決視頻預(yù)測(cè)問題，似乎就意味著能夠理解世界是如何運(yùn)作的。

更具體地說，理解一個(gè)物體的物理特性，比如繩子如何與金屬棒表現(xiàn)不同，在我們的日常生活中是很自然的一件事，但是它卻使視頻預(yù)測(cè)成為一項(xiàng)復(fù)雜的任務(wù)。

視頻具有高維度，并且是不規(guī)則的。這篇論文介紹了分解解耦的預(yù)測(cè)自動(dòng)編碼器（DDPAE），它能找到對(duì)視頻中的目標(biāo)進(jìn)行描述的最輕便的方法。它假設(shè)每個(gè)視頻都由多個(gè)目標(biāo)組成，其中的每一個(gè)都可以使用內(nèi)容向量（目標(biāo)本身的常量描述符）和姿態(tài)向量（被檢測(cè)到和預(yù)測(cè)的位置）來描述。

這個(gè)解決方案學(xué)習(xí)這樣的描述并解析它的所有元素，同時(shí)還對(duì) VAE、RNN 和 seq2seq 進(jìn)行了結(jié)合。它的結(jié)果看起來非常有前景，因?yàn)樗麄兂搅诉\(yùn)動(dòng) MNIST 數(shù)據(jù)集的基準(zhǔn)。

《用原型樣式分析法進(jìn)行藝術(shù)樣式的非監(jiān)督學(xué)習(xí)》

• 《Unsupervised Learning of Artistic Styles with Archetypal Style Analysis》，Daan Wynen, Cordelia Schmid, Julien Mairal

• 論文下載地址：https://hal.inria.fr/hal-01802131/file/archetypal_style.pdf

本論文為無監(jiān)督學(xué)習(xí)和深度學(xué)習(xí)可解釋性帶來了一個(gè)新階段。特別是，它用根樣式解釋和操作解決了樣式學(xué)習(xí)的問題（如果你對(duì)這個(gè)問題不熟悉，這里 https://medium.com/m/global-identity?redirectUrl=https%3A%2F%2Ftowardsdatascience.com%2Fartistic-style-transfer-b7566a216431 有對(duì)樣式學(xué)習(xí)不錯(cuò)的介紹）。

其主要想法是將輸入的圖像投影到低維原型空間，在這個(gè)空間里每個(gè)基本原型都是可解釋的。這樣的話就可以：以無監(jiān)督的方式將一些特征附加到圖像中（例如，添加關(guān)于來自原型解釋的紋理、樣式、年齡等標(biāo)簽），同時(shí)操作每個(gè)樣式上的系數(shù)來影響樣式，并將樣式轉(zhuǎn)移到原始圖像。

此外，采用雙邊方式的單形優(yōu)化來將編碼圖像投影到原型上：將圖像到其投影的距離最小化，同時(shí)強(qiáng)制讓原型成為圖像的線性組合。因而，這個(gè)原型易于解釋。

最終，用基本樣式元素描述任意圖像，然后再學(xué)習(xí)一種樣式詞典成為可能。這種樣式轉(zhuǎn)移最后可以由原型空間中的系數(shù)進(jìn)行精確地管理。

via：《NeurIPS (prev. NIPS) Papers Selection：My favorite research articles from NeurIPS (previously NIPS) 2018》， Félix（https://blog.sicara.com/nips-neurips-papers-selection-28efd4d73189）雷鋒網(wǎng) AI 科技評(píng)論編譯。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。