頂會(huì)見聞系列：ICML 2018（下），能量、GAN、監(jiān)督學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)

本文作者：高云河

編輯：楊曉凡

2018-08-16 15:24

專題：ICML 2018

導(dǎo)語：機(jī)器學(xué)習(xí)+金融的研究人員眼中的 ICML

雷鋒網(wǎng) AI 科技評(píng)論按：本篇屬于「頂會(huì)見聞系列」。每年這么多精彩的人工智能/機(jī)器學(xué)習(xí)會(huì)議，沒去現(xiàn)場的自然可惜，在現(xiàn)場的也容易看花眼。那么事后看看別的研究員的見聞總結(jié)，也許會(huì)有新的收獲呢。

曾在中科院自動(dòng)化研究所模式識(shí)別國家重點(diǎn)實(shí)驗(yàn)室實(shí)習(xí)的 Gautier Marti 現(xiàn)在是 NLP 量化分析研究員。機(jī)器學(xué)習(xí)+金融的研究人員對理論性較強(qiáng)的 ICML 有何感悟呢？雷鋒網(wǎng) AI 科技評(píng)論把他的個(gè)人博客文章全文編譯如下。本篇為下篇，共兩篇。上篇見這里。

頂會(huì)見聞系列：ICML 2018（下），能量、GAN、監(jiān)督學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)

ICML 正會(huì)第二天 - 能量，GANs，排序，課程學(xué)習(xí)，以及我們的論文

ICML 2018 的正會(huì)第二天由阿姆斯特丹大學(xué)機(jī)器學(xué)習(xí)研究主席 Max Welling 的以「每千瓦能量的智能」為標(biāo)題的會(huì)議報(bào)告開頭。他討論了物理和 AI 之間的聯(lián)系（比如能源，熵，信息，比特，最小可描述長度原理等），包括模型方面和能源成本方面。當(dāng)前的模型（如深度神經(jīng)網(wǎng)絡(luò)）需要大量的能量。從物理能量（建模）思想出發(fā)推導(dǎo)出深度學(xué)習(xí)的一個(gè)貝葉斯形式，能帶來（現(xiàn)實(shí)中）更能源高效的模型。最終這些事情都能一一連接起來。這里有一個(gè)他關(guān)于該主題的另一個(gè)報(bào)告，與 ICML 的這個(gè)報(bào)告相比有較大不同。

我參加了會(huì)議的以下 session，其中一些論文讓我印象很深刻：

生成模型（session 1）

Geometry Score: A Method For Comparing Generative Adversarial Networks（幾何分?jǐn)?shù)：一種比較生成對抗網(wǎng)絡(luò)的方法）

作者通過比較原始數(shù)據(jù)的流型和生成數(shù)據(jù)的流形的幾何性質(zhì)，構(gòu)建了一種新的 GAN（生成對抗網(wǎng)絡(luò)）的性能評(píng)價(jià)方法，為評(píng)估提供了定性和定量的手段。具體的說，為了研究數(shù)據(jù)流形，作者使用了拓?fù)鋽?shù)據(jù)分析（Topological Data Analysis），如一組在離散點(diǎn)云上進(jìn)行拓?fù)浞治龅姆椒ㄐ问剑▍⒁?Gunnar Carlsson 的這篇文章，深度介紹了 TDA；以及 GUDHI（Geometry Understaning in Higher Dimensions) github code）

頂會(huì)見聞系列：ICML 2018（下），能量、GAN、監(jiān)督學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)

排名與偏好學(xué)習(xí)（session 2A）

加速光譜排名（Accelerated Spectral Ranking)

問題：給定 n 項(xiàng)之間的成對或多項(xiàng)比較，目標(biāo)為要學(xué)習(xí)每項(xiàng)的分?jǐn)?shù)。這些分?jǐn)?shù)可以進(jìn)一步用于這些項(xiàng)目的排名。例如，在推薦系統(tǒng)中，目標(biāo)可能是通過觀察用戶在面對這些項(xiàng)目的不同子集時(shí)所做的選擇，來學(xué)習(xí)這些項(xiàng)目全部放在一起時(shí)的排名。在多路比較的情況下，有一種稱為 Luce 光譜排名的方法（LSR， Luce spectral ranking），它通過在 n 個(gè)項(xiàng)目的比較圖上構(gòu)建隨機(jī)游走（random walk，等效于一個(gè)馬爾科夫鏈）來解決問題。如果兩項(xiàng)之間存在成對或者多向比較的話，則該兩項(xiàng)之間有一條邊。構(gòu)造該隨機(jī)游走的目的是使得其靜止分布對應(yīng)于 MNL、BTL 模型的權(quán)重。作者提出了一種更快的算法來做到這一點(diǎn)。

該 session 的其他論文似乎也很有意思，但是我目前對這個(gè)領(lǐng)域并不是很熟悉，就不多加評(píng)論了。我可能會(huì)在最近嘗試一下這些方法。這里是 SQL-Rank: A Listwise Approach to Collaborative Ranking 的 github 地址。

頂會(huì)見聞系列：ICML 2018（下），能量、GAN、監(jiān)督學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)

監(jiān)督學(xué)習(xí)（session 2B）

監(jiān)督學(xué)習(xí)的 session 包含了很多機(jī)器學(xué)習(xí)的實(shí)踐者們非常關(guān)心的問題討論：在充滿噪聲的標(biāo)簽上學(xué)習(xí)；提高模型的實(shí)證收斂速度。后者可以通過課程設(shè)置學(xué)習(xí)（curriculum learning）來實(shí)現(xiàn)，即先使用簡單的樣本學(xué)習(xí)，然后逐漸增加樣本的難度。本 session 的論文似乎都能夠在很短的時(shí)間內(nèi)對工業(yè)界產(chǎn)生影響，論文的作者中有 Uber 的負(fù)責(zé)人 Raquel Urtasun 和 Google AI 的負(fù)責(zé)人李飛飛。

Curriculun Learning 的論文：

MentorNet: Learning Data-Driven Curriculum for Very Deep Neural Networks on Corrupted Labels.（MentorNet：在受損的標(biāo)簽上為非常深的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)驅(qū)動(dòng)的課程學(xué)習(xí)）

頂會(huì)見聞系列：ICML 2018（下），能量、GAN、監(jiān)督學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)

Learning to Reweight Examples for Robust Deep Learning（學(xué)習(xí)重新為樣本設(shè)置權(quán)重，用于魯棒深度學(xué)習(xí)），非原作者 github

Dimensionality-Driven Learning with Noisy Labels（有噪聲的標(biāo)簽上的維度驅(qū)動(dòng)學(xué)習(xí)），github

頂會(huì)見聞系列：ICML 2018（下），能量、GAN、監(jiān)督學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)架構(gòu)）（session 3）

Extracting Automata from Recurrent Neural Networks Using Queries and Counterexamples（通過查詢與反例從 RNN 中抽取自動(dòng)機(jī)），對于那些經(jīng)過理論計(jì)算機(jī)科學(xué)和深度學(xué)習(xí)訓(xùn)練的人來說，這篇論文應(yīng)該是非常有趣的。

Autoregressive Convolutional Neural Networks for Asynchronous Time Series（用于異步時(shí)間序列的自回歸卷積神經(jīng)網(wǎng)絡(luò)），github。這是我們的論文，是一個(gè)自回歸模型，其權(quán)重是非線性的，可以處理異步多變量時(shí)間序列。對于一個(gè)應(yīng)用的例子，想象經(jīng)銷商在場外交易市場中提供報(bào)價(jià)：這些報(bào)價(jià)到達(dá)的時(shí)間隨機(jī)（或多或少與經(jīng)銷商有些關(guān)系），報(bào)價(jià)可能存在一些偏差和方差（bias and variance)，同時(shí)在轉(zhuǎn)給其他經(jīng)銷商時(shí)可能有一些滯后。該模型旨在捕捉這些關(guān)系，并且主網(wǎng)絡(luò)的權(quán)重允許對這些經(jīng)銷商之間的關(guān)系（超前-滯后）進(jìn)行一些解釋和可視化。我們可以將這項(xiàng)工作推廣到其他計(jì)量經(jīng)濟(jì)模型。

頂會(huì)見聞系列：ICML 2018（下），能量、GAN、監(jiān)督學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)

正會(huì)會(huì)場之外，JP Morgan 也在自己的展臺(tái)上展示了自己的深度對沖方法。

ICML 正會(huì)第三天 - 時(shí)間序列分析，NLP，更多仿人的學(xué)習(xí)機(jī)器

ICML 正會(huì)第三天開場的是 Ronan Collobert 與 Jason Weston 的 ICML 2008 論文《A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning》（一個(gè)自然語言處理的統(tǒng)一架構(gòu)：多任務(wù)學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)）獲得「時(shí)間檢驗(yàn)獎(jiǎng)」的演講。在這里可以看到 10 年前作者們的一些討論以及當(dāng)時(shí)是否被接受。我沒能現(xiàn)場聽到他們的演講，因?yàn)樗沟赂鐮柲Φ某请H列車被停運(yùn)了。

我參加了這幾個(gè) session：

時(shí)間序列分析（session 1）

深度貝葉斯無參追蹤

遷移學(xué)習(xí)與多任務(wù)學(xué)習(xí)（session 2）

自然語言與語音處理（session 3）

一共有四個(gè)演講，三個(gè)是 Facebook 的研究員在講，還有一個(gè)是谷歌的人在講

（全文完。雷鋒網(wǎng) AI 科技評(píng)論的 ICML 報(bào)道參見 ICML 2018 斯德哥爾摩開幕，公平性研究戴上光環(huán)，金句頻出，16位大神在ICML上展開了一場機(jī)器學(xué)習(xí)的Great Debates）

via Gautier Mari's Wander，雷鋒網(wǎng) AI 科技評(píng)論編譯

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。