雷鋒網 AI 科技評論按：本篇屬于「頂會見聞系列」。每年這么多精彩的人工智能/機器學習會議，沒去現場的自然可惜，在現場的也容易看花眼。那么事后看看別的研究員的見聞總結，也許會有新的收獲呢。

曾在中科院自動化研究所模式識別國家重點實驗室實習的 Gautier Marti 現在是 NLP 量化分析研究員。機器學習+金融的研究人員對理論性較強的 ICML 有何感悟呢？雷鋒網 AI 科技評論把他的個人博客文章全文編譯如下。本篇為下篇，共兩篇。上篇見 這里。

ICML 正會第二天 - 能量，GANs，排序，課程學習，以及我們的論文

ICML 2018 的正會第二天由阿姆斯特丹大學機器學習研究主席 Max Welling 的以「每千瓦能量的智能」為標題的會議報告開頭。他討論了物理和 AI 之間的聯系（比如能源，熵，信息，比特，最小可描述長度原理等），包括模型方面和能源成本方面。當前的模型（如深度神經網絡）需要大量的能量。從物理能量（建模）思想出發(fā)推導出深度學習的一個貝葉斯形式，能帶來（現實中）更能源高效的模型。最終這些事情都能一一連接起來。這里有一個他關于該主題的另一個報告，與 ICML 的這個報告相比有較大不同。

我參加了會議的以下 session，其中一些論文讓我印象很深刻：

生成模型（session 1）

Geometry Score: A Method For Comparing Generative Adversarial Networks（幾何分數：一種比較生成對抗網絡的方法）

作者通過比較原始數據的流型和生成數據的流形的幾何性質，構建了一種新的 GAN（生成對抗網絡）的性能評價方法，為評估提供了定性和定量的手段。具體的說，為了研究數據流形，作者使用了拓撲數據分析（Topological Data Analysis），如一組在離散點云上進行拓撲分析的方法形式（參見 Gunnar Carlsson 的這篇文章，深度介紹了 TDA；以及 GUDHI（Geometry Understaning in Higher Dimensions)  github code）

排名與偏好學習（session 2A）

加速光譜排名（Accelerated Spectral Ranking) 

問題：給定 n 項之間的成對或多項比較，目標為要學習每項的分數。這些分數可以進一步用于這些項目的排名。例如，在推薦系統中，目標可能是通過觀察用戶在面對這些項目的不同子集時所做的選擇，來學習這些項目全部放在一起時的排名。在多路比較的情況下，有一種稱為 Luce 光譜排名的方法（LSR， Luce spectral ranking）， 它通過在 n 個項目的比較圖上構建隨機游走（random walk，等效于一個馬爾科夫鏈）來解決問題。如果兩項之間存在成對或者多向比較的話，則該兩項之間有一條邊。構造該隨機游走的目的是使得其靜止分布對應于 MNL、BTL 模型的權重。作者提出了一種更快的算法來做到這一點。

該 session 的其他論文似乎也很有意思，但是我目前對這個領域并不是很熟悉，就不多加評論了。我可能會在最近嘗試一下這些方法。這里是 SQL-Rank: A Listwise Approach to Collaborative Ranking 的 github 地址。

監(jiān)督學習（session 2B）

監(jiān)督學習的 session 包含了很多機器學習的實踐者們非常關心的問題討論：在充滿噪聲的標簽上學習；提高模型的實證收斂速度。后者可以通過課程設置學習（curriculum learning）來實現，即先使用簡單的樣本學習，然后逐漸增加樣本的難度。本 session 的論文似乎都能夠在很短的時間內對工業(yè)界產生影響，論文的作者中有 Uber 的負責人 Raquel Urtasun 和 Google AI 的負責人李飛飛。

Curriculun Learning 的論文：

MentorNet: Learning Data-Driven Curriculum for Very Deep Neural Networks on Corrupted Labels.（MentorNet：在受損的標簽上為非常深的神經網絡學習數據驅動的課程學習）

Learning to Reweight Examples for Robust Deep Learning（學習重新為樣本設置權重，用于魯棒深度學習）， 非原作者 github

Dimensionality-Driven Learning with Noisy Labels（有噪聲的標簽上的維度驅動學習），github

深度學習（神經網絡架構）（session 3）

Extracting Automata from Recurrent Neural Networks Using Queries and Counterexamples（通過查詢與反例從 RNN 中抽取自動機），對于那些經過理論計算機科學和深度學習訓練的人來說，這篇論文應該是非常有趣的。

Autoregressive Convolutional Neural Networks for Asynchronous Time Series（用于異步時間序列的自回歸卷積神經網絡），github。這是我們的論文，是一個自回歸模型，其權重是非線性的，可以處理異步多變量時間序列。對于一個應用的例子，想象經銷商在場外交易市場中提供報價：這些報價到達的時間隨機（或多或少與經銷商有些關系），報價可能存在一些偏差和方差（bias and variance)，同時在轉給其他經銷商時可能有一些滯后。該模型旨在捕捉這些關系，并且主網絡的權重允許對這些經銷商之間的關系（超前-滯后）進行一些解釋和可視化。我們可以將這項工作推廣到其他計量經濟模型。

正會會場之外，JP Morgan 也在自己的展臺上展示了自己的深度對沖方法。

ICML 正會第三天 - 時間序列分析，NLP，更多仿人的學習機器

ICML 正會第三天開場的是 Ronan Collobert 與 Jason Weston 的 ICML 2008 論文《A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning》（一個自然語言處理的統一架構：多任務學習深度神經網絡）獲得「時間檢驗獎」的演講。在 這里 可以看到 10 年前作者們的一些討論以及當時是否被接受。我沒能現場聽到他們的演講，因為斯德哥爾摩的城際列車被停運了。

我參加了這幾個 session：

時間序列分析（session 1）

深度貝葉斯無參追蹤

遷移學習與多任務學習（session 2）

自然語言與語音處理（session 3）

一共有四個演講，三個是 Facebook 的研究員在講，還有一個是谷歌的人在講

（全文完。雷鋒網 AI 科技評論的 ICML 報道參見  ICML 2018 斯德哥爾摩開幕，公平性研究戴上光環(huán)，金句頻出，16位大神在ICML上展開了一場機器學習的Great Debates）

via Gautier Mari's Wander，雷鋒網 AI 科技評論編譯

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。