雷鋒網(wǎng)消息，8月6日，機(jī)器學(xué)習(xí)領(lǐng)域最具影響力的學(xué)術(shù)會議之一的ICML 2017在澳大利亞悉尼正式開幕。當(dāng)天，除了舉行多場Tutorial外，ICML還在官網(wǎng)正式公布了本次會議的最佳論文評選結(jié)果。在前線雷鋒網(wǎng)AI科技評論的兩位編輯（張馳和劉芳平）第一時間為大家?guī)慝@獎?wù)撐牡膱蟮馈?/p>

本屆ICML最佳論文的主題是，利用影響函數(shù)理解黑箱預(yù)測。機(jī)器學(xué)習(xí)中的一個關(guān)鍵問題就是，系統(tǒng)為何做出某種預(yù)測？

我們不僅需要表現(xiàn)優(yōu)異的模型，更需要可解釋的模型。理解了模型如何做出決策，也就能進(jìn)一步改善它。更重要的是，要讓機(jī)器學(xué)習(xí)應(yīng)用于現(xiàn)實中的重要問題，比如醫(yī)療診斷、做出決策、災(zāi)難響應(yīng)，我們就需要一個能被人類理解和信任的系統(tǒng)。只有這樣它才能有更多的應(yīng)用，畢竟誰都不希望機(jī)器給出診斷結(jié)果和治療意見，但不給出具體原因。

雷鋒網(wǎng)了解到，可解釋性在機(jī)器學(xué)習(xí)中正變得越來越重要。巧合的是，在今天上午的一場tutorial中，Google Brain的研究科學(xué)家Been Kim也談到了機(jī)器學(xué)習(xí)的可解釋性。她還指出，除了應(yīng)用的角度，讓機(jī)器學(xué)習(xí)可解釋還能促進(jìn)它更公平地被使用。她認(rèn)為，機(jī)器學(xué)習(xí)這樣強(qiáng)大的工具不能僅被少數(shù)人理解和使用，而是應(yīng)該讓更多的人受益，成為人人可用的工具。

機(jī)器學(xué)習(xí)的可解釋性已經(jīng)有了不少的研究，但多數(shù)著重于解釋模型如何做預(yù)測，而這次的最佳論文提出的問題是，如何解釋模型是從哪來的？這一研究通過模型的學(xué)習(xí)算法來追溯其預(yù)測，并上溯到了訓(xùn)練數(shù)據(jù)中。或許正是這種進(jìn)一步追溯根源的新的視角，才讓它獲得了最佳論文獎。

值得一提的是，最佳論文的兩位作者都是華人。

Pang Wei Koh是來自新加坡的斯坦福大學(xué)在讀博士生。他此前在斯坦福獲得了計算機(jī)科學(xué)學(xué)士與碩士學(xué)位，并在斯坦福的AI實驗室與吳恩達(dá)一同工作過。在2012年，他加入了吳恩達(dá)聯(lián)合創(chuàng)立的在線教育平臺Coursera，成為其第三位員工。在2016年他開始在斯坦福攻讀博士學(xué)位。

Percy Liang是斯坦福大學(xué)的助理教授，此前曾在MIT和UCB學(xué)習(xí)及做研究。他的研究大方向是機(jī)器學(xué)習(xí)與NLP，目前的研究重點是可信任的代理，這些代理能與人類進(jìn)行有效溝通，并通過互動逐步改善。

ICML 2017最佳論文獎

最佳：Understanding Black-box Predictions via Influence Functions

作者：Pang Wei Koh, Percy Liang

簡介：如何解釋黑箱模型的預(yù)測呢？這篇論文利用影響函數(shù)（穩(wěn)健統(tǒng)計學(xué)中的經(jīng)典技術(shù)），通過學(xué)習(xí)算法跟蹤模型的預(yù)測并追溯到訓(xùn)練數(shù)據(jù)，從而確定對給定預(yù)測影響最大訓(xùn)練點。為了將影響函數(shù)擴(kuò)展到現(xiàn)代機(jī)器學(xué)習(xí)中，論文中設(shè)計了一個簡單，高效的實現(xiàn)，僅需梯度oracle訪問和Hessian矢量積。而且即使在非凸和非微分模型上，影響函數(shù)的近似值算法仍然可以提供有價值的信息。在線性模型和卷積神經(jīng)網(wǎng)絡(luò)中，論文中也證明，影響函數(shù)可用于理解模型行為，調(diào)試模型，檢測數(shù)據(jù)集錯誤，甚至是生成視覺上無法區(qū)分的訓(xùn)練集攻擊。

論文下載：https://arxiv.org/pdf/1703.04730.pdf

榮譽獎（Honorable Mentions）

論文：Lost Relatives of the Gumbel Trick

作者：Matej Balog, Nilesh Tripuraneni, Zoubin Ghahramani, Adrian Weller

簡介：Gumbel是從離散概率分布中抽樣或估計其規(guī)格化配分函數(shù)的方法，它會以特定方式重復(fù)地對分布進(jìn)行隨機(jī)擾動，每次解決最可能的配置。論文中得出了一系列相關(guān)方法，其中包括Gumbel，這些新方法在幾種情況下具有優(yōu)異的屬性，同時僅需最小的額外計算成本。特別的，要讓Gumbel在離散圖模型中產(chǎn)生計算優(yōu)勢，Gumbel擾動通常會被低秩擾動（low-rank perturbation）取代。而論文中的一種新方法，可以為Gibbs分布生成一系列連續(xù)抽樣器。論文最后還展示了，Gumbel的簡單的解析形式如何得到額外的理論成果。

論文下載：https://arxiv.org/pdf/1706.04161.pdf

論文：Modular Multitask Reinforcement Learning with Policy Sketches

作者：Jacob Andreas, Dan Klein, Sergey Levine

簡介：論文描述了一個以策略草圖（policy sketches）為指導(dǎo)的多任務(wù)深度增加學(xué)習(xí)框架。草圖使用指定的子任務(wù)序列注釋任務(wù)，提供關(guān)于任務(wù)之間的高級結(jié)構(gòu)關(guān)系的信息，但沒有如何實現(xiàn)的信息。為了從草圖中學(xué)習(xí)，論文中提出了一個將每個子任務(wù)與模塊化子策略相關(guān)聯(lián)的模型，并通過在共享子策略之間綁定參數(shù)，共同最大限度地提高對完整任務(wù)特定策略的回報。論文中在三種環(huán)境中評估了方法的有效性，包括離散和連續(xù)控制環(huán)境，以及僅在完成一些高級子目標(biāo)之后才能獲得稀少獎勵的情況。實驗表明，用論文中的方法學(xué)習(xí)草圖指導(dǎo)的策略，比現(xiàn)有的學(xué)習(xí)特定任務(wù)策略或共享策略的技術(shù)表現(xiàn)更好。

論文下載：https://arxiv.org/pdf/1611.01796

論文：A Unified Maximum Likelihood Approach for Estimating Symmetric Properties of Discrete Distributions

作者：Jayadev Acharya, Hirakendu Das, Alon Orlitsky, Ananda Suresh

論文下載：http://people.ece.cornell.edu/acharya/papers/pml-opt.pdf

ICML 2017 “時間考驗”獎（Test of Time Award）

最佳：Combining Online and Offline Knowledge in UCT

作者：Sylvain Gelly and David Silver

簡介：UCT算法使用基于樣本的搜索在線學(xué)習(xí)值函數(shù)。 TD（λ）算法可以離線學(xué)習(xí)一個價值函數(shù)，用于策略分配。我們考慮了在UCT算法中組合離線和在線值函數(shù)的三種方法。首先，在Monte-Carlo模擬中，離線值函數(shù)被用作默認(rèn)策略。其次，UCT值函數(shù)與快速在線估計的行動值（action value）相結(jié)合。第三，離線值函數(shù)用作UCT搜索樹中的先驗知識。我們在9 x 9 Go GnuGo 3.7.10中評估這些算法。第一種算法比隨機(jī)模擬策略優(yōu)于UCT，但令人驚訝的是，比更弱的手工模擬策略更差。第二種算法完全勝過UCT。第三種算法勝過擁有人工先驗知識的UCT。我們將這些算法結(jié)合在MoGo中，它是世界上最強(qiáng)大的9 x 9 Go程序。每種技術(shù)都顯著提高了MoGo的發(fā)揮力度。

論文下載：http://suo.im/2Ki4I

榮譽獎

論文：Pegasos: Primal estimated sub-gradient solver for SVM

作者：Shai Shalev-Shwartz, Yoram Singer, Nathan Srebro

簡介：我們描述和分析了一個簡單有效的隨機(jī)子梯度下降算法，用于解決支持向量機(jī)（SVM）提出的優(yōu)化問題。我們證明獲得精度εε求解所需的迭代次數(shù)為?（1 /ε）O?（1 /ε），其中每次迭代在單個訓(xùn)練樣本上運行。相比之下，先前對SVM的隨機(jī)梯度下降法的分析需要Ω（1 /ε2）Ω（1 /ε2）迭代。如先前設(shè)計的SVM求解器，迭代次數(shù)也以1 /λ線性縮放，其中λ是SVM的正則化參數(shù)。對于線性內(nèi)核，我們的方法的總運行時間是?（d /（λε））O?（d /（λε）），其中d是每個示例中非零特征數(shù)量的約束。由于運行時間不直接取決于訓(xùn)練集的大小，因此得到的算法特別適合于從大型數(shù)據(jù)集學(xué)習(xí)。我們的方法也擴(kuò)展到非線性內(nèi)核，同時僅基于原始目標(biāo)函數(shù)，盡管在這種情況下，運行時確實依賴于訓(xùn)練集大小。我們的算法特別適用于大文本分類問題，在這些問題中，我們展示了超過以前的SVM學(xué)習(xí)方法的數(shù)量級加速。

論文下載：http://suo.im/2kC6PR

論文：A Bound on the Label Complexity of Agnostic Active Learning）

作者：Steve Hanneke

簡介：我們研究了不可知PAC模型中基于池的主動學(xué)習(xí)的標(biāo)簽復(fù)雜度。 具體來說，我們得出了Balcan，Beygelzimer和Langford提出的A2算法所做的標(biāo)簽請求數(shù)量的一般界限（Balcan et al. , 2006）。 這代表了不可知PAC模型中標(biāo)簽復(fù)雜度的第一個非常重要的通用上限。

論文下載：http://suo.im/2wFVX3

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。