雷鋒網(wǎng) AI 科技評論按：正在進行的2017 機器學(xué)習(xí)國際大會（ICML 2017）早早地就在其官網(wǎng)公布了本次會議的最佳論文評選結(jié)果（重磅 | ICML 2017最佳論文公布！機器學(xué)習(xí)的可解釋性成熱點），其中最佳論文獎為《Understanding Black-box Predictions via Influence Functions》，其主題為如何利用影響函數(shù)理解黑箱預(yù)測。兩位作者分別為Pang Wei Koh 和 Percy Liang。

Pang Wei Koh是來自新加坡的斯坦福大學(xué)在讀博士生。他此前在斯坦福獲得了計算機科學(xué)學(xué)士與碩士學(xué)位，并在斯坦福的AI實驗室與吳恩達一同工作過。在2012年，他加入了吳恩達聯(lián)合創(chuàng)立的在線教育平臺Coursera，成為其第三位員工。在2016年他開始在斯坦福攻讀博士學(xué)位。

Percy Liang是斯坦福大學(xué)的助理教授，此前曾在MIT和UCB學(xué)習(xí)及做研究。他的研究大方向是機器學(xué)習(xí)與NLP，目前的研究重點是可信任的代理，這些代理能與人類進行有效溝通，并通過互動逐步改善。

在8月7日下午，最佳論文獎得主Pang Wei Koh（來自新加坡的斯坦福大學(xué)在讀博士生）就他們的工作做了一場報告。雷鋒網(wǎng) AI科技評論在大會現(xiàn)場記錄了這場報告，下面為雷鋒網(wǎng)AI科技評論對現(xiàn)場Pang Wei Koh的報告進行整理，與大家共同分享。

圖文分享總結(jié)

大家下午好，感謝大家來聆聽這個報告。

動機

下面我將講述如何用一種被稱為影響函數(shù)的統(tǒng)計工具來研究神經(jīng)網(wǎng)絡(luò)的預(yù)測問題。

在過去幾年，機器學(xué)習(xí)在許多領(lǐng)域中的模型做出的預(yù)測準(zhǔn)確度越來越高，但是這些模型本身卻也變得越來越復(fù)雜。然而一個經(jīng)常會被問到的問題——系統(tǒng)為什么會做出這樣的預(yù)測？——卻難以回答。

例如我們通過圖中左側(cè)的訓(xùn)練數(shù)據(jù)來訓(xùn)練一個網(wǎng)絡(luò)，當(dāng)輸入一張圖片時它會做出一個預(yù)測。為什么這個模型做出這樣的預(yù)測呢？我們知道模型學(xué)習(xí)的所有信息和“知識”都是從訓(xùn)練實例中得出的，所以應(yīng)該可以查詢特定預(yù)測受到各種數(shù)據(jù)點的影響有多大。

如果一個特定的訓(xùn)練點不存在或被微弱擾動，例如這里對經(jīng)驗風(fēng)險函數(shù)進行微調(diào)后，預(yù)測的置信水平就會由79%提升到82%。那么兩次預(yù)測的損失函數(shù)的差就可以代表某個訓(xùn)練點改變后對整個訓(xùn)練的影響。

影響函數(shù)

在這里我們的目標(biāo)就是測量如果我們增加經(jīng)驗風(fēng)險函數(shù)的值，損失函數(shù)的改變。這里結(jié)構(gòu)風(fēng)險函數(shù)是由具體的訓(xùn)練數(shù)據(jù)決定的。在函數(shù)取光滑條件時，那么這個測量值就是這個函數(shù)I，也即影響函數(shù)。這個公式第二行中的H是Hessian矩陣。從這里我們可以看出，影響函數(shù)是依賴于具體的模型和訓(xùn)練數(shù)據(jù)的。

例如我們看兩個例子。右側(cè)兩列中第一列是用像素數(shù)據(jù)訓(xùn)練的RBF SVM，第二列是邏輯回歸模型。用這兩個模型分別對左側(cè)的測試圖形進行預(yù)測，我們得到的影響函數(shù)，RBF SVM模型的影響函數(shù)隨著距離測試物越遠會迅速減下，而邏輯回歸模型的影響函數(shù)則與距離無關(guān)。所以我們可以利用影響函數(shù)來更好地理解模型。在我們看影響函數(shù)的應(yīng)用之前，我們要先討論一下這種方法中潛在的問題。

第一，計算效率低

要想實用影響函數(shù)，我們必須構(gòu)建經(jīng)驗風(fēng)險函數(shù)的Hessian矩陣以及求矩陣的逆。這對有幾百萬個參數(shù)的神經(jīng)網(wǎng)絡(luò)模型來說是難以接受的，尤其是求逆過程將會非常緩慢。

最好的辦法就是我們不明確地求出Hessian矩陣的逆，而是通過Hessian-vector products近似。

第二，非光滑損失

當(dāng)損失函數(shù)的一階、二階導(dǎo)數(shù)不存在時，我們可以通過剔除這些非光滑的點，我們發(fā)現(xiàn)仍然能夠很好地預(yù)測。例如這里的smoothHinge模型，當(dāng)t=0.001的時候能夠更好地符合實際的改變。

第三，很難找到全局極小值

在前面我們假設(shè)了為全局極小值，但是有時我們可能只是得到一個次極小值。這種情況下可能會導(dǎo)致Hessian出現(xiàn)負(fù)的本征值。

我們通過凸二次近似方法對損失函數(shù)構(gòu)建一個軟極大值來取近似。這樣可以在很大程度上降低因為是非全局極小值造成的問題。

應(yīng)用

好了，最后我們講一下影響函數(shù)的應(yīng)用。

1、調(diào)試模型錯誤

當(dāng)模型出現(xiàn)錯誤的時候我們能否幫助開發(fā)者找出哪地方出了問題呢？我們用一個例子來說明，我們用邏輯回歸模型來預(yù)測一個病人是否應(yīng)當(dāng)重新入院。訓(xùn)練模型有20k的病人，127個特征。

為了說明情況，我們把訓(xùn)練模型中3（24）個孩子需要重新入院改成3（4）個，也即去掉20個健康孩子的訓(xùn)練樣本。當(dāng)用一個健康孩子來做預(yù)測時，模型就會出錯預(yù)測為需要重新入院。

我們計算每一個訓(xùn)練點的影響函數(shù)。這個圖很清楚顯示了4個訓(xùn)練孩子的影響值是其他樣本的30-40倍，其中一個孩子為正，其他3個為負(fù)。

仔細考察4個孩子的127個特征，發(fā)現(xiàn)表示為“孩子”的特征起主要貢獻。

2、對抗訓(xùn)練

最近的工作已經(jīng)產(chǎn)生了與實際測試圖像無法區(qū)分的對抗測試圖像，以致完全可以愚弄分類器。實際上，Ian Goodfellow在內(nèi)的一些研究者已經(jīng)表明了高準(zhǔn)確率的神經(jīng)網(wǎng)絡(luò)也是可以被欺騙的，用來欺騙它的樣本是精心選擇過的，人眼看起來正常。這樣的樣本就叫做“對抗性測試樣本”。

構(gòu)建它們的方法之一是沿著測試輸入對應(yīng)的測試損失的梯度，不斷修改測試輸入，從而讓測試損失增大。

那么既然有對抗性測試樣本，我們能否創(chuàng)造出對抗性訓(xùn)練樣本呢，其中訓(xùn)練點上的小變化就可以改變模型的預(yù)測結(jié)果。

我們問了自己這個問題，然后接下來很自然地就嘗試在測試損失的梯度上做同樣的事情。不過現(xiàn)在不是做關(guān)于測試特征的，而是做關(guān)于訓(xùn)練特征的。換句話說，我們先給定測試樣本，然后沿著測試樣本的梯度變化修改訓(xùn)練數(shù)據(jù)。

然后我們發(fā)現(xiàn)，它的影響函數(shù)可以幫助我們找到這個梯度，因為它們根本上是一回事，隨著訓(xùn)練的進行，模型的預(yù)測上會發(fā)生的事情就是這樣。我們得到的結(jié)果是這樣的，從數(shù)學(xué)的角度講它和基于梯度的攻擊是一樣的，對不同的模型和數(shù)據(jù)集都可以起作用。

這樣的方法在實際應(yīng)用中也可以發(fā)揮作用，我們設(shè)計了簡單的二分類任務(wù)，模型要確定圖像中的是狗還是魚，兩種東西看起來挺不一樣的。我們用到了一個 Inception 那樣的邏輯回歸模型。令我們驚訝的是，如果仔細地選擇訓(xùn)練數(shù)據(jù)，然后仔細地選擇要增加在其中的干擾，那么訓(xùn)練數(shù)據(jù)中一點點的改變，就可以讓同一個類型的多張測試圖像的預(yù)測結(jié)果都出現(xiàn)問題。這說明這樣的攻擊在某些環(huán)境下具有相當(dāng)?shù)奈ｋU性。這個問題上其實還有很多值得研究討論的，待會兒我們可以再聊。

結(jié)論

最后做個簡單的總結(jié)。我們先討論了模型是如何做出預(yù)測的。我們知道模型是通過訓(xùn)練數(shù)據(jù)得到的，我們將其寫成公式，然后就知道改變訓(xùn)練數(shù)據(jù)以后模型會如何變化，而且我們還能通過它偏離訓(xùn)練數(shù)據(jù)的程度更好地理解模型的預(yù)測結(jié)果。影響函數(shù)為這些事情提供了一種高效的手段。

在這項工作中，我們還有很多事情需要做，例如如果從醫(yī)院里移除了所有的病人怎么辦，我們有什么辦法防止這件事發(fā)生嗎？如果我們有一個很大的凸模型，運行SGD好幾次，……目前工作只是在這個方向上的一小步。在能夠很好地理解模型之前，還有很多基礎(chǔ)的問題等待我們?nèi)ソ鉀Q。

謝謝大家！

（完）

雷鋒網(wǎng) AI 科技評論整理。

論文下載：https://arxiv.org/pdf/1703.04730.pdf

 

相關(guān)文章：

重磅 | ICML 2017最佳論文公布！機器學(xué)習(xí)的可解釋性成熱點

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。