雷鋒網(wǎng) AI 科技評(píng)論按：正在進(jìn)行的2017 機(jī)器學(xué)習(xí)國(guó)際大會(huì)（ICML 2017）早早地就在其官網(wǎng)公布了本次會(huì)議的最佳論文評(píng)選結(jié)果（重磅 | ICML 2017最佳論文公布！機(jī)器學(xué)習(xí)的可解釋性成熱點(diǎn)），其中最佳論文獎(jiǎng)為《Understanding Black-box Predictions via Influence Functions》，其主題為如何利用影響函數(shù)理解黑箱預(yù)測(cè)。兩位作者分別為Pang Wei Koh 和 Percy Liang。

Pang Wei Koh是來(lái)自新加坡的斯坦福大學(xué)在讀博士生。他此前在斯坦福獲得了計(jì)算機(jī)科學(xué)學(xué)士與碩士學(xué)位，并在斯坦福的AI實(shí)驗(yàn)室與吳恩達(dá)一同工作過(guò)。在2012年，他加入了吳恩達(dá)聯(lián)合創(chuàng)立的在線教育平臺(tái)Coursera，成為其第三位員工。在2016年他開(kāi)始在斯坦福攻讀博士學(xué)位。

Percy Liang是斯坦福大學(xué)的助理教授，此前曾在MIT和UCB學(xué)習(xí)及做研究。他的研究大方向是機(jī)器學(xué)習(xí)與NLP，目前的研究重點(diǎn)是可信任的代理，這些代理能與人類進(jìn)行有效溝通，并通過(guò)互動(dòng)逐步改善。

在8月7日下午，最佳論文獎(jiǎng)得主Pang Wei Koh（來(lái)自新加坡的斯坦福大學(xué)在讀博士生）就他們的工作做了一場(chǎng)報(bào)告。雷鋒網(wǎng) AI科技評(píng)論在大會(huì)現(xiàn)場(chǎng)記錄了這場(chǎng)報(bào)告，下面為雷鋒網(wǎng)AI科技評(píng)論對(duì)現(xiàn)場(chǎng)Pang Wei Koh的報(bào)告進(jìn)行整理，與大家共同分享。

圖文分享總結(jié)

大家下午好，感謝大家來(lái)聆聽(tīng)這個(gè)報(bào)告。

動(dòng)機(jī)

下面我將講述如何用一種被稱為影響函數(shù)的統(tǒng)計(jì)工具來(lái)研究神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)問(wèn)題。

在過(guò)去幾年，機(jī)器學(xué)習(xí)在許多領(lǐng)域中的模型做出的預(yù)測(cè)準(zhǔn)確度越來(lái)越高，但是這些模型本身卻也變得越來(lái)越復(fù)雜。然而一個(gè)經(jīng)常會(huì)被問(wèn)到的問(wèn)題——系統(tǒng)為什么會(huì)做出這樣的預(yù)測(cè)？——卻難以回答。

例如我們通過(guò)圖中左側(cè)的訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練一個(gè)網(wǎng)絡(luò)，當(dāng)輸入一張圖片時(shí)它會(huì)做出一個(gè)預(yù)測(cè)。為什么這個(gè)模型做出這樣的預(yù)測(cè)呢？我們知道模型學(xué)習(xí)的所有信息和“知識(shí)”都是從訓(xùn)練實(shí)例中得出的，所以應(yīng)該可以查詢特定預(yù)測(cè)受到各種數(shù)據(jù)點(diǎn)的影響有多大。

如果一個(gè)特定的訓(xùn)練點(diǎn)不存在或被微弱擾動(dòng)，例如這里對(duì)經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)進(jìn)行微調(diào)后，預(yù)測(cè)的置信水平就會(huì)由79%提升到82%。那么兩次預(yù)測(cè)的損失函數(shù)的差就可以代表某個(gè)訓(xùn)練點(diǎn)改變后對(duì)整個(gè)訓(xùn)練的影響。

影響函數(shù)

在這里我們的目標(biāo)就是測(cè)量如果我們?cè)黾咏?jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)的值，損失函數(shù)的改變。這里結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)是由具體的訓(xùn)練數(shù)據(jù)決定的。在函數(shù)取光滑條件時(shí)，那么這個(gè)測(cè)量值就是這個(gè)函數(shù)I，也即影響函數(shù)。這個(gè)公式第二行中的H是Hessian矩陣。從這里我們可以看出，影響函數(shù)是依賴于具體的模型和訓(xùn)練數(shù)據(jù)的。

例如我們看兩個(gè)例子。右側(cè)兩列中第一列是用像素?cái)?shù)據(jù)訓(xùn)練的RBF SVM，第二列是邏輯回歸模型。用這兩個(gè)模型分別對(duì)左側(cè)的測(cè)試圖形進(jìn)行預(yù)測(cè)，我們得到的影響函數(shù)，RBF SVM模型的影響函數(shù)隨著距離測(cè)試物越遠(yuǎn)會(huì)迅速減下，而邏輯回歸模型的影響函數(shù)則與距離無(wú)關(guān)。所以我們可以利用影響函數(shù)來(lái)更好地理解模型。在我們看影響函數(shù)的應(yīng)用之前，我們要先討論一下這種方法中潛在的問(wèn)題。

第一，計(jì)算效率低

要想實(shí)用影響函數(shù)，我們必須構(gòu)建經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)的Hessian矩陣以及求矩陣的逆。這對(duì)有幾百萬(wàn)個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)模型來(lái)說(shuō)是難以接受的，尤其是求逆過(guò)程將會(huì)非常緩慢。

最好的辦法就是我們不明確地求出Hessian矩陣的逆，而是通過(guò)Hessian-vector products近似。

第二，非光滑損失

當(dāng)損失函數(shù)的一階、二階導(dǎo)數(shù)不存在時(shí)，我們可以通過(guò)剔除這些非光滑的點(diǎn)，我們發(fā)現(xiàn)仍然能夠很好地預(yù)測(cè)。例如這里的smoothHinge模型，當(dāng)t=0.001的時(shí)候能夠更好地符合實(shí)際的改變。

第三，很難找到全局極小值

在前面我們假設(shè)了為全局極小值，但是有時(shí)我們可能只是得到一個(gè)次極小值。這種情況下可能會(huì)導(dǎo)致Hessian出現(xiàn)負(fù)的本征值。

我們通過(guò)凸二次近似方法對(duì)損失函數(shù)構(gòu)建一個(gè)軟極大值來(lái)取近似。這樣可以在很大程度上降低因?yàn)槭欠侨謽O小值造成的問(wèn)題。

應(yīng)用

好了，最后我們講一下影響函數(shù)的應(yīng)用。

1、調(diào)試模型錯(cuò)誤

當(dāng)模型出現(xiàn)錯(cuò)誤的時(shí)候我們能否幫助開(kāi)發(fā)者找出哪地方出了問(wèn)題呢？我們用一個(gè)例子來(lái)說(shuō)明，我們用邏輯回歸模型來(lái)預(yù)測(cè)一個(gè)病人是否應(yīng)當(dāng)重新入院。訓(xùn)練模型有20k的病人，127個(gè)特征。

為了說(shuō)明情況，我們把訓(xùn)練模型中3（24）個(gè)孩子需要重新入院改成3（4）個(gè)，也即去掉20個(gè)健康孩子的訓(xùn)練樣本。當(dāng)用一個(gè)健康孩子來(lái)做預(yù)測(cè)時(shí)，模型就會(huì)出錯(cuò)預(yù)測(cè)為需要重新入院。

我們計(jì)算每一個(gè)訓(xùn)練點(diǎn)的影響函數(shù)。這個(gè)圖很清楚顯示了4個(gè)訓(xùn)練孩子的影響值是其他樣本的30-40倍，其中一個(gè)孩子為正，其他3個(gè)為負(fù)。

仔細(xì)考察4個(gè)孩子的127個(gè)特征，發(fā)現(xiàn)表示為“孩子”的特征起主要貢獻(xiàn)。

2、對(duì)抗訓(xùn)練

最近的工作已經(jīng)產(chǎn)生了與實(shí)際測(cè)試圖像無(wú)法區(qū)分的對(duì)抗測(cè)試圖像，以致完全可以愚弄分類器。實(shí)際上，Ian Goodfellow在內(nèi)的一些研究者已經(jīng)表明了高準(zhǔn)確率的神經(jīng)網(wǎng)絡(luò)也是可以被欺騙的，用來(lái)欺騙它的樣本是精心選擇過(guò)的，人眼看起來(lái)正常。這樣的樣本就叫做“對(duì)抗性測(cè)試樣本”。

構(gòu)建它們的方法之一是沿著測(cè)試輸入對(duì)應(yīng)的測(cè)試損失的梯度，不斷修改測(cè)試輸入，從而讓測(cè)試損失增大。

那么既然有對(duì)抗性測(cè)試樣本，我們能否創(chuàng)造出對(duì)抗性訓(xùn)練樣本呢，其中訓(xùn)練點(diǎn)上的小變化就可以改變模型的預(yù)測(cè)結(jié)果。

我們問(wèn)了自己這個(gè)問(wèn)題，然后接下來(lái)很自然地就嘗試在測(cè)試損失的梯度上做同樣的事情。不過(guò)現(xiàn)在不是做關(guān)于測(cè)試特征的，而是做關(guān)于訓(xùn)練特征的。換句話說(shuō)，我們先給定測(cè)試樣本，然后沿著測(cè)試樣本的梯度變化修改訓(xùn)練數(shù)據(jù)。

然后我們發(fā)現(xiàn)，它的影響函數(shù)可以幫助我們找到這個(gè)梯度，因?yàn)樗鼈兏旧鲜且换厥拢S著訓(xùn)練的進(jìn)行，模型的預(yù)測(cè)上會(huì)發(fā)生的事情就是這樣。我們得到的結(jié)果是這樣的，從數(shù)學(xué)的角度講它和基于梯度的攻擊是一樣的，對(duì)不同的模型和數(shù)據(jù)集都可以起作用。

這樣的方法在實(shí)際應(yīng)用中也可以發(fā)揮作用，我們?cè)O(shè)計(jì)了簡(jiǎn)單的二分類任務(wù)，模型要確定圖像中的是狗還是魚(yú)，兩種東西看起來(lái)挺不一樣的。我們用到了一個(gè) Inception 那樣的邏輯回歸模型。令我們驚訝的是，如果仔細(xì)地選擇訓(xùn)練數(shù)據(jù)，然后仔細(xì)地選擇要增加在其中的干擾，那么訓(xùn)練數(shù)據(jù)中一點(diǎn)點(diǎn)的改變，就可以讓同一個(gè)類型的多張測(cè)試圖像的預(yù)測(cè)結(jié)果都出現(xiàn)問(wèn)題。這說(shuō)明這樣的攻擊在某些環(huán)境下具有相當(dāng)?shù)奈ｋU(xiǎn)性。這個(gè)問(wèn)題上其實(shí)還有很多值得研究討論的，待會(huì)兒我們可以再聊。

結(jié)論

最后做個(gè)簡(jiǎn)單的總結(jié)。我們先討論了模型是如何做出預(yù)測(cè)的。我們知道模型是通過(guò)訓(xùn)練數(shù)據(jù)得到的，我們將其寫(xiě)成公式，然后就知道改變訓(xùn)練數(shù)據(jù)以后模型會(huì)如何變化，而且我們還能通過(guò)它偏離訓(xùn)練數(shù)據(jù)的程度更好地理解模型的預(yù)測(cè)結(jié)果。影響函數(shù)為這些事情提供了一種高效的手段。

在這項(xiàng)工作中，我們還有很多事情需要做，例如如果從醫(yī)院里移除了所有的病人怎么辦，我們有什么辦法防止這件事發(fā)生嗎？如果我們有一個(gè)很大的凸模型，運(yùn)行SGD好幾次，……目前工作只是在這個(gè)方向上的一小步。在能夠很好地理解模型之前，還有很多基礎(chǔ)的問(wèn)題等待我們?nèi)ソ鉀Q。

謝謝大家！

（完）

雷鋒網(wǎng) AI 科技評(píng)論整理。

論文下載：https://arxiv.org/pdf/1703.04730.pdf

 

相關(guān)文章：

重磅 | ICML 2017最佳論文公布！機(jī)器學(xué)習(xí)的可解釋性成熱點(diǎn)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。