雷鋒網(wǎng) AI 科技評(píng)論按：為了解釋深度神經(jīng)網(wǎng)絡(luò)，研究人員們想了各種各樣的辦法。IBM 研究院的論文《Improving Simple Models with Confidence Profiles》也從一個(gè)角度研究了這個(gè)問(wèn)題，并被 NeurIPS 2018 接收為 poster 論文。雷鋒網(wǎng) AI 科技評(píng)論把論文主要內(nèi)容介紹如下。

在許多機(jī)器學(xué)習(xí)系統(tǒng)中，系統(tǒng)的可解釋性和模型性能往往是不可兼得的。因?yàn)樵S多性能最好的模型（即深度神經(jīng)網(wǎng)絡(luò)）本質(zhì)上都是黑盒。在 IBM 研究院改進(jìn)簡(jiǎn)單模型的工作中（https://arxiv.org/abs/1807.07506  ），他們提出一種將信息從高性能的神經(jīng)網(wǎng)絡(luò)遷移到另一個(gè)領(lǐng)域?qū)＜一驊?yīng)用程序可能需要的模型的方法，從而彌補(bǔ)性能和可解釋性之間的鴻溝。例如，在計(jì)算生物學(xué)和經(jīng)濟(jì)學(xué)中，稀疏的線性模型往往是從業(yè)者的首選方案，而在半導(dǎo)體制造等復(fù)雜儀器領(lǐng)域中，工程師們可能更喜歡使用決策樹(shù)。這種更簡(jiǎn)單的可解釋模型可以與專家建立信任，并提供有用的分析結(jié)果，從而發(fā)現(xiàn)新的、以前未知的事實(shí)。他們的目標(biāo)如下圖所示，在這個(gè)例子中，他們?cè)噲D提升決策樹(shù)的性能。

假設(shè)網(wǎng)絡(luò)是一位表現(xiàn)出色的老師，我們可以將它的一些信息傳授給簡(jiǎn)單、可解釋但通常性能不佳的學(xué)生模型。根據(jù)樣本建模的難易程度對(duì)樣本進(jìn)行加權(quán)，可以幫助簡(jiǎn)單的模型在訓(xùn)練時(shí)專注于更容易建模的樣本，從而獲得更好的整體性能。他們的研究與 boost 集成學(xué)習(xí)方法不同：在 boosting 方法中，對(duì)于之前的一個(gè)「弱分類器」難以建模的示例會(huì)被重點(diǎn)關(guān)注，以便讓后續(xù)的訓(xùn)練創(chuàng)建多樣性的訓(xùn)練結(jié)果。在這里，困難的示例指的是對(duì)于構(gòu)建一個(gè)準(zhǔn)確率很高的復(fù)雜模型而言的。這意味著這些標(biāo)簽幾乎是隨機(jī)分布的。而且，如果一個(gè)復(fù)雜的模型不能解決這些問(wèn)題，那么復(fù)雜度被固定的簡(jiǎn)單模型就沒(méi)有希望了。因此，在他們的研究中，重點(diǎn)關(guān)注簡(jiǎn)單模型可以解決的簡(jiǎn)單示例是非常重要的。

為此，他們根據(jù)網(wǎng)絡(luò)的難易程度為樣本分配權(quán)值從而對(duì)其進(jìn)行分類，并通過(guò)引入「探針」來(lái)具體實(shí)現(xiàn)這樣的思路。每個(gè)探針從一個(gè)隱層獲取它的輸入。每個(gè)探針都含有一個(gè)全連接層，全連接層后還附有一個(gè)softmax層，該softmax層的維度與連接到該層的網(wǎng)絡(luò)輸出相同。第 i 層的探針相當(dāng)于一個(gè)分類器，它只使用第 i 層之前的網(wǎng)絡(luò)的。假設(shè)即使對(duì)于第一層的探針來(lái)說(shuō)，簡(jiǎn)單的實(shí)例可以以高置信度被分類，那么他們就可以通過(guò)所有探針得到每個(gè)實(shí)例的置信水平 p_i。他們使用所有的 p_i 來(lái)計(jì)算實(shí)例的難度 w_i ，例如 p_i 的 ROC 曲線下的面積（AUC）。下圖顯示了一個(gè)簡(jiǎn)單示例和一個(gè)困難示例之間的區(qū)別。  

現(xiàn)在他們可以使用權(quán)重在最終加權(quán)后的數(shù)據(jù)集上對(duì)簡(jiǎn)單模型重新進(jìn)行訓(xùn)練。他們把這種方法稱為由「探針，獲取置信度權(quán)重，再訓(xùn)練過(guò)程」組成的工作流。

對(duì)于如何計(jì)算數(shù)據(jù)集中示例的權(quán)重，他們提出了兩種備選方案。在上面所提到的 AUC 方法中，他們標(biāo)注出了在原始訓(xùn)練集上訓(xùn)練時(shí)，簡(jiǎn)單模型的驗(yàn)證錯(cuò)誤率/準(zhǔn)確率。他們會(huì)選出一個(gè)準(zhǔn)確率至少為 α（> 0，大于簡(jiǎn)單的模型的準(zhǔn)確率）的探針。每個(gè)示例都是基于真實(shí)標(biāo)簽的平均置信度得分進(jìn)行加權(quán)的，該得分是使用來(lái)自探針的 softmax 預(yù)測(cè)計(jì)算出來(lái)的。

第二種備選方案是使用神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。這里他們通過(guò)優(yōu)化下面的目標(biāo)函數(shù)來(lái)學(xué)習(xí)訓(xùn)練集的最優(yōu)權(quán)值：

 

其中，w 代表為每個(gè)實(shí)例計(jì)算出的權(quán)重，β 表示簡(jiǎn)單模型 S 的參數(shù)空間，而 λ 是其損失函數(shù)。他們需要對(duì)權(quán)值進(jìn)行約束，否則所有權(quán)值趨于 0 的平凡解（Ax=0 中的零解）將自然而然地成為上述目標(biāo)函數(shù)的最優(yōu)解。他們?cè)谡撐闹凶C明了，E[w]=1 的約束條件與尋找最優(yōu)重要抽樣有關(guān)。

在更一般的情況下，ProfWeight 可以被用于將知識(shí)遷移到更簡(jiǎn)單但不透明的模型（如較小的神經(jīng)網(wǎng)絡(luò)），這些模型可能在內(nèi)存和功率受限的領(lǐng)域中非常有用。實(shí)際上，當(dāng)他們?cè)谖锫?lián)網(wǎng)系統(tǒng)、移動(dòng)設(shè)備或無(wú)人機(jī)的邊緣設(shè)備上部署模型時(shí)，就會(huì)遇到這種約束。

他們?cè)趦蓚€(gè)領(lǐng)域測(cè)試了我們的方法：公共圖像數(shù)據(jù)集 CIFAR-10和 IBM 專有的數(shù)據(jù)集。在第一個(gè)數(shù)據(jù)集上，他們的簡(jiǎn)單模型是更小的神經(jīng)網(wǎng)絡(luò)，它將遵守嚴(yán)格的內(nèi)存和功率約束。他們看到，在這種情況下，新方法的性能得到了 3- 4% 的提升。在第二個(gè)數(shù)據(jù)集上，他們的簡(jiǎn)單模型是一個(gè)決策樹(shù)，他們?cè)谠撃Ｐ蜕先〉昧舜蠹s 13% 的顯著提升，從而得到了可以被工程師在實(shí)際項(xiàng)目中使用的結(jié)果。下面他們將 ProfWeight與在該數(shù)據(jù)集上使用的其它方法進(jìn)行比較。如圖所示，他們比其它方法有相當(dāng)大的優(yōu)勢(shì)。 

在未來(lái)，IBM 研究院希望找到在使用他們的策略進(jìn)行知識(shí)遷移時(shí)所需要的必要/充分條件，從而提升簡(jiǎn)單模型的性能。他們還想開(kāi)發(fā)出比這個(gè)已經(jīng)完成的方法的更精妙的信息遷移方法。

via IBM Research，雷鋒網(wǎng) AI 科技評(píng)論編譯

KDD 2018 上也有一篇來(lái)自裴健團(tuán)隊(duì)的研究可解釋性的論文，希望了解更多的讀者可以參見(jiàn) 《裴健團(tuán)隊(duì)KDD新作：革命性的新方法，準(zhǔn)確、一致地解釋深度神經(jīng)網(wǎng)絡(luò)》。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。