雷鋒網(wǎng) AI 科技評論按：你有沒有想過，深度神經(jīng)網(wǎng)絡(luò)是依據(jù)什么來準(zhǔn)確識(shí)別有貓的圖片的？隨著深度神經(jīng)網(wǎng)絡(luò)在金融、醫(yī)療及自動(dòng)駕駛等領(lǐng)域的廣泛應(yīng)用，深度神經(jīng)網(wǎng)絡(luò)無法明確解釋自身決策行為的問題也引起了越來越多的關(guān)注。明確解釋深度神經(jīng)網(wǎng)絡(luò)的決策行為，能夠大幅提升各類用戶對深度神經(jīng)網(wǎng)絡(luò)的信任，并顯著降低大規(guī)模使用深度神經(jīng)網(wǎng)絡(luò)所帶來的潛在風(fēng)險(xiǎn)，是基于深度神經(jīng)網(wǎng)絡(luò)的人工智能應(yīng)用成功落地的重要一環(huán)。

論文視頻簡介

相關(guān)工作

雷鋒網(wǎng) AI 科技評論近期也有多篇文章從不同角度探討了深度神經(jīng)網(wǎng)絡(luò)的可解釋性。總的來說，現(xiàn)有的三種解釋方法都有各自的問題。

「隱層神經(jīng)元分析方法」（Hidden Neuron Analysis Methods）

該方法通過分析和可視化神經(jīng)網(wǎng)絡(luò)中隱層神經(jīng)元的局部特征來解釋深度神經(jīng)網(wǎng)絡(luò)的行為。以谷歌的研究《谷歌的新CNN特征可視化方法》及其后續(xù)的《可解釋性的基石》為例，這類方法能夠有效提取隱層神經(jīng)元學(xué)到的局部特征，但無法明確解釋深度神經(jīng)網(wǎng)絡(luò)的整體行為。

「模仿者模型方法」（Mimic Model Methods）

該方法通過訓(xùn)練一個(gè)可解釋的模仿者模型來模仿和解釋深度神經(jīng)網(wǎng)絡(luò)。在輸入相同的前提下，模仿者模型具有與深度神經(jīng)網(wǎng)絡(luò)相似的輸出。因此，有研究人員利用模仿者模型來解釋深度神經(jīng)網(wǎng)絡(luò)。但是，模仿者模型和被模仿的神經(jīng)網(wǎng)絡(luò)并非完全相同。即便兩個(gè)模型在某些相同的輸入上具有相似的輸出，其內(nèi)部的決策機(jī)制也可以有很大的區(qū)別。因此，模仿者模型無法準(zhǔn)確地解釋深度神經(jīng)網(wǎng)絡(luò)。

「局部解釋方法」（Local Interpretation Methods）

該方法首先在輸入實(shí)例的鄰域內(nèi)采樣一組近鄰實(shí)例，然后訓(xùn)練一個(gè)線性模型來擬合神經(jīng)網(wǎng)絡(luò)在近鄰實(shí)例上的決策輸出，最后使用線性模型的決策特征來解釋該神經(jīng)網(wǎng)絡(luò)對輸入實(shí)例的決策行為。這類方法有兩點(diǎn)問題。首先，因?yàn)榫€性模型與神經(jīng)網(wǎng)絡(luò)并不相同，所以局部解釋方法無法提供準(zhǔn)確解釋。其次，由于線性模型的決策特征依賴于近鄰數(shù)據(jù)，而通過采樣獲得的近鄰數(shù)據(jù)具有很強(qiáng)的隨機(jī)性，因此這類方法對相似輸入實(shí)例的解釋可能非常不一致，對同一輸入實(shí)例的多次解釋也有可能不同。

綜上所述，雖然上述方法能夠增進(jìn)我們對于神經(jīng)網(wǎng)絡(luò)工作機(jī)制的理解，但是它們無法對深度神經(jīng)網(wǎng)絡(luò)的行為提供準(zhǔn)確、一致的解釋。

我們?yōu)槭裁葱枰獪?zhǔn)確、一致的解釋？

首先，如果一個(gè)解釋是不準(zhǔn)確的，我們就無法確定解釋結(jié)果和模型的真實(shí)決策是否相符，解釋本身就是不可信的。其次，如果對于多個(gè)相似實(shí)例的解釋不一致，我們將不可避免地遇到多個(gè)解釋自相矛盾的情況，解釋的有效性也會(huì)因此受到質(zhì)疑。

一種革命性的新方法

準(zhǔn)確、一致的解釋符合人類認(rèn)知的客觀規(guī)律。但是，對于錯(cuò)綜復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)，我們能否找到準(zhǔn)確、一致的解釋方法呢？

西蒙弗雷澤大學(xué)（Simon Fraser University，SFU）計(jì)算科學(xué)學(xué)院裴健教授團(tuán)隊(duì)的論文《Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution》（圖 1）不僅為這個(gè)問題給出了肯定的答案，更給出了一種形式優(yōu)美的解析解，在大家關(guān)注的模型解釋性的多個(gè)方面都取得了出色的表現(xiàn)。

這篇由褚令洋博士擔(dān)任第一作者的論文已經(jīng)被 KDD 2018 接收為長報(bào)告論文。這屆 KDD 研究論文收到投稿 938 篇，僅錄用了 107 篇長報(bào)告論文，錄用率只有11.4%，另外還接收了 74 篇短報(bào)告論文。在同行評議過程中，這篇論文的四個(gè)審稿人中有兩個(gè)給了滿分。

圖 1: 論文標(biāo)題及作者列表

雷鋒網(wǎng) AI 科技評論把論文的主要內(nèi)容介紹如下。

這篇論文研究了以分段線性函數(shù)為激活函數(shù)的分段線性神經(jīng)網(wǎng)絡(luò)（Piecewise Linear Neural Network， PLNN）。分段線性函數(shù)在不同的定義域區(qū)間內(nèi)對應(yīng)不同的線性函數(shù)。經(jīng)典的 MaxOut 、ReLU 以及 ReLU 的一些變體都是分段線性函數(shù)。從微分學(xué)的角度來看，只要分段數(shù)目足夠多，連續(xù)光滑的 sigmoid 、tanh 等激活函數(shù)也都可以用分段線性函數(shù)來無限逼近。

與現(xiàn)有的規(guī)范做法一樣，該論文通過求解一個(gè)分段線性神經(jīng)網(wǎng)絡(luò) N 的決策特征來解釋 N 的決策行為。但與現(xiàn)有方法大為不同的是，論文對 N 的解釋具有如下兩個(gè)獨(dú)特的優(yōu)點(diǎn)：

1. 準(zhǔn)確性（Exactness）：該論文構(gòu)造了一個(gè)具有簡潔解析形式的新模型 M ，并證明了 M 和 N 在數(shù)學(xué)上等價(jià)。因此，M 的決策特征能夠準(zhǔn)確描述 N 的真實(shí)決策行為。

2. 一致性（Consistency）：該論文證明了 M 是一個(gè)分段線性函數(shù)，并以解析形式給出了 M 在其定義域中的各個(gè)分段區(qū)間，以及 M 在每個(gè)區(qū)間上的線性決策函數(shù)。因?yàn)樵谙嗤侄螀^(qū)間中的所有輸入實(shí)例共享同一個(gè)線性決策函數(shù)的決策特征，所以由模型 M 對這些輸入實(shí)例所提供的解釋是完全一致的。

OpenBox - 通向準(zhǔn)確性和一致性的金鑰匙

該論文的作者們提出了全新的 OpenBox 方法對分段線性神經(jīng)網(wǎng)絡(luò)（PLNN）的決策行為提供準(zhǔn)確、一致的解釋?！窸penBox」 這個(gè)名字也很貼切地描述了作者們使用簡潔的解析方法「打開」深度神經(jīng)網(wǎng)絡(luò)這個(gè)「黑盒子」的過程。

OpenBox 方法適用于所有 PLNN。本文將用以 PReLU 為激活函數(shù)的 PLNN 為例子詳細(xì)介紹 OpenBox 方法的技術(shù)要點(diǎn)。

1. 對單個(gè)輸入實(shí)例的準(zhǔn)確解釋方法

圖 2：隱層神經(jīng)元的激活狀態(tài)（status）

如圖 2 所示，對于以 PReLU 為激活函數(shù)的隱層神經(jīng)元，其激活狀態(tài)（status）分為兩種情況：（1）當(dāng) status = 0 時(shí)，z < 0，該神經(jīng)元使用左半段的線性函數(shù)來建立輸入 z 和輸出 a 之間的映射關(guān)系；（2）當(dāng) status = 1 時(shí)，z >= 0，該神經(jīng)元使用右半段的線性函數(shù)來建立 z 到 a 的映射。值得注意的是，不論神經(jīng)元處于何種激活狀態(tài)，z 和 a 之間的映射關(guān)系始終是線性的。

圖 3：一個(gè) PLNN 和其隱層神經(jīng)元的激活狀態(tài)

如圖 3 所示，給定一個(gè)輸入實(shí)例 x ，我們可以將所有隱層神經(jīng)元的激活狀態(tài)按綠色虛線所示的順序排列成一個(gè)向量 Conf(x)。這個(gè)向量被稱作 PLNN 對輸入實(shí)例 x 的配置（Configuration）。

由于 PLNN 的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)都是給定的，所有神經(jīng)元的激活狀態(tài)都唯一依賴于輸入實(shí)例 x，因此 Conf(x) 由輸入實(shí)例 x 唯一決定。因?yàn)?nbsp;x 本身是一個(gè)給定的常量，所以 Conf(x) 也是一個(gè)常量。因此，圖 3 中 PLNN 的每個(gè)隱層神經(jīng)元的運(yùn)算實(shí)質(zhì)上都是由常量 Conf(x) 所確定的線性運(yùn)算。因?yàn)橐幌盗芯€性運(yùn)算的嵌套依然是線性運(yùn)算，所以在 Conf(x) 為常量的情況下，PLNN 中所有隱藏層的運(yùn)算整體等價(jià)于一個(gè)簡單的線性運(yùn)算 Wx+b。

綜上所述，對于任意給定的輸入實(shí)例 x，整個(gè) PLNN 嚴(yán)格等價(jià)于如公式 1 所示的線性分類器。其中，二元組 (W, b) 以解析形式準(zhǔn)確地給出了該 PLNN 對于輸入實(shí)例 x 的決策平面。（注：證明及求解過程請參見原文）

公式 1

顯然，解釋 PLNN 在單個(gè)輸入實(shí)例上的決策行為并不能很好地解釋 PLNN 的總體行為。下面我們將介紹 OpenBox 如何解釋 PLNN 的總體行為。

2. 對一個(gè)分段線性神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確、一致解釋方法

作者們發(fā)現(xiàn)，在 PLNN 的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)給定的情況下，公式 1 中的線性分類器 F(x) 由 Conf(x) 決定。這意味著對于任意兩個(gè)不同的輸入實(shí)例 x 和 x' 而言，只要 Conf(x)＝Conf(x')，x 和 x' 就共享同一個(gè)線性分類器，而且對 x 和 x' 的解釋也將完全一致。

那么，輸入實(shí)例 x 和 x' 需要滿足什么條件，才能使 Conf(x)＝Conf(x') 呢？ 

圖 4：在 Conf(x) 給定的情況下，每一個(gè)隱層神經(jīng)元的輸入 z 所必須滿足的不等式約束

通過進(jìn)一步推導(dǎo)，作者們發(fā)現(xiàn)在 Conf(x) 給定的情況下，每一個(gè)隱層神經(jīng)元的輸入 z 都必須滿足由該神經(jīng)元激活狀態(tài)所決定的不等式約束。圖 4 給出了當(dāng) Conf(x) = [1, 0, 1, 0, 0, 1, 1] 時(shí)， PLNN 的所有隱層神經(jīng)元的輸入 z 必須滿足的一組線性不等式約束。

因?yàn)槊總€(gè)隱層神經(jīng)元的輸入 z 都是輸入實(shí)例 x 的線性函數(shù)，所以這組關(guān)于輸入 z 的線性不等式約束實(shí)質(zhì)上是對輸入實(shí)例 x 的一組線性不等式約束。我們將這組線性不等式約束的集合定義為 P。

很顯然，所有滿足 P 中線性不等式約束的輸入實(shí)例 x 都具有相同的 Conf(x)，因此這些實(shí)例共享同一個(gè)線性分類器，并具有完全一致的解釋。

實(shí)質(zhì)上，P 中的每一個(gè)不等式都定義了一個(gè)線性邊界，所有線性邊界一起組成了一個(gè)凸多面體（Convex Polytope，CP）。在凸多面體中的所有輸入實(shí)例都滿足 P 中的所有不等式，因此這些輸入實(shí)例 x 都具有相同的 Conf(x)，并且共享同一個(gè)線性分類器。我們把這個(gè)存在于局部區(qū)域的凸多面體和它所對應(yīng)的線性分類器統(tǒng)稱為局部線性分類器（Local Linear Classifier，LLC）。

對于任意給定的 PLNN，不同的隱層神經(jīng)元激活狀態(tài)對應(yīng)著不同的 Conf(x)，而每一個(gè) Conf(x) 都確定了一個(gè)局部線性分類器。因此，一個(gè) PLNN 嚴(yán)格等價(jià)于一組局部線性分類器。我們把這組局部線性分類器的集合標(biāo)記為 M，并將其作為 PLNN 的解釋模型。

因?yàn)?M 和 PLNN 是等價(jià)的，而且同一個(gè)凸多面體中的所有實(shí)例都共享同樣的解釋，所以由 M 所得到的解釋是準(zhǔn)確且一致的。

給定一個(gè)輸入實(shí)例 x，我們?nèi)绾问褂?nbsp;M 來解釋 PLNN 對 x 的決策行為呢？

首先，我們從 M 中找到 x 所屬的局部線性分類器。然后，我們解析出該局部線性分類器的決策特征（Decision Feature）以及其凸多面體的邊界特征（Polytope Boundary Feature，PBF）。最后，我們使用決策特征來解釋 PLNN 對 x 的決策行為，并使用邊界特征來解釋 x 被當(dāng)前局部線性分類器包含的原因。

論文還對計(jì)算 M 的時(shí)間復(fù)雜度進(jìn)行了嚴(yán)格的理論分析和證明。對于 n 個(gè)不同的輸入實(shí)例，若每個(gè)輸入實(shí)例的特征維數(shù)為 d，OpenBox 解釋所有輸入實(shí)例的時(shí)間復(fù)雜度僅為 O(nd)。因?yàn)樘卣骶S數(shù) d 通常被看作常量，所以 OpenBox 的時(shí)間復(fù)雜度是線性的。

實(shí)驗(yàn)部分

作者們把 OpenBox 和目前最頂級(jí)的解釋方法 LIME［Ribeiro et al. KDD 2016］做了實(shí)驗(yàn)對比。實(shí)驗(yàn)重點(diǎn)關(guān)注以下五個(gè)問題：

1. 局部線性分類器長什么樣？

2. LIME 和 OpenBox 給出的解釋是否準(zhǔn)確、一致？

3. 局部線性分類器的決策特征易于理解嗎？如果附加非負(fù)、稀疏約束，能繼續(xù)提升這些決策特征的語義特性嗎？

4. 如何解釋局部線性分類器的邊界特征（PBF）？

5. 利用 OpenBox 提供的解釋，我們能否構(gòu)造新樣本來欺騙 PLNN？能否查出 PLNN 在某些樣本上做出錯(cuò)誤決策的原因？

實(shí)驗(yàn)一：合成數(shù)據(jù)集可視化局部線性分類器

如圖 5(a) 所示，作者們通過二維歐式空間中的均勻采樣生成了一個(gè)包含 20,000 個(gè)實(shí)例的合成數(shù)據(jù)集 SYN。其中，紅色和藍(lán)色樣本點(diǎn)分別代表正例和負(fù)例。

圖 5：OpenBox 在合成數(shù)據(jù)集 SYN 上的實(shí)驗(yàn)結(jié)果

由于實(shí)驗(yàn)?zāi)繕?biāo)是可視化模型 M 中的所有局部線性分類器，整個(gè)實(shí)驗(yàn)過程無需使用測試數(shù)據(jù)，因此作者們使用 SYN 中的所有樣本來訓(xùn)練 PLNN。圖 5(b) 顯示了 PLNN 在 SYN 上的預(yù)測結(jié)果。

圖 5(c) 可視化了模型 M 中每一個(gè)局部線性分類器對應(yīng)的凸多面體。 作者們用相同的顏色標(biāo)出了屬于同一個(gè)局部線性分類器的所有實(shí)例，發(fā)現(xiàn)屬于相同局部線性分類器的實(shí)例都包含于同一個(gè)凸多面體（在二維空間中表現(xiàn)為凸多邊形）。顯然，這個(gè)結(jié)果完全符合論文的理論分析。

圖 5(d) 展示了構(gòu)成模型 M 的決策邊界的所有局部線性分類器。圖中的每一條實(shí)線都表示一個(gè)局部線性分類器的決策邊界，這些局部線性分類器共同構(gòu)成了模型 M 的總體決策邊界。對比圖 5(b) 和 5(d) 可以發(fā)現(xiàn)模型 M 的總體決策邊界和 PLNN 的決策邊界完全一致。這個(gè)結(jié)果證實(shí)了模型 M 和 PLNN 之間的等價(jià)性。

實(shí)驗(yàn)二：FMNIST 數(shù)據(jù)集驗(yàn)證解釋的準(zhǔn)確性和一致性

該實(shí)驗(yàn)在 FMNIST 數(shù)據(jù)集上對比了 LIME 和 OpenBox（模型M）所提供解釋的準(zhǔn)確性和一致性。

圖 6: OpenBox 和 LIME 在 FMNIST-2 數(shù)據(jù)集上的準(zhǔn)確性（Exactness）和一致性（Consistency）

首先，作者們通過比較 LIME、OpenBox（模型 M）和 PLNN 對 FMNIST-2 數(shù)據(jù)集中 600 個(gè)測試樣本的決策輸出來衡量 LIME 和 OpenBox 各自解釋模型的準(zhǔn)確性。如圖 6(a) 所示，LIME 的決策輸出和 PLNN 的決策輸出有著很大不同，這說明 LIME 的解釋模型和 PLNN 非常不同，因此它無法準(zhǔn)確解釋 PLNN 的決策行為。相比之下，OpenBox 計(jì)算出的模型 M 和 PLNN 對于所有測試樣本的決策輸出完全相同，這說明模型 M 等價(jià)于 PLNN，因此它能夠準(zhǔn)確地解釋 PLNN 的決策行為。

隨后，作者們使用輸入實(shí)例 x 和其最近鄰實(shí)例 x' 的解釋結(jié)果的余弦相似度（Cosine Similarity）來衡量 LIME 和 OpenBox 所提供解釋的一致性。余弦相似度越高，解釋模型所提供解釋的一致性就越高。如圖 6(b) 所示，由于模型 M 對同一凸多面體內(nèi)的實(shí)例提供完全相同的解釋，OpenBox 的余弦相似度幾乎總保持為 1。但是最近鄰實(shí)例 x' 與 輸入實(shí)例 x  并不總是屬于同一個(gè)凸多面體，因此 OpenBox 在某些實(shí)例上的余弦相似度小于 1。相比之下，LIME 的余弦相似度遠(yuǎn)低于 OpenBox，這說明 OpenBox 所提供解釋的一致性遠(yuǎn)高于 LIME。

實(shí)驗(yàn)三：OpenBox 提取的決策特征具有人類可理解的強(qiáng)語義特點(diǎn)

除了準(zhǔn)確性和一致性，一個(gè)好的解釋還必須具有人類可理解的強(qiáng)語義特點(diǎn)。在本實(shí)驗(yàn)中，作者們將 OpenBox 在 FMNIST-1 數(shù)據(jù)集上提取的決策特征可視化，發(fā)現(xiàn)這些特征具有易于理解的強(qiáng)語義特點(diǎn)。

圖 7: OpenBox 和邏輯回歸（Logistic Regression，LR）在 FMNIST-1 數(shù)據(jù)集上的決策特征（Decision Feature，DF）

圖 7(a) 和 7(f) 給出了 FMNIST-1 中的兩類圖像的平均圖（Average Image）。其中，圖 7(a) 對應(yīng)正例樣本短靴（Ankle Boot），圖 7(f) 對應(yīng)負(fù)例樣本包包（Bag）。

作者們訓(xùn)練了多個(gè)羅輯回歸模型（Logistic Regression，LR）作為基線（Baseline）。其中，LR 模型是以短靴為正樣本訓(xùn)練得到的，LR-F 模型是以包包為正樣本訓(xùn)練得到的，LR-NS 和 LR-NSF 分別是在 LR 和 LR-F 的基礎(chǔ)上附加稀疏、非負(fù)約束得到的。此外，作者們還訓(xùn)練了兩個(gè) PLNN 模型作為 OpenBox 的解釋對象。其中，PLNN 是以短靴為正樣本訓(xùn)練得到的，PLNN-NS 是在 PLNN 的基礎(chǔ)上附加稀疏、非負(fù)約束得到的。

圖 7 給出了上述所有模型的決策特征，其中 PLNN 和 PLNN-NS 的決策特征由 OpenBox 提供。很明顯，PLNN 的決策特征與 LR 和LR-F 的決策特征具有極為相似語義。將這些決策特征與圖 7(a) 和 7(f) 中的平均圖仔細(xì)對比可以發(fā)現(xiàn)，這些決策特征準(zhǔn)確地描述了短靴和包包之間的差別。更有趣的是，PLNN 的決策特征比 LR 和 LR-F 的決策特征包含了更多細(xì)節(jié)信息。這是因?yàn)?PLNN 的每一個(gè)局部線性分類器僅需區(qū)分包含于凸多面體中的一小部分樣本，所以 PLNN 能夠使用大量的局部線性分類器捕捉更多細(xì)節(jié)特征。然而，LR 和 LR-F 只能使用一個(gè)線性平面劃分所有正負(fù)例樣本，因此它們只能捕捉大量樣本的平均差異。因?yàn)?PLNN 捕捉到了更多細(xì)節(jié)特征，所以它取得了比 LR 和 LR-F 好得多的分類精度。

通過對比 PLNN-NS，LR-NS 和 LR-NSF 的決策特征，我們發(fā)現(xiàn)非負(fù)、稀疏約束對于增強(qiáng) PLNN-NS 決策特征的語義同樣有效。我們還觀察到 PLNN-NS 捕獲了比 LR-NS 和 LR-NSF 多得多的細(xì)節(jié)特征，也因此取得了相對較高的分類精度。

實(shí)驗(yàn)四：OpenBox 提取的邊界特征也具有很強(qiáng)的語義特性

關(guān)于 OpenBox 所提取的局部線性分類器，不僅其決策特征具有很強(qiáng)的語義特點(diǎn)，其凸多面體的邊界特征也具有很強(qiáng)的語義特性。

圖 8: OpenBox 在 FMNIST-1 數(shù)據(jù)集上提取的邊界特征（Polytope Boundary Feature，PBF）

在本實(shí)驗(yàn)中，作者們在 FMNIST-1 上訓(xùn)練了一個(gè) PLNN，并用 OpenBox 解析出該 PLNN 的三個(gè)局部線性分類器對應(yīng)的凸多面體。圖 8(a)-(d) 給出了這些凸多面體的邊界特征，它們分別對應(yīng)了｛包包，短靴，包包，包包｝。圖 8(e) 給出了定義這些邊界特征的線性不等式，以及其對應(yīng)的凸多面體中所包含的各類別樣本數(shù)量。關(guān)于圖 8(e) 中的線性不等式，「／」代表該不等式定義的邊界為無效邊界；「> 0」代表凸多面體內(nèi)的樣本與該不等式的邊界特征具有很強(qiáng)的相關(guān)性；「<= 0」 代表凸多面體內(nèi)的樣本與該不等式的邊界特征沒有強(qiáng)相關(guān)性。

以圖 8(e) 中的第一個(gè)凸多面體為例，由其線性不等式的狀態(tài)可知該凸多面體所包含的樣本與圖 8(b)-(c) 中短靴和包包的邊界特征有強(qiáng)相關(guān)性。因此，第一個(gè)凸多面體中包含了大量的短靴和包包。類似的，對圖 8(e) 中的第二個(gè)凸多面體而言，其中的樣本僅與短靴的邊界特征呈正相關(guān)，因此該凸多面體中的樣本僅有短靴而沒有包包。通過上述實(shí)驗(yàn)結(jié)果不難看出，OpenBox 提取的邊界特征具有很強(qiáng)的語義特性。

除了上述精彩實(shí)驗(yàn)，作者們還利用 OpenBox 提供的解釋來構(gòu)造欺騙 PLNN 的新樣本，以及查找 PLNN 在某些樣本上做出錯(cuò)誤決策的原因。在這些有趣的任務(wù)上，論文中的實(shí)驗(yàn)也給出了明顯優(yōu)于現(xiàn)有方法的結(jié)果。

結(jié)論

作者們通過證明分段線性神經(jīng)網(wǎng)絡(luò)嚴(yán)格等價(jià)于一組局部線性分類器，以簡潔的解析形式給出了一種準(zhǔn)確、一致且高效的神經(jīng)網(wǎng)絡(luò)解釋方法——OpenBox。大量實(shí)驗(yàn)結(jié)果表明，OpenBox 不僅可以準(zhǔn)確、一致地描述分段線性神經(jīng)網(wǎng)絡(luò)的總體行為，還能夠?qū)Ψ侄尉€性神經(jīng)網(wǎng)絡(luò)進(jìn)行有效的欺騙攻擊和錯(cuò)誤查找。作者們談到，他們將繼續(xù)拓展這一方法，使其能夠有效地解釋使用連續(xù)、光滑激活函數(shù)（如：sigmoid、tanh）的深度神經(jīng)網(wǎng)絡(luò)。

詳細(xì)內(nèi)容請參見原論文：https://arxiv.org/abs/1802.06259

本文協(xié)助撰寫：論文第一作者，褚令洋博士。

更多會(huì)議內(nèi)容報(bào)道、優(yōu)秀論文解讀，請繼續(xù)關(guān)注雷鋒網(wǎng)AI 科技評論

參考文獻(xiàn)

[1] Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. "Why should i trust you?: Explaining the predictions of any classifier." Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2016.

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。