0
| 本文作者： AI研習(xí)社-譯站 | 2019-08-19 11:09 |
可解釋性仍然是現(xiàn)代深度學(xué)習(xí)應(yīng)用的最大挑戰(zhàn)之一。最近在計算模型和深度學(xué)習(xí)研究方面的進(jìn)展，使創(chuàng)建高度復(fù)雜的模型成為可能，這些模型可以包括數(shù)千個隱藏層和數(shù)千萬個神經(jīng)元。雖然創(chuàng)建令人驚訝的高級的深度神經(jīng)網(wǎng)絡(luò)模型相對簡單，但理解這些模型如何創(chuàng)建和使用知識仍然是一個挑戰(zhàn)。最近，來自谷歌大腦研究小組的研究人員發(fā)表了一篇論文，提出了一種新的方法，稱為概念激活載體(CAVs)，這為深度學(xué)習(xí)模型的可解釋性提供了一個新的視角。
詳見論文：https://arxiv.org/pdf/1711.11279.pdf
為了理解CAV技術(shù)，了解深度學(xué)習(xí)模型中可解釋性的本質(zhì)是非常重要的。在當(dāng)前的深度學(xué)習(xí)技術(shù)中，模型的準(zhǔn)確性和我們解釋其知識表達(dá)的能力之間存在著永恒的鴻溝。可解釋性-準(zhǔn)確性的矛盾是指能夠復(fù)雜知識表達(dá)的任務(wù)和理解這些任務(wù)是如何完成的之間的矛盾。知識表達(dá)vs理解，性能vs可說明性，效率vs.簡單程度……任何模棱兩可的事物，都可以通過在準(zhǔn)確性和可解釋性之間進(jìn)行權(quán)衡來解釋。
你關(guān)心的是獲得較好的結(jié)果還是理解這些結(jié)果是如何產(chǎn)生的?這是數(shù)據(jù)科學(xué)家在每一個深度學(xué)習(xí)場景中都需要回答的問題。許多深度學(xué)習(xí)技術(shù)在本質(zhì)上是復(fù)雜的，盡管它們在許多場景中都非常精確，但它們可能變得難以解釋。如果我們能將一些最著名的深度學(xué)習(xí)模型繪制在一張圖表上，并將其與準(zhǔn)確性和可解釋性聯(lián)系起來，我們將得到如下結(jié)果：
深度學(xué)習(xí)模型的可解釋性不是一個單一的概念，而是需要跨越多個層次來理解：
要在前面圖中定義的每一層之間實現(xiàn)可解釋性，需要幾個基本的組成部分。在最近的一篇論文中，來自谷歌的研究人員簡述了他們認(rèn)為的可解釋性的一些基本構(gòu)件，詳見論文：https://distill.pub/2018/building-blocks/。
谷歌將可解釋性的原則總結(jié)如下：
理解隱藏層的作用:深度學(xué)習(xí)模型中的大部分知識都是在隱藏層中形成的。在宏觀層面理解不同隱藏層的功能對于能夠解釋深度學(xué)習(xí)模型是至關(guān)重要的。
理解節(jié)點是如何被激活的：可解釋性的關(guān)鍵不在于理解網(wǎng)絡(luò)中單個神經(jīng)元的功能，而在于理解在同一空間位置一起激活的相互連接的神經(jīng)元群。通過一組相互連接的神經(jīng)元群對網(wǎng)絡(luò)進(jìn)行分割，可以提供一個更簡單的抽象層次來理解其功能。
理解概念是如何形成的：理解深層神經(jīng)網(wǎng)絡(luò)是如何形成單個概念，然后將這些概念組裝成最終的輸出，這是可解釋性的另一個關(guān)鍵構(gòu)建模塊。
這些原則是谷歌CAV技術(shù)的理論基礎(chǔ)。
按照上一節(jié)討論的想法，解決解釋性比較恰當(dāng)?shù)姆椒☉?yīng)該是根據(jù)它所考慮的輸入特性來描述深度學(xué)習(xí)模型的預(yù)測。一個經(jīng)典的例子是logistic回歸分類器，其中系數(shù)權(quán)重通常被解釋為每個特征的重要程度。然而，大多數(shù)深度學(xué)習(xí)模型處理的特征，如像素值，并不對應(yīng)于人類容易理解的高級概念。此外，模型的內(nèi)部值(例如，神經(jīng)元的激活)似乎是不可理解的。雖然像顯著性檢測這樣的技術(shù)在測量特定像素區(qū)域的重要程度方面是有效的，但是它們?nèi)匀徊荒芘c更高層次的概念相關(guān)聯(lián)。
CAV的核心思想是度量模型輸出的概念的相關(guān)性。CAV的概念只是指一個向量，指向該概念值(例如，激活值)的方向。在他們的論文中，谷歌研究小組簡述了一種新的線性可解釋性方法，被稱為CAV測試(TCAV)，它使用方向?qū)?shù)來量化模型預(yù)測對于CAV學(xué)習(xí)的高級概念的敏感性。在概念上，TCAV的定義有四個目標(biāo)：
易訪問性：幾乎不需要用戶機(jī)器學(xué)習(xí)專業(yè)知識。
適應(yīng)性：適應(yīng)任何概念(如性別)，并不限于訓(xùn)練中獲得的概念。
即插即用：無需對機(jī)器學(xué)習(xí)模型進(jìn)行任何再訓(xùn)練或修改即可有效。
全局量化：可以用單個量化度量解釋整個類別或示例集，而不只是解釋單個數(shù)據(jù)輸入。
為了實現(xiàn)上述目標(biāo)，TCAV方法定義為三個基本步驟：
1) 定義模型的相關(guān)概念。
2) 理解這些概念對預(yù)測的敏感性。
3) 對各概念相對于每個模型所需要預(yù)測的類別的相對重要性進(jìn)行整體定量解釋。
TCAV方法的第一步是確定感興趣的概念(CAV)。TCAV方法只需要選擇一組表示這個概念的示例，或者找到一個帶有這個概念標(biāo)簽的數(shù)據(jù)集，就可以實現(xiàn)這一點。CAVs是通過訓(xùn)練線性分類器來區(qū)分是概念樣本激活的還是其他的任意層中的樣本所激活的。
第二步是生成一個TCAV評分，量化特定概念對預(yù)測結(jié)果的敏感性。TCAV是通過使用方向?qū)?shù)來實現(xiàn)這一目的的，方向?qū)?shù)可以在神經(jīng)激活層測量ML預(yù)測相對于概念輸入方向變化的敏感度。
最后一步是評估學(xué)習(xí)的CAVs的整體相關(guān)性，避免依賴于不相關(guān)的CAVs。畢竟，TCAV技術(shù)的一個缺點就是會學(xué)習(xí)可能毫無意義的CAV概念。畢竟，使用隨機(jī)選擇的一組圖像同樣會產(chǎn)生CAV?；谶@種隨機(jī)概念的測試不太可能有意義。為了解決這個問題，TCAV引入了一個重要性統(tǒng)計測試，它根據(jù)隨機(jī)的訓(xùn)練次數(shù)(通常為500次)來評估CAV算法。這個想法有意義地方在于保持TCAV分?jǐn)?shù)在訓(xùn)練過程中保持一致。
谷歌大腦進(jìn)行了幾項實驗來評估TCAV與其他解釋方法相比的效率。在其中一個最引人注目的測試中，研究小組使用了一個顯著性map，試圖預(yù)測標(biāo)題或圖片的相關(guān)性，以理解出租車的概念。顯著性map的輸出如下：
谷歌大腦研究小組使用這些圖像作為測試數(shù)據(jù)集，在Amazon Mechanical Turk上對50人進(jìn)行了實驗。每個人做了一系列的6個任務(wù)(3個對象類 x 2個顯著性map類)，都是針對一個模型。任務(wù)順序是隨機(jī)的。在每一項任務(wù)中，工作人員首先看到四幅圖像及其相應(yīng)的顯著性掩模圖。然后他們對自己認(rèn)為圖片對模型有多重要(10分制)，標(biāo)題對模型有多重要(10分制)，以及他們對自己的答案有多確定(5分制)進(jìn)行打分。總共對60張?zhí)囟ǖ膱D像(120張?zhí)囟ǖ娘@著性map圖)進(jìn)行了評分。
實驗的基本事實是，圖像概念比標(biāo)題概念更相關(guān)。然而，當(dāng)人們看到顯著性map時，他們認(rèn)為標(biāo)題概念更重要(零噪聲模型)，或者沒有辨別出區(qū)別(100%噪聲模型)。與此相反，TCAV結(jié)果正確地表明，圖像概念更為重要。
TCAV是近年來研究神經(jīng)網(wǎng)絡(luò)可解釋性的最具創(chuàng)新性的方法之一。最初技術(shù)的代碼可以在GitHub上找到，我們期待看到這里的一些想法被主流的深度學(xué)習(xí)框架所采用。
點擊【用概念激活向量 (CAVs) 理解深度網(wǎng)絡(luò)】查看相關(guān)內(nèi)容和參考文獻(xiàn)噢~
今日資源推薦：AI入門、大數(shù)據(jù)、機(jī)器學(xué)習(xí)免費(fèi)教程
35本世界頂級原本教程限時開放，這類書單由知名數(shù)據(jù)科學(xué)網(wǎng)站 KDnuggets 的副主編，同時也是資深的數(shù)據(jù)科學(xué)家、深度學(xué)習(xí)技術(shù)愛好者的Matthew Mayo推薦，他在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域具有豐富的科研和從業(yè)經(jīng)驗。
點擊鏈接即可獲?。?a target="_blank" rel=nofollow>https://ai.yanxishe.com/page/resourceDetail/417
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
