可解釋性仍然是現(xiàn)代深度學(xué)習(xí)應(yīng)用的最大挑戰(zhàn)之一。最近在計(jì)算模型和深度學(xué)習(xí)研究方面的進(jìn)展，使創(chuàng)建高度復(fù)雜的模型成為可能，這些模型可以包括數(shù)千個(gè)隱藏層和數(shù)千萬(wàn)個(gè)神經(jīng)元。雖然創(chuàng)建令人驚訝的高級(jí)的深度神經(jīng)網(wǎng)絡(luò)模型相對(duì)簡(jiǎn)單，但理解這些模型如何創(chuàng)建和使用知識(shí)仍然是一個(gè)挑戰(zhàn)。最近，來(lái)自谷歌大腦研究小組的研究人員發(fā)表了一篇論文，提出了一種新的方法，稱(chēng)為概念激活載體(CAVs)，這為深度學(xué)習(xí)模型的可解釋性提供了一個(gè)新的視角。

詳見(jiàn)論文：https://arxiv.org/pdf/1711.11279.pdf

  可解釋性vs準(zhǔn)確性

為了理解CAV技術(shù)，了解深度學(xué)習(xí)模型中可解釋性的本質(zhì)是非常重要的。在當(dāng)前的深度學(xué)習(xí)技術(shù)中，模型的準(zhǔn)確性和我們解釋其知識(shí)表達(dá)的能力之間存在著永恒的鴻溝?？山忉屝?準(zhǔn)確性的矛盾是指能夠復(fù)雜知識(shí)表達(dá)的任務(wù)和理解這些任務(wù)是如何完成的之間的矛盾。知識(shí)表達(dá)vs理解，性能vs可說(shuō)明性，效率vs.簡(jiǎn)單程度……任何模棱兩可的事物，都可以通過(guò)在準(zhǔn)確性和可解釋性之間進(jìn)行權(quán)衡來(lái)解釋。

你關(guān)心的是獲得較好的結(jié)果還是理解這些結(jié)果是如何產(chǎn)生的?這是數(shù)據(jù)科學(xué)家在每一個(gè)深度學(xué)習(xí)場(chǎng)景中都需要回答的問(wèn)題。許多深度學(xué)習(xí)技術(shù)在本質(zhì)上是復(fù)雜的，盡管它們?cè)谠S多場(chǎng)景中都非常精確，但它們可能變得難以解釋。如果我們能將一些最著名的深度學(xué)習(xí)模型繪制在一張圖表上，并將其與準(zhǔn)確性和可解釋性聯(lián)系起來(lái)，我們將得到如下結(jié)果：

深度學(xué)習(xí)模型的可解釋性不是一個(gè)單一的概念，而是需要跨越多個(gè)層次來(lái)理解：

要在前面圖中定義的每一層之間實(shí)現(xiàn)可解釋性，需要幾個(gè)基本的組成部分。在最近的一篇論文中，來(lái)自谷歌的研究人員簡(jiǎn)述了他們認(rèn)為的可解釋性的一些基本構(gòu)件，詳見(jiàn)論文：https://distill.pub/2018/building-blocks/。

谷歌將可解釋性的原則總結(jié)如下：

• 理解隱藏層的作用:深度學(xué)習(xí)模型中的大部分知識(shí)都是在隱藏層中形成的。在宏觀層面理解不同隱藏層的功能對(duì)于能夠解釋深度學(xué)習(xí)模型是至關(guān)重要的。

• 理解節(jié)點(diǎn)是如何被激活的：可解釋性的關(guān)鍵不在于理解網(wǎng)絡(luò)中單個(gè)神經(jīng)元的功能，而在于理解在同一空間位置一起激活的相互連接的神經(jīng)元群。通過(guò)一組相互連接的神經(jīng)元群對(duì)網(wǎng)絡(luò)進(jìn)行分割，可以提供一個(gè)更簡(jiǎn)單的抽象層次來(lái)理解其功能。

• 理解概念是如何形成的：理解深層神經(jīng)網(wǎng)絡(luò)是如何形成單個(gè)概念，然后將這些概念組裝成最終的輸出，這是可解釋性的另一個(gè)關(guān)鍵構(gòu)建模塊。 

這些原則是谷歌CAV技術(shù)的理論基礎(chǔ)。  

  激活概念向量

按照上一節(jié)討論的想法，解決解釋性比較恰當(dāng)?shù)姆椒☉?yīng)該是根據(jù)它所考慮的輸入特性來(lái)描述深度學(xué)習(xí)模型的預(yù)測(cè)。一個(gè)經(jīng)典的例子是logistic回歸分類(lèi)器，其中系數(shù)權(quán)重通常被解釋為每個(gè)特征的重要程度。然而，大多數(shù)深度學(xué)習(xí)模型處理的特征，如像素值，并不對(duì)應(yīng)于人類(lèi)容易理解的高級(jí)概念。此外，模型的內(nèi)部值(例如，神經(jīng)元的激活)似乎是不可理解的。雖然像顯著性檢測(cè)這樣的技術(shù)在測(cè)量特定像素區(qū)域的重要程度方面是有效的，但是它們?nèi)匀徊荒芘c更高層次的概念相關(guān)聯(lián)。 

CAV的核心思想是度量模型輸出的概念的相關(guān)性。CAV的概念只是指一個(gè)向量，指向該概念值(例如，激活值)的方向。在他們的論文中，谷歌研究小組簡(jiǎn)述了一種新的線性可解釋性方法，被稱(chēng)為CAV測(cè)試(TCAV)，它使用方向?qū)?shù)來(lái)量化模型預(yù)測(cè)對(duì)于CAV學(xué)習(xí)的高級(jí)概念的敏感性。在概念上，TCAV的定義有四個(gè)目標(biāo)：

• 易訪問(wèn)性：幾乎不需要用戶機(jī)器學(xué)習(xí)專(zhuān)業(yè)知識(shí)。 

• 適應(yīng)性：適應(yīng)任何概念(如性別)，并不限于訓(xùn)練中獲得的概念。

• 即插即用：無(wú)需對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行任何再訓(xùn)練或修改即可有效。

• 全局量化：可以用單個(gè)量化度量解釋整個(gè)類(lèi)別或示例集，而不只是解釋單個(gè)數(shù)據(jù)輸入。 

為了實(shí)現(xiàn)上述目標(biāo)，TCAV方法定義為三個(gè)基本步驟：

1) 定義模型的相關(guān)概念。

2) 理解這些概念對(duì)預(yù)測(cè)的敏感性。

3) 對(duì)各概念相對(duì)于每個(gè)模型所需要預(yù)測(cè)的類(lèi)別的相對(duì)重要性進(jìn)行整體定量解釋。

TCAV方法的第一步是確定感興趣的概念(CAV)。TCAV方法只需要選擇一組表示這個(gè)概念的示例，或者找到一個(gè)帶有這個(gè)概念標(biāo)簽的數(shù)據(jù)集，就可以實(shí)現(xiàn)這一點(diǎn)。CAVs是通過(guò)訓(xùn)練線性分類(lèi)器來(lái)區(qū)分是概念樣本激活的還是其他的任意層中的樣本所激活的。 

第二步是生成一個(gè)TCAV評(píng)分，量化特定概念對(duì)預(yù)測(cè)結(jié)果的敏感性。TCAV是通過(guò)使用方向?qū)?shù)來(lái)實(shí)現(xiàn)這一目的的，方向?qū)?shù)可以在神經(jīng)激活層測(cè)量ML預(yù)測(cè)相對(duì)于概念輸入方向變化的敏感度。 

最后一步是評(píng)估學(xué)習(xí)的CAVs的整體相關(guān)性，避免依賴(lài)于不相關(guān)的CAVs。畢竟，TCAV技術(shù)的一個(gè)缺點(diǎn)就是會(huì)學(xué)習(xí)可能毫無(wú)意義的CAV概念。畢竟，使用隨機(jī)選擇的一組圖像同樣會(huì)產(chǎn)生CAV?；谶@種隨機(jī)概念的測(cè)試不太可能有意義。為了解決這個(gè)問(wèn)題，TCAV引入了一個(gè)重要性統(tǒng)計(jì)測(cè)試，它根據(jù)隨機(jī)的訓(xùn)練次數(shù)(通常為500次)來(lái)評(píng)估CAV算法。這個(gè)想法有意義地方在于保持TCAV分?jǐn)?shù)在訓(xùn)練過(guò)程中保持一致。 

  運(yùn)動(dòng) TCAV

谷歌大腦進(jìn)行了幾項(xiàng)實(shí)驗(yàn)來(lái)評(píng)估TCAV與其他解釋方法相比的效率。在其中一個(gè)最引人注目的測(cè)試中，研究小組使用了一個(gè)顯著性map，試圖預(yù)測(cè)標(biāo)題或圖片的相關(guān)性，以理解出租車(chē)的概念。顯著性map的輸出如下：

谷歌大腦研究小組使用這些圖像作為測(cè)試數(shù)據(jù)集，在Amazon Mechanical Turk上對(duì)50人進(jìn)行了實(shí)驗(yàn)。每個(gè)人做了一系列的6個(gè)任務(wù)(3個(gè)對(duì)象類(lèi) x 2個(gè)顯著性map類(lèi))，都是針對(duì)一個(gè)模型。任務(wù)順序是隨機(jī)的。在每一項(xiàng)任務(wù)中，工作人員首先看到四幅圖像及其相應(yīng)的顯著性掩模圖。然后他們對(duì)自己認(rèn)為圖片對(duì)模型有多重要(10分制)，標(biāo)題對(duì)模型有多重要(10分制)，以及他們對(duì)自己的答案有多確定(5分制)進(jìn)行打分?？偣矊?duì)60張?zhí)囟ǖ膱D像(120張?zhí)囟ǖ娘@著性map圖)進(jìn)行了評(píng)分。 

實(shí)驗(yàn)的基本事實(shí)是，圖像概念比標(biāo)題概念更相關(guān)。然而，當(dāng)人們看到顯著性map時(shí)，他們認(rèn)為標(biāo)題概念更重要(零噪聲模型)，或者沒(méi)有辨別出區(qū)別(100%噪聲模型)。與此相反，TCAV結(jié)果正確地表明，圖像概念更為重要。 

TCAV是近年來(lái)研究神經(jīng)網(wǎng)絡(luò)可解釋性的最具創(chuàng)新性的方法之一。最初技術(shù)的代碼可以在GitHub上找到，我們期待看到這里的一些想法被主流的深度學(xué)習(xí)框架所采用。

via https://towardsdatascience.com/this-new-google-technique-help-us-understand-how-neural-networks-are-thinking-229f783300

點(diǎn)擊【用概念激活向量 (CAVs) 理解深度網(wǎng)絡(luò)】查看相關(guān)內(nèi)容和參考文獻(xiàn)噢~

今日資源推薦：AI入門(mén)、大數(shù)據(jù)、機(jī)器學(xué)習(xí)免費(fèi)教程

35本世界頂級(jí)原本教程限時(shí)開(kāi)放，這類(lèi)書(shū)單由知名數(shù)據(jù)科學(xué)網(wǎng)站 KDnuggets 的副主編，同時(shí)也是資深的數(shù)據(jù)科學(xué)家、深度學(xué)習(xí)技術(shù)愛(ài)好者的Matthew Mayo推薦，他在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域具有豐富的科研和從業(yè)經(jīng)驗(yàn)。

點(diǎn)擊鏈接即可獲?。?a target="_blank" rel=nofollow>https://ai.yanxishe.com/page/resourceDetail/417

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。