雷鋒網(wǎng) AI 科技評論按：現(xiàn)代神經(jīng)網(wǎng)絡(luò)經(jīng)常被吐槽為「黑盒子」。盡管它們在各類問題上都取得了成功，但我們?nèi)詿o法直觀地理解它們是如何在內(nèi)部做出決策的。隨著人工智能系統(tǒng)被應(yīng)用到更多重要的場景中，更好地了解其內(nèi)部決策過程將有助于研究者能夠及時發(fā)現(xiàn)其中的缺陷和錯誤。對此，谷歌 AI 研究院與 OpenAI 一起合作提出了能夠弄清這個「黑盒子」里面到底有什么的新方法——激活圖集。谷歌在博客上發(fā)布文章介紹了這一意義重大的成果，雷鋒網(wǎng) AI 科技評論編譯如下。

神經(jīng)網(wǎng)絡(luò)已成為圖像相關(guān)計算任務(wù)中的實際標(biāo)準(zhǔn)，目前已被部署在多種場景中：從自動標(biāo)記圖像庫中的照片到自動駕駛系統(tǒng)，我們都能看到神經(jīng)網(wǎng)絡(luò)的身影。鑒于機器學(xué)習(xí)系統(tǒng)的在執(zhí)行方面的準(zhǔn)確性比不使用機器學(xué)習(xí)、直接由人為設(shè)計的系統(tǒng)更好，機器學(xué)習(xí)系統(tǒng)開始變得無處不在。但是，由于這些系統(tǒng)所了解的基本信息都是在自動訓(xùn)練過程中學(xué)習(xí)到的，因此我們對于網(wǎng)絡(luò)處理其給定任務(wù)的整個過程的了解，有時仍然隔著一層紗。

近期，經(jīng)過與 OpenAI 同事的通力合作，我們在發(fā)表的《用激活圖集探索神經(jīng)網(wǎng)絡(luò)》論文中（「Exploring Neural Networks with Activation Atlases」，論文地址：https://distill.pub/2019/activation-atlas）論文中，描述了一種新技術(shù)，旨在幫助回答「給定一張圖像時，圖像分類的神經(jīng)網(wǎng)絡(luò)能“看到”什么」的問題。激活圖集提供了一種融入卷積視覺網(wǎng)絡(luò)的新方法，為網(wǎng)絡(luò)的隱藏層內(nèi)部提供了一個全局的、層級化和可解釋的概念綜述。我們認(rèn)為，激活圖集揭示了機器針對圖像學(xué)到的字母表，即一系列簡單、基礎(chǔ)的概念，它們被組合并重組進而形成更復(fù)雜得多的視覺概念。同時，我們還開源了部分 jupyter notebooks 的代碼，以期幫助開發(fā)者們開始制作自己的激活圖集。

InceptionV1 視覺分類網(wǎng)絡(luò)其中一層的激活圖的詳細視圖。它展示了網(wǎng)絡(luò)用于對圖像進行分類的許多視覺檢測器，例如不同類型的水果狀紋理，蜂窩圖案和類似織物的紋理。

下面顯示的激活圖集是根據(jù)在 ImageNet 數(shù)據(jù)集上訓(xùn)練的卷積圖像分類網(wǎng)絡(luò) Inceptionv1 構(gòu)建的。通常，給分類網(wǎng)絡(luò)輸入一張圖像，然后令其標(biāo)記出該圖像屬于 1000 個預(yù)定類別中的哪一類，例如「意大利面」，「通氣管」或「煎鍋」。為此，我們通過一個約十層的網(wǎng)絡(luò)來評估圖像數(shù)據(jù)，該網(wǎng)絡(luò)每層由數(shù)百個神經(jīng)元組成，且對于不同類型的圖塊，每個神經(jīng)元在圖像塊的激活程度不同。某層中的一個神經(jīng)元可能對「狗耳朵」圖像塊的激活程度更大，而另一層的另一個神經(jīng)元可能會對高對比度的「垂直線」圖像更敏感。

我們從一百萬張圖像的神經(jīng)網(wǎng)絡(luò)的每個層中收集到了內(nèi)部激活圖，并構(gòu)建了一套激活圖集。這些激活圖由一組復(fù)雜的高維向量表示，通過 UMAP 投影到有用的二維布局中，其中 UMAP 是一種保持原始高維空間局部結(jié)構(gòu)的降維技術(shù)。

這就需要組織激活向量，并且因為激活圖太多而無法一目了然，所以我們也需要將它們整合成一個更易于管理的數(shù)量。為此，我們在之前創(chuàng)建的 2D 布局上提前繪制好了網(wǎng)格。對于網(wǎng)格中的每個單元格，我們對位于其邊界內(nèi)的所有激活取均值，并使用特征可視化來創(chuàng)建圖標(biāo)表示。

左：通過網(wǎng)絡(luò)輸入一組一百萬張隨機圖像，每個圖像收集一個隨機空間激活圖。中間：通過 UMAP 提供激活以將其降維到二維。然后繪制，相似的激活圖彼此臨近。右：然后我們繪制一個網(wǎng)格，對一個單元格內(nèi)的激活取均值，并對平均激活做特征轉(zhuǎn)置。

下面我們可以看到僅一層神經(jīng)網(wǎng)絡(luò)的激活圖集（請記住，這些分類模型可以有六個或更多層）。它顯示了在該層，網(wǎng)絡(luò)在做圖像分類時學(xué)到的一般視覺概念。這張圖集第一眼看上去氣勢如虹——感覺很多東西在一起涌過來！這種多樣性反映了模型所演化出來的各種視覺抽象和概念。

總覽多層（mixed4c）Inceptionv1 網(wǎng)絡(luò)中其中一層的的激活圖集。它大約是整個網(wǎng)絡(luò)的一半。

在這個細節(jié)中，我們可以看到不同類型的葉子和植物的探測器

在這里，我們可以看到不同的水，湖泊和沙洲探測器。

在這里，我們看到不同類型的建筑物和橋梁。

正如我們前面提到的，該網(wǎng)絡(luò)中還有更多層。讓我們看一下這個層之前的層，并深入網(wǎng)絡(luò)中探索視覺概念是如何變得更加細化的（每個層在前一層的激活頂部構(gòu)建其激活）。

在前面的一層——mixed4a 中，有一個模糊的「哺乳動物」區(qū)域。

通過網(wǎng)絡(luò)的下一層，mixed4b，動物和人類已被分離開，中間出現(xiàn)了一些水果和食物。

通過層 mixed4c，這些概念被進一步細化并區(qū)分為小「半島」。

在這里，我們已經(jīng)看到了從一層發(fā)展到另一層的全局構(gòu)架，但每個概念在層的發(fā)展過程中也變得更加具體和復(fù)雜。如果我們聚焦于有助于特定分類的三層區(qū)域，比如「白菜」，我們可以清楚地看到這一點。

左圖：與其他圖層相比，這個早期圖層發(fā)特征非常不突出。中心：在中間層，圖像完全與葉子類似，但它們可以是任何類型的植物。右圖：在最后一層，圖像非常明顯像卷心菜，它們的葉子彎曲成圓形球。

這里還有另一個值得注意的現(xiàn)象：當(dāng)你從一層到另一層移動時，不僅概念被細化，還會出現(xiàn)舊概念組合之外的新概念。

您可以看到，在 mixed4c（左和中）中，沙子和水是完全不同的概念，兩者都有被分類為「沙洲」的明顯屬性。將其與后一層（右），mixed5b 進行對比，以上兩種概念似乎被融合為了一個激活圖。

除了放大特定圖層整個激活圖集的某些區(qū)域外，我們還可以在 ImageNet 中僅為 1000 個類中的一類創(chuàng)建特定圖層的圖集。下面將展示網(wǎng)絡(luò)分類任務(wù)中的常用概念和探測器，例如「紅狐貍」。

這里，我們可以更清楚地看到網(wǎng)絡(luò)正在用什么標(biāo)準(zhǔn)來分類「紅狐貍」。他們有尖尖的耳朵，被紅色的皮毛包圍的白色嘴鼻，以及繁茂樹木或雪域的背景。

這里，我們可以看到「瓦屋頂」探測器的許多不同尺度和角度。

對于「野山羊」，我們看到了角和棕色皮毛的探測器，還有我們可能會發(fā)現(xiàn)這些動物的環(huán)境，如巖石山坡。

像瓦片屋頂?shù)奶綔y器一樣，「朝鮮薊」也有許多不同大小的探測器，用于探測朝鮮薊的紋理，但我們也有一些紫色的花探測器，它們可能是檢測朝鮮薊植物的花朵。

這些圖集不僅揭示了模型中細微的視覺抽象概念，而且還揭示了高層次的誤解。例如，通過查看「大白鯊」的激活圖集，我們可以看到水和三角形的鰭（正如預(yù)期的那樣），但我們也會看到看起來像棒球的東西。這暗示了這個研究模型所采用的捷徑，它將紅色棒球與大白鯊的張開嘴混合在一起。

我們可以用棒球圖像的補丁來測試這一點，以將模型的特定圖像的分類從「灰鯨」切換為「大白鯊」。

我們希望激活圖集能成為一種使機器學(xué)習(xí)更易于理解且解釋性更強的技術(shù)的有用工具。為了幫助開發(fā)者入門，我們還發(fā)布了部分 jupyter notebooks 代碼（https://github.com/tensorflow/lucid#activation-atlas-notebooks），通過單擊 colab（https://colab.research.google.com/） 就能立即在瀏覽器中執(zhí)行程序。它們創(chuàng)建的基礎(chǔ)就是之前發(fā)布的工具包 Lucid，其中包括了許多其他可解釋性可視化技術(shù)的代碼。很期待各位能有所發(fā)現(xiàn)！

via：https://ai.googleblog.com/2019/03/exploring-neural-networks.html   雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。