雷鋒網(wǎng)AI科技評(píng)論按：深度神經(jīng)網(wǎng)絡(luò)由許多單獨(dú)的神經(jīng)元組成，它們以復(fù)雜且違反人直覺(jué)的方式組合起來(lái)，以解決各種具有挑戰(zhàn)性的任務(wù)。這種復(fù)雜性一方面賦予神經(jīng)網(wǎng)絡(luò)神秘力量，另一方面，也讓它們變成了人類(lèi)難懂的黑匣子。

了解神經(jīng)網(wǎng)絡(luò)的深層功能對(duì)于解釋它們是如何做決定至關(guān)重要，并且能幫我們構(gòu)建更強(qiáng)大的系統(tǒng)。就像，你不了解各個(gè)齒輪如何配合工作，你在試圖做一個(gè)鐘表時(shí)就很困難。

要想理解神經(jīng)科學(xué)和深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)，一種方法是弄清單個(gè)神經(jīng)元的作用，尤其是那些易于解釋的神經(jīng)元。

DeepMind最新的一篇關(guān)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的論文《On the Importance of Single Directions for Generalization》（https://arxiv.org/abs/1803.06959）將投稿在第六屆 ICLR（國(guó)際學(xué)習(xí)表征會(huì)議）。這項(xiàng)研究所采用的方法是受數(shù)十年臨床神經(jīng)系統(tǒng)科學(xué)的啟發(fā)，通過(guò)探索損傷神經(jīng)元的影響來(lái)確定小規(guī)模神經(jīng)元組對(duì)神經(jīng)網(wǎng)絡(luò)的重要性。深度神經(jīng)網(wǎng)絡(luò)中的那些越容易解釋的神經(jīng)元對(duì)神經(jīng)網(wǎng)絡(luò)的計(jì)算性能越重要嗎？

研究人員通過(guò)刪除單個(gè)神經(jīng)元或神經(jīng)元組來(lái)衡量它是否對(duì)網(wǎng)絡(luò)的性能產(chǎn)生了影響。這項(xiàng)實(shí)驗(yàn)有了兩個(gè)令人驚訝的發(fā)現(xiàn)：

• 雖然以前的許多研究集中于易理解，可解釋的單個(gè)神經(jīng)元（例如「貓神經(jīng)元」，或深層網(wǎng)絡(luò)的隱藏層中的神經(jīng)元，它們只對(duì)貓的圖像有反應(yīng)），但我們發(fā)現(xiàn)這些可解釋的神經(jīng)元和那些難以理解，不可描述的神經(jīng)元對(duì)神經(jīng)網(wǎng)絡(luò)的影響，并沒(méi)什么不同。

• 在同樣刪除神經(jīng)元的情況下，能正確分類(lèi)沒(méi)見(jiàn)過(guò)的圖像的網(wǎng)絡(luò)比僅能對(duì)看到過(guò)的圖像進(jìn)行分類(lèi)的網(wǎng)絡(luò)恢復(fù)的更快。換句話說(shuō)，推理性好的網(wǎng)絡(luò)比那些單純的記憶網(wǎng)絡(luò)更不依賴于單一方向。

「貓神經(jīng)元」可能更易解釋?zhuān)鼈儾⒉恢匾?/span>

在神經(jīng)科學(xué)和深度學(xué)習(xí)中，廣泛分析了僅對(duì)單一輸入類(lèi)別的圖像（例如狗）作出響應(yīng)的易解釋神經(jīng)元（「選擇性」神經(jīng)元）。這導(dǎo)致了在深度學(xué)習(xí)中對(duì)貓神經(jīng)元，情緒神經(jīng)元和括號(hào)神經(jīng)元過(guò)度強(qiáng)調(diào)它們的重要性; 在神經(jīng)科學(xué)中，對(duì)例如詹妮弗安妮斯頓神經(jīng)元，以及一些類(lèi)似的神經(jīng)元的過(guò)度強(qiáng)調(diào)等等。然而，這些占少數(shù)的高選擇性神經(jīng)元，以及大多數(shù)低選擇性、更令人費(fèi)解且難以解釋的神經(jīng)元之間，哪種相對(duì)更重要仍然未知。

原句好拗口啊……

具有明顯響應(yīng)模式（例如，對(duì)貓活躍，對(duì)其他所有活動(dòng)不活躍）的神經(jīng)元比那些隨著圖像隨機(jī)活動(dòng)或不活動(dòng)的令人難理解的神經(jīng)元更容易解釋。

為了評(píng)估神經(jīng)元的重要性，研究人員測(cè)量了當(dāng)神經(jīng)元被刪除時(shí)，圖像分類(lèi)任務(wù)的網(wǎng)絡(luò)性能是如何變化。 如果一個(gè)神經(jīng)元是非常重要的，刪除它應(yīng)該是具有高度破壞性的并且大大降低網(wǎng)絡(luò)性能，而刪除一個(gè)不重要的神經(jīng)元應(yīng)該沒(méi)有什么影響。 神經(jīng)科學(xué)家經(jīng)常進(jìn)行類(lèi)似的實(shí)驗(yàn)，盡管它們很難在人造神經(jīng)網(wǎng)絡(luò)中獲得這些實(shí)驗(yàn)所必需的細(xì)粒度和精確度。

上圖是在一個(gè)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)上刪除神經(jīng)元產(chǎn)生影響的概念圖，較深的神經(jīng)元更活躍。  需要注意的是，刪除一個(gè)或兩個(gè)神經(jīng)元對(duì)輸出影響很小，而刪除大部分神經(jīng)元會(huì)產(chǎn)生很大的影響，并且一些神經(jīng)元比其他神經(jīng)元更重要！

令人驚訝的是，研究員發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的選擇和重要性之間幾乎沒(méi)有關(guān)系。換句話說(shuō)，「貓神經(jīng)元」并不比令人難解的神經(jīng)元更重要。這一發(fā)現(xiàn)與最近在神經(jīng)科學(xué)方面的工作相呼應(yīng)，已經(jīng)證明令人難解的神經(jīng)元實(shí)際上可以提供豐富的信息，并且表明今后在探索上必須超越最易于解釋的神經(jīng)元，以便理解深度神經(jīng)網(wǎng)絡(luò)。

雖然「貓神經(jīng)元」可能更易解釋?zhuān)鼈儾⒉槐饶切╇y解釋?zhuān)瑳](méi)有明顯偏好的神經(jīng)元更重要。 上圖反映了我們所期望的重要性和解釋性之間的不同關(guān)系！

盡管可解釋神經(jīng)元在直覺(jué)上更容易理解（比如，「它喜歡狗」），但它們并沒(méi)有比那些沒(méi)有明顯偏好的難解釋神經(jīng)元更重要。

推理性好的網(wǎng)絡(luò)很難打破

我們?cè)噲D構(gòu)建智能系統(tǒng)，如果系統(tǒng)能夠推理出新的場(chǎng)景，我們只能稱(chēng)之為系統(tǒng)智能。例如，一個(gè)圖像分類(lèi)網(wǎng)絡(luò)只能對(duì)以前看過(guò)的特定狗圖像進(jìn)行分類(lèi)，而不能對(duì)同一只狗的新圖像進(jìn)行分類(lèi)，這個(gè)網(wǎng)絡(luò)是沒(méi)有價(jià)值的。只有在新樣本中依然能智能分類(lèi)，這些系統(tǒng)才能獲得它們的效用。去年，Google Brain、Berkeley 和 DeepMind 合作的論文在 ICLR 2017 上獲得最佳論文，表明深層網(wǎng)絡(luò)可以簡(jiǎn)單地記住他們接受訓(xùn)練的每個(gè)圖像，而不是以更像人類(lèi)的方式在學(xué)習(xí)（例如，了解抽象的「狗」概念）。

然而，網(wǎng)絡(luò)是否已經(jīng)學(xué)會(huì)了一種能夠推理到新的任務(wù)場(chǎng)景中的解決方案，這往往是不清楚的。通過(guò)逐漸刪除越來(lái)越大的神經(jīng)元組，研究員發(fā)現(xiàn)，相比于簡(jiǎn)單記憶在訓(xùn)練期間看到的圖像的網(wǎng)絡(luò)，具有良好泛化能力的網(wǎng)絡(luò)對(duì)刪除神經(jīng)元組后的穩(wěn)健性要強(qiáng)得多。換句話說(shuō)，泛化好的網(wǎng)絡(luò)很難被打破（盡管它們肯定還是會(huì)被打破的）。

通過(guò)以這種方式衡量網(wǎng)絡(luò)的穩(wěn)健性，可以評(píng)估一個(gè)網(wǎng)絡(luò)是否在利用簡(jiǎn)單的記憶來(lái)「欺騙」人類(lèi)。了解網(wǎng)絡(luò)在記憶過(guò)程中是如何變化的將有助于建立新網(wǎng)絡(luò)，網(wǎng)絡(luò)記憶越少，推理性就越強(qiáng)。

神經(jīng)科學(xué)啟發(fā)分析

總之，這些發(fā)現(xiàn)證明了使用基于臨床神經(jīng)科學(xué)啟發(fā)的技術(shù)來(lái)理解神經(jīng)網(wǎng)絡(luò)的力量是可行的。 使用這些方法，發(fā)現(xiàn)高選擇性個(gè)體神經(jīng)元并不比非選擇性神經(jīng)元更重要，并且那些廣義的網(wǎng)絡(luò)比單純記憶訓(xùn)練數(shù)據(jù)的網(wǎng)絡(luò)更不依賴于單個(gè)神經(jīng)元。 這些結(jié)果意味著單個(gè)神經(jīng)元的重要性可能看起來(lái)的那么重要。通過(guò)努力解釋所有神經(jīng)元的作用，而不僅僅是那些易于解釋的神經(jīng)元，我們希望更好地理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作，最關(guān)鍵的是，利用這種理解來(lái)構(gòu)建更加智能和通用的系統(tǒng)。

論文地址：https://arxiv.org/abs/1803.06959

ICLR 2017最佳論文：https://arxiv.org/abs/1611.03530

雷鋒網(wǎng)via DeepMind 

雷鋒網(wǎng)AI科技評(píng)論編譯

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。