雷鋒網(wǎng)AI科技評(píng)論了解到，近期清華信息科學(xué)與技術(shù)聯(lián)合實(shí)驗(yàn)室，智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，生物啟發(fā)計(jì)算研究中心和清華大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院聯(lián)合發(fā)表的論文《使用對(duì)抗性例子提高深度神經(jīng)網(wǎng)絡(luò)性能》，探索了深度神經(jīng)網(wǎng)絡(luò)的內(nèi)部架構(gòu)，并提出了一種方法使人類可以監(jiān)督網(wǎng)絡(luò)的生成和網(wǎng)絡(luò)發(fā)生錯(cuò)誤的位置。

作者包括 Dong Yingpeng， Hang Su，Jun Zhu和Fan Bao。

原文鏈接：https://arxiv.org/pdf/1708.05493.pdf，雷鋒網(wǎng)AI科技評(píng)論編譯。

深度神經(jīng)網(wǎng)絡(luò)（DNNs）在很多領(lǐng)域中都有前所未有的表現(xiàn)，包括語音識(shí)別，圖像分類，物體檢測(cè)等，但是DNNs的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)產(chǎn)生的參數(shù)對(duì)學(xué)者來說一直都是黑匣子，剛開始的幾個(gè)網(wǎng)絡(luò)還能看的懂，然而越深度越不可解釋。在很多情況下，由于人類對(duì)其認(rèn)知的局限性，包括DNNs如何進(jìn)行判斷和如何行動(dòng)，深度神經(jīng)網(wǎng)絡(luò)的使用范圍則受到限制，特別是在一些安全性要求非常高的使用場(chǎng)合，比如：醫(yī)院領(lǐng)域和自動(dòng)駕駛等。研究人員需要理解訓(xùn)練產(chǎn)生的網(wǎng)絡(luò)在判斷時(shí)的理論基礎(chǔ)，從而進(jìn)一步的對(duì)網(wǎng)絡(luò)進(jìn)行理解、驗(yàn)證、修改和信任一個(gè)學(xué)習(xí)模型，并修正其已產(chǎn)生的和潛在的問題。因此，開發(fā)一種算法，來對(duì)產(chǎn)生的神經(jīng)網(wǎng)絡(luò)進(jìn)行深入的剖析則變得非常重要了。在這個(gè)方向，很多的研究已經(jīng)在進(jìn)行了。學(xué)者們通過各種方法對(duì)機(jī)器產(chǎn)生的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行窺探，包括語義的，圖像的。比如，學(xué)者們發(fā)現(xiàn)，在最大化或多梯度為基礎(chǔ)的算法中，卷積層中的一個(gè)神經(jīng)元可以看做是物體/局部的鑒別器。然而，這些嘗試大多建立在一個(gè)特定的數(shù)據(jù)庫之上（比如：ImageNET，Place），并且大部分的工作量都用作神經(jīng)網(wǎng)絡(luò)的基本理論解釋，很少有人會(huì)將注意力放在DNNs產(chǎn)生錯(cuò)誤的原因上。

提高神經(jīng)網(wǎng)絡(luò)性能的方法有很多，這篇論文重點(diǎn)分析面對(duì)不規(guī)則的例子（如：對(duì)抗性的例子）時(shí)DNNs的行為并通過跟蹤輸出的特征解釋了神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)原理。特別的是，通過使用對(duì)抗性的例子，作者對(duì)比之前的研究結(jié)論，發(fā)現(xiàn)使用這種方法可以獲得更好的神經(jīng)網(wǎng)絡(luò)的解釋性能。通過使用“惡意”的對(duì)抗圖片，DNNs可以生成如設(shè)計(jì)的“錯(cuò)誤”的預(yù)測(cè)結(jié)果。將這種刻意“誤導(dǎo)”的結(jié)果和真實(shí)的圖片結(jié)果進(jìn)行對(duì)比，從不同的結(jié)果上可以探尋DNNs的工作原理，既可以分析出DNNs如何進(jìn)行正確的判斷，又可以知道DNNs產(chǎn)生錯(cuò)誤的原因，最終在一定程度上了解DNNs的機(jī)制。采用對(duì)抗性的圖像而不是使用真實(shí)圖像進(jìn)行“錯(cuò)誤”的預(yù)測(cè)的原因是使用真實(shí)圖像產(chǎn)生的誤差是可以容忍的，例如：Tabby Cat和Tiger Cat的錯(cuò)誤分類結(jié)果跟對(duì)Tabby Cat和School Bus的錯(cuò)誤分類結(jié)果相比，前者在視覺上和語義上都更能讓人容忍。因此，使用完全“不同”的對(duì)抗性圖片，可以更好更直觀的區(qū)分和理解DNNs的錯(cuò)誤判斷來源。

雷鋒網(wǎng)AI科技評(píng)論整理后，了解到這篇論文有如下幾個(gè)重點(diǎn)問題：

對(duì)抗性的數(shù)據(jù)庫

為了更好的研究DNNs，作者建了一套對(duì)抗性的數(shù)據(jù)集。使用ILSVRC 2012 驗(yàn)證數(shù)據(jù)庫對(duì)10張圖片分別進(jìn)行不同的標(biāo)注，最終形成了一個(gè)500K的對(duì)抗性的驗(yàn)證數(shù)據(jù)庫。使用集成優(yōu)化攻擊算法生成更多的通用對(duì)抗圖片，這些圖片具有很強(qiáng)的移植性，可以在其他模型中使用，如圖1（a）。

虛擬對(duì)象/部分的探測(cè)器和不一致的視覺表現(xiàn)

作者對(duì)多個(gè)基本架構(gòu)進(jìn)行了，包括AlexNet、VGG、ResNet，并使用了真實(shí)的圖片和生成的對(duì)抗性圖片。人工監(jiān)控了在輸入不同的圖片時(shí)DNNs中神經(jīng)元的反應(yīng)。同時(shí)對(duì)大量的視覺概念進(jìn)行比對(duì)和評(píng)估。結(jié)果是很有趣的：（1）真實(shí)圖像中具有高語義的神經(jīng)元的表現(xiàn)在輸入對(duì)抗性圖像時(shí)表現(xiàn)不同；通過這個(gè)結(jié)果得出結(jié)論：DNNs中的神經(jīng)元并沒有真正的去檢測(cè)語義對(duì)象，只把語義對(duì)象當(dāng)做是復(fù)發(fā)性判別小圖塊進(jìn)行響應(yīng)。這一點(diǎn)與以前的研究恰恰相反。（2）深度視覺上的表現(xiàn)不是視覺概念的魯棒性分布式編碼，因?yàn)楸M管視覺上看起來很相近，對(duì)抗性的圖片與真實(shí)的圖片在很大程度上不一致。如圖1（a）。

使用對(duì)抗性圖片可以提高DNNs的性能

對(duì)抗性的訓(xùn)練在之前的研究中已經(jīng)被證實(shí)可對(duì)提高深度神經(jīng)網(wǎng)絡(luò)的魯棒性帶來顯著的效果。在這篇論文中，作者通過引入對(duì)抗性的圖片提高了DNNs的性能。除去對(duì)抗噪聲，從結(jié)果上可以看出對(duì)抗圖片的結(jié)果與真實(shí)圖片的結(jié)果很相似。這個(gè)過程鼓勵(lì)神經(jīng)元學(xué)習(xí)抵抗對(duì)抗性擾動(dòng)的干擾，因此，當(dāng)優(yōu)選對(duì)象/部件出現(xiàn)時(shí)，神經(jīng)元總是會(huì)被激活，而當(dāng)它們消失時(shí)，神經(jīng)元?jiǎng)t無效，見圖1（b）。通過這個(gè)過程，人類學(xué)者可以對(duì)該神經(jīng)元進(jìn)行追蹤，從而推測(cè)模型的理論預(yù)測(cè)原理。同時(shí)，這一過程中，人類學(xué)者還可以知道模型產(chǎn)生錯(cuò)誤的時(shí)間和原因，如圖1（c）。

方法

作者通過對(duì)ImageNet數(shù)據(jù)庫中的圖片進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)首先需要建立一組對(duì)抗性圖片，然后將圖片運(yùn)用到生成的模型中，進(jìn)而觀模型的輸出變化進(jìn)行比對(duì)。DNNs對(duì)對(duì)抗性擾動(dòng)的抵抗力非常脆弱，因此基于這個(gè)特性，有些方法已經(jīng)被設(shè)計(jì)出來用作這個(gè)方面的研究，包括: L-BFGS，F(xiàn)ast Gradient Sign，Deep-Fool等。但是這些方法通常都是為某一個(gè)特性的模型設(shè)計(jì)的。本文的作者引入了一種新的方法，集成優(yōu)化攻擊算法，這種方法具有更強(qiáng)的通用性。如下：

 

對(duì)AlexNet，VGG-16和RESNET-18模型進(jìn)行攻擊，通過解決上方公式中的優(yōu)化問題，采用Adam優(yōu)化器，5步長，并進(jìn)行10-20次的迭代。由此，得到10張圖片分別進(jìn)行不同的標(biāo)注，最終形成了一個(gè)500K的對(duì)抗性的驗(yàn)證數(shù)據(jù)庫。使用集成優(yōu)化攻擊算法生成更多的通用對(duì)抗圖片，這些圖片具有很強(qiáng)的移植性，可以在其他模型中使用。

如圖2，作者展現(xiàn)了部分圖片結(jié)果。在第一行中，真實(shí)的圖片中神經(jīng)元擁有明確的語義解釋或者人類可以理解的視覺概念，第二行對(duì)抗性圖片表現(xiàn)出的語義解釋則不能讓人理解。一般情況系，神經(jīng)元對(duì)對(duì)抗性圖片中的不同部分更為敏感。在分析神經(jīng)元的表現(xiàn)之后，在真實(shí)圖片中具有高語義的神經(jīng)元在處理對(duì)抗性圖片時(shí)（紅色框）被充分的激活了。然而，視覺表現(xiàn)上則能看出真實(shí)圖片和對(duì)抗性圖片的明顯不同。另一方面，對(duì)抗圖片中相似的部分，則表現(xiàn)出不活躍性，意味著在對(duì)抗性圖片中，神經(jīng)元無法檢測(cè)出對(duì)應(yīng)的物體/部分。如neuron 147 檢測(cè)出了真實(shí)圖片中的Bird head（鳥頭），但是使用對(duì)抗攻擊的算法后，在對(duì)抗性圖片中，則框出很多其他的物體，這些物體（紅色框）都是被錯(cuò)誤的分類為Bird。另外，在對(duì)抗性圖片中，網(wǎng)絡(luò)也無法正確的識(shí)別出真實(shí)的Bird（鳥），這就意味著DNNs并沒有對(duì)語義的物體/部分進(jìn)行識(shí)別，只是將這些部分當(dāng)做復(fù)發(fā)性判別小圖塊進(jìn)行響應(yīng)。

通過量化的理論分析，可以得知，在對(duì)抗性圖片的結(jié)果與真實(shí)圖片的結(jié)果無法對(duì)應(yīng)。這意味著，DNNs的表現(xiàn)受對(duì)抗性擾動(dòng)的影響嚴(yán)重，并且不是視覺概念的魯棒性分布式編碼方式。這樣的話，DNNs的表現(xiàn)會(huì)造成在進(jìn)行物體檢測(cè)、視覺問答、視頻處理時(shí)的不準(zhǔn)確的判斷。那么什么時(shí)候DNNs會(huì)犯錯(cuò)呢？

在上圖實(shí)驗(yàn)中發(fā)生圖片判斷不一致的地方則提供了區(qū)分網(wǎng)絡(luò)判斷錯(cuò)誤時(shí)間的機(jī)會(huì)。使用有條件的高斯分布模型（Gaussian distribution）：p(φ(x) | y = i) =N (μ i , Σ i )，通過ILSVRC 2012訓(xùn)練數(shù)據(jù)庫對(duì)DNNs發(fā)生錯(cuò)誤的時(shí)間進(jìn)行推測(cè)，如下圖：

通過使用對(duì)抗性訓(xùn)練，作者實(shí)現(xiàn)了對(duì)DNNs性能的提高。對(duì)抗訓(xùn)練具有訓(xùn)練可讀的DNNs的可能性，因?yàn)樗鼓Ｐ驮谳斎肟臻g上學(xué)習(xí)到更多的Robost概念，產(chǎn)生的對(duì)抗圖像的表現(xiàn)類似于通過抑制擾動(dòng)的原始圖像。要做到這一點(diǎn)，需要引入一個(gè)一致的（做匹配用）的誤差。使用這個(gè)誤差可以使得當(dāng)神經(jīng)元從表現(xiàn)中的對(duì)抗性噪聲恢復(fù)，優(yōu)選的物體/部件出現(xiàn)時(shí)，神經(jīng)元一直保持處在激活的狀態(tài)。通過最小化一個(gè)對(duì)抗性的物體來進(jìn)行DNNs的訓(xùn)練：

然后使用Fast Gradient Sign（FGS）方法生成對(duì)抗性圖片：

通過這些步驟，最終可以發(fā)現(xiàn)DNNs的可解釋性得到了顯著的提高，同時(shí)又保持了原有的性能（1%~4%的精度下降）。結(jié)果見圖7。

通過使用對(duì)抗訓(xùn)練，神經(jīng)元可以檢測(cè)圖片中的視覺概念，而不是僅僅是對(duì)小圖塊進(jìn)行反應(yīng)了。這種方式的優(yōu)勢(shì)在這提供了一種深度神經(jīng)網(wǎng)絡(luò)如何進(jìn)行預(yù)測(cè)的方式。根據(jù)這種流程，人類研究者可以一步步的探索DNNs的工作原理，并梳理出一套在決策過程中起決定性作用的神經(jīng)元。

總結(jié)

在這篇論文中，作者運(yùn)用集成優(yōu)化算法（ensemble-optimization algorithm）并使用對(duì)抗圖片重新審視生成的深度神經(jīng)網(wǎng)絡(luò)。通過實(shí)驗(yàn)發(fā)現(xiàn)：（1）深度神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元并沒有真正的去檢測(cè)語義對(duì)象，只把語義對(duì)象當(dāng)做是復(fù)發(fā)性判別補(bǔ)丁進(jìn)行響應(yīng)；（2）深度視覺上的表現(xiàn)不是視覺概念的魯棒性分布式編碼，因?yàn)楸M管視覺上看起來很相近，對(duì)抗性的圖片與真實(shí)的圖片在很大程度上不一致，；這兩點(diǎn)都與以往的發(fā)現(xiàn)有所不同。為了更好了讓研發(fā)人員看懂DNNs的構(gòu)成，作者提出了一種對(duì)抗訓(xùn)練方法，引入固定的誤差，從而賦予神經(jīng)元人類解釋的概念。通過這種方法，人們可以對(duì)最終產(chǎn)生的結(jié)果進(jìn)行回溯，從而得知深度神經(jīng)網(wǎng)絡(luò)生成的過程，獲取發(fā)生錯(cuò)誤的時(shí)間和原因。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。