Goodfellow最新對(duì)抗樣本，連人類都分不清是狗是貓

本文作者： camel

2018-02-25 22:48

導(dǎo)語：意義重大

雷鋒網(wǎng) AI 科技評(píng)論按：機(jī)器學(xué)習(xí)模型容易受到對(duì)抗樣本的影響，這已不是什么新鮮事。相信下面大家對(duì)下面這幅圖（Goodfellow et al., 2014）都不陌生：

Goodfellow 憑借這張圖讓我們知道，即使對(duì)樣本微小的改變也能欺騙學(xué)習(xí)模型，讓模型做出南轅北轍的判斷。這項(xiàng)工作充分說明了目前 AI 系統(tǒng)的脆弱性。

雷鋒網(wǎng)注意到，近期 Goodfellow 等人在「欺騙」上又更上一層樓，不光是欺騙機(jī)器，連人類也被欺騙了。

Goodfellow最新對(duì)抗樣本，連人類都分不清是狗是貓

如上圖所示，機(jī)器模型和人類都會(huì)判斷左側(cè)是貓，而右側(cè)是狗，即使你仔細(xì)觀察可能也會(huì)得出相同的結(jié)論。而事實(shí)上右側(cè)圖像只是左側(cè)圖像一個(gè)簡單地對(duì)抗擾動(dòng)。相關(guān)的工作發(fā)表在《Adversarial Examples that Fool both Human and Computer Vision》。

Goodfellow最新對(duì)抗樣本，連人類都分不清是狗是貓

意義

這篇文章的重要意義不言而喻。如論文摘要中所說：「機(jī)器學(xué)習(xí)模型易受對(duì)抗樣本的攻擊這點(diǎn)大家已經(jīng)非常清楚；人類是否也有相同的弱點(diǎn)還是一個(gè)開放性問題；而這篇文章提出了第一個(gè)能夠欺騙人類的對(duì)抗樣本。」

論文中還說到它對(duì)機(jī)器學(xué)習(xí)安全研究的影響。從機(jī)器學(xué)習(xí)安全的角度來考慮，如果我們知道人腦可以抵御某些類型的對(duì)抗樣本，那么這就說明在機(jī)器學(xué)習(xí)安全中存在類似的機(jī)制，這為我們尋找它們提供了信心和線索；反過來，如果我們知道存在對(duì)抗樣本能夠欺騙我們的大腦，那么這就告訴我們，機(jī)器學(xué)習(xí)安全的重心不應(yīng)該是研究如何設(shè)計(jì)魯棒性極高的模型，而應(yīng)是研究如何保證系統(tǒng)即使包含非魯棒性的 ML 組件，仍然是安全的。

另一方面，如果針對(duì)計(jì)算機(jī)視覺開發(fā)的對(duì)抗樣本對(duì)人腦也有影響，這將為我們了解人腦的工作機(jī)理提供某些線索。

思路

在 Goodfellow et al.(2014) 的文章之后，計(jì)算機(jī)視覺領(lǐng)域相繼出現(xiàn)很多構(gòu)建對(duì)抗樣本的流行算法，這些算法的一個(gè)共同點(diǎn)就是依賴模型的架構(gòu)和參數(shù)來對(duì)輸入進(jìn)行梯度優(yōu)化。但是，我們好像沒辦法獲取大腦這個(gè)模型的「架構(gòu)」以及「參數(shù)」。那么如何才能構(gòu)建針對(duì)人類的對(duì)抗樣本呢？

這就需要考慮一個(gè)比較有意思的現(xiàn)象了——對(duì)抗樣本通?？梢栽谀Ｐ椭g進(jìn)行遷移；也即是說，我們可以通過遷移的方法來攻擊哪些不知道其「架構(gòu)」和「參數(shù)」的模型。這就使得構(gòu)建針對(duì)人類的對(duì)抗樣本成為可能。

當(dāng)然事情并不是這么簡單。作為人類，我們有很多認(rèn)知偏差或者視覺錯(cuò)覺，但是這些偏差或錯(cuò)覺并不等同于之前研究中對(duì)圖像的微小擾動(dòng)。此外，我們可以通過學(xué)習(xí)損失函數(shù)來優(yōu)化機(jī)器模型的對(duì)抗樣本，但是對(duì)于人類，這種方法顯然是無效的（或者需要花費(fèi)極大的勞動(dòng)）。所以到目前為止并沒有看到有將遷移性對(duì)抗樣本應(yīng)用于人類視覺感知領(lǐng)域的研究。

這篇文章的作者針對(duì)這些問題，采取了三個(gè)關(guān)鍵的思想來解決：

之一，作者使用近期的黑箱對(duì)抗樣本構(gòu)建技術(shù)為一個(gè)目標(biāo)模型（不需要知道模型的架構(gòu)和參數(shù)）創(chuàng)建對(duì)抗樣本；
之二，作者對(duì)機(jī)器學(xué)習(xí)模型做了一番調(diào)整來模仿人類前期視覺處理過程，也即讓模型更像人，使對(duì)抗模型更容易從學(xué)習(xí)模型遷移到人類；
之三，由于人類在分類任務(wù)中的準(zhǔn)確率太高，實(shí)驗(yàn)性能的微小改變可能達(dá)不到可觀測的效果。于是作者在評(píng)估人類觀察者的分類決策時(shí)，限制他們必須在一定的時(shí)間范圍內(nèi)做出決定，這樣一來對(duì)抗樣本對(duì)人的影響就更容易被檢測出來了。

藉此三條， Goodfellow 等人構(gòu)建出了能夠同時(shí)欺騙機(jī)器學(xué)習(xí)模型和人類的對(duì)抗樣本。

模型

作者構(gòu)建了 k（k=10）個(gè)在 ImageNet 上訓(xùn)練的 CNN 模型，每個(gè)模型都是以下這些架構(gòu)之一的實(shí)例 (Szegedy et al., 2015; 2016; He et al., 2016)：

Inception V3, Inception V4, Inception ResNet V2

ResNet V2 50, ResNet V2 101, ResNet V2 152

如前面提到的思想之二，作者為每個(gè)模型輸入前置了一個(gè)視網(wǎng)膜層，該視網(wǎng)膜層包含了一些人眼的視覺變換；甚至，作者還在這個(gè)視網(wǎng)膜層中添加了偏心依賴的模糊化，以更符合人類通過視網(wǎng)膜格子（注：人類視網(wǎng)膜不是密集排布的）輸入的機(jī)理。