Goodfellow最新對抗樣本，連人類都分不清是狗是貓

本文作者： camel

2018-02-25 22:48

導(dǎo)語：意義重大

雷鋒網(wǎng) AI 科技評論按：機器學(xué)習模型容易受到對抗樣本的影響，這已不是什么新鮮事。相信下面大家對下面這幅圖（Goodfellow et al., 2014）都不陌生：

Goodfellow 憑借這張圖讓我們知道，即使對樣本微小的改變也能欺騙學(xué)習模型，讓模型做出南轅北轍的判斷。這項工作充分說明了目前 AI 系統(tǒng)的脆弱性。

雷鋒網(wǎng)注意到，近期 Goodfellow 等人在「欺騙」上又更上一層樓，不光是欺騙機器，連人類也被欺騙了。

Goodfellow最新對抗樣本，連人類都分不清是狗是貓

如上圖所示，機器模型和人類都會判斷左側(cè)是貓，而右側(cè)是狗，即使你仔細觀察可能也會得出相同的結(jié)論。而事實上右側(cè)圖像只是左側(cè)圖像一個簡單地對抗擾動。相關(guān)的工作發(fā)表在《Adversarial Examples that Fool both Human and Computer Vision》。

Goodfellow最新對抗樣本，連人類都分不清是狗是貓

意義

這篇文章的重要意義不言而喻。如論文摘要中所說：「機器學(xué)習模型易受對抗樣本的攻擊這點大家已經(jīng)非常清楚；人類是否也有相同的弱點還是一個開放性問題；而這篇文章提出了第一個能夠欺騙人類的對抗樣本。」

論文中還說到它對機器學(xué)習安全研究的影響。從機器學(xué)習安全的角度來考慮，如果我們知道人腦可以抵御某些類型的對抗樣本，那么這就說明在機器學(xué)習安全中存在類似的機制，這為我們尋找它們提供了信心和線索；反過來，如果我們知道存在對抗樣本能夠欺騙我們的大腦，那么這就告訴我們，機器學(xué)習安全的重心不應(yīng)該是研究如何設(shè)計魯棒性極高的模型，而應(yīng)是研究如何保證系統(tǒng)即使包含非魯棒性的 ML 組件，仍然是安全的。

另一方面，如果針對計算機視覺開發(fā)的對抗樣本對人腦也有影響，這將為我們了解人腦的工作機理提供某些線索。

思路

在 Goodfellow et al.(2014) 的文章之后，計算機視覺領(lǐng)域相繼出現(xiàn)很多構(gòu)建對抗樣本的流行算法，這些算法的一個共同點就是依賴模型的架構(gòu)和參數(shù)來對輸入進行梯度優(yōu)化。但是，我們好像沒辦法獲取大腦這個模型的「架構(gòu)」以及「參數(shù)」。那么如何才能構(gòu)建針對人類的對抗樣本呢？

這就需要考慮一個比較有意思的現(xiàn)象了——對抗樣本通?？梢栽谀Ｐ椭g進行遷移；也即是說，我們可以通過遷移的方法來攻擊哪些不知道其「架構(gòu)」和「參數(shù)」的模型。這就使得構(gòu)建針對人類的對抗樣本成為可能。

當然事情并不是這么簡單。作為人類，我們有很多認知偏差或者視覺錯覺，但是這些偏差或錯覺并不等同于之前研究中對圖像的微小擾動。此外，我們可以通過學(xué)習損失函數(shù)來優(yōu)化機器模型的對抗樣本，但是對于人類，這種方法顯然是無效的（或者需要花費極大的勞動）。所以到目前為止并沒有看到有將遷移性對抗樣本應(yīng)用于人類視覺感知領(lǐng)域的研究。

這篇文章的作者針對這些問題，采取了三個關(guān)鍵的思想來解決：

之一，作者使用近期的黑箱對抗樣本構(gòu)建技術(shù)為一個目標模型（不需要知道模型的架構(gòu)和參數(shù)）創(chuàng)建對抗樣本；
之二，作者對機器學(xué)習模型做了一番調(diào)整來模仿人類前期視覺處理過程，也即讓模型更像人，使對抗模型更容易從學(xué)習模型遷移到人類；
之三，由于人類在分類任務(wù)中的準確率太高，實驗性能的微小改變可能達不到可觀測的效果。于是作者在評估人類觀察者的分類決策時，限制他們必須在一定的時間范圍內(nèi)做出決定，這樣一來對抗樣本對人的影響就更容易被檢測出來了。

藉此三條， Goodfellow 等人構(gòu)建出了能夠同時欺騙機器學(xué)習模型和人類的對抗樣本。