雷鋒網(wǎng) AI 科技評(píng)論按：谷歌大腦近期的一篇新論文對(duì)對(duì)抗性樣本做了多方面的理論性研究，不僅首次發(fā)現(xiàn)了簡(jiǎn)單數(shù)據(jù)分布下對(duì)抗性樣本的分布特性，而且得出了「分類誤差為零的模型不存在對(duì)抗性樣本」這樣的大家此前不曾想象過(guò)的結(jié)論。我們把這篇論文《Adversarial Spheres》（對(duì)抗性球面）主要內(nèi)容介紹如下。

背景

自從 Ian Goodfellow 等人發(fā)現(xiàn)并命名了「對(duì)抗性樣本」以來(lái)，學(xué)術(shù)界已經(jīng)有許多研究者投入了許多時(shí)間精力在這種現(xiàn)象的研究上。數(shù)字圖像可以被巧妙地修改，修改的幅度對(duì)人眼來(lái)說(shuō)幾乎無(wú)法察覺(jué)，但修改后的圖像卻可以以很高的置信度騙過(guò)圖像識(shí)別模型，讓模型認(rèn)為這是另一個(gè)類別的實(shí)體，這是「對(duì)抗性樣本」的直接來(lái)源。Ian Goodfellow 稍后也把這種現(xiàn)象正式描述為「從數(shù)據(jù)分布中隨機(jī)選擇圖像，大多數(shù)都可以被圖像模型正確分類，然而看上去非常相似的圖像卻可能會(huì)被分類錯(cuò)誤」。通過(guò)對(duì)抗性方法創(chuàng)建的對(duì)抗性樣本具有優(yōu)秀的魯棒性（可以對(duì)多種不同模型起效），而且具有一定的視角、方向、大小不變性。盡管之前也有研究者提出理論假說(shuō)和一些防御策略，大家對(duì)這種現(xiàn)象的原因仍然知之甚少。

對(duì)于對(duì)抗性樣本的原因目前有這么幾種假說(shuō)：神經(jīng)網(wǎng)絡(luò)分類器在輸入空間的許多區(qū)域都過(guò)于線性；對(duì)抗性樣本并沒(méi)有落在正常的數(shù)據(jù)流形上；也有人提出網(wǎng)絡(luò)內(nèi)部權(quán)重矩陣的單個(gè)很大的值有可能會(huì)讓網(wǎng)絡(luò)對(duì)輸入中的小擾動(dòng)更脆弱。

除了嘗試解釋對(duì)抗性樣本的成因，也有研究者提出了各種防御方法來(lái)提高模型的魯棒性。有的研究嘗試替換網(wǎng)絡(luò)使用的非線性函數(shù)以提高對(duì)小擾動(dòng)的魯棒性，有的研究嘗試把大模型蒸餾為小模型，有的研究中給網(wǎng)絡(luò)增加正則化，還有一些研究中嘗試用一個(gè)額外的統(tǒng)計(jì)模型先把對(duì)抗性樣本挑出來(lái)。不過(guò)，也有研究說(shuō)明了以上這些方法都不一定奏效，對(duì)抗性訓(xùn)練在某些狀況下倒是可以提高網(wǎng)絡(luò)的魯棒性。

從構(gòu)建球面分布數(shù)據(jù)開(kāi)始

考慮到這些能被騙過(guò)的模型在測(cè)試集上其實(shí)也是有很高的準(zhǔn)確率的，對(duì)抗性樣本的這種現(xiàn)象就有點(diǎn)耐人尋味。在這篇論文中，作者們提出一種假說(shuō)，認(rèn)為網(wǎng)絡(luò)之所以會(huì)出現(xiàn)這種行為，是數(shù)據(jù)流形的高維度本質(zhì)特性的自然結(jié)果。

為了能夠驗(yàn)證這種假說(shuō)，作者們構(gòu)建了兩個(gè)同心的高維球面數(shù)據(jù)集，訓(xùn)練網(wǎng)絡(luò)做這個(gè)二分類任務(wù)，以此開(kāi)展研究。兩個(gè)球面分別為 r=1 和 R=1.3，數(shù)據(jù)維度最高為 5000，并且數(shù)據(jù)點(diǎn)就分布在球面上（雷鋒網(wǎng) AI 科技評(píng)論注：這也就是標(biāo)題中的「spheres」的含義）。在這樣的設(shè)定中，數(shù)據(jù)流形有數(shù)學(xué)上的完善定義，而且模型學(xué)到的決策邊界也是可以有解析性的表示的；而以往的基于現(xiàn)有圖像數(shù)據(jù)集的研究中，數(shù)據(jù)流形是不可知的，決策邊界也無(wú)法表示，就很難進(jìn)行研究。更重要的是，通過(guò)自己生成數(shù)據(jù)的過(guò)程，作者們可以自由地變化數(shù)據(jù)維度的數(shù)目大小，從而研究輸入維度數(shù)目對(duì)神經(jīng)網(wǎng)絡(luò)的泛化誤差存在性的影響。

用球面分布數(shù)據(jù)集對(duì)二分類模型的測(cè)試結(jié)果和圖像模型的測(cè)試結(jié)果相似：數(shù)據(jù)分布中隨機(jī)選擇的點(diǎn)多數(shù)都可以被正確分類，同時(shí)也和不能被正確分類的點(diǎn)非常接近。即便當(dāng)測(cè)試錯(cuò)誤率低于一千萬(wàn)分之一的時(shí)候都會(huì)出現(xiàn)這種行為。

研究結(jié)論

作者們經(jīng)過(guò)研究得到了這樣的結(jié)論：「測(cè)試集上出現(xiàn)分類錯(cuò)誤的點(diǎn)出現(xiàn)的概率」和「到最近的分類錯(cuò)誤點(diǎn)之間的距離」，兩者之間的關(guān)系是與模型無(wú)關(guān)的。任何一個(gè)總會(huì)分類錯(cuò)誤球面上的一小部分點(diǎn)的模型，就一定會(huì)在多數(shù)隨機(jī)采樣的數(shù)據(jù)點(diǎn)附近存在會(huì)被分類錯(cuò)誤的點(diǎn)，不管模型分類錯(cuò)誤的點(diǎn)在球面上的分布如何。在球面數(shù)據(jù)集上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)都會(huì)自然地逼近作者們找到的這個(gè)測(cè)試誤差和平均距離之間的理論最優(yōu)平衡曲線。這似乎表明，為了按線性減小到最近的分類錯(cuò)誤點(diǎn)之間的平均距離，模型的分類錯(cuò)誤率需要以指數(shù)減小。

這個(gè)結(jié)論給出了模型的泛化誤差和到最近的分類錯(cuò)誤點(diǎn)距離之間的最優(yōu)取舍平衡關(guān)系。作者們也設(shè)計(jì)了三個(gè)不同的網(wǎng)絡(luò)，在 1k、5k、10k、100k、無(wú)限制這幾種訓(xùn)練樣本數(shù)目下進(jìn)行了驗(yàn)證性測(cè)試，得到的結(jié)果正是沿著以上結(jié)論給出的曲線（黑線）的。

這個(gè)結(jié)論的重要意義體現(xiàn)在，它把「為什么模型很容易被對(duì)抗性樣本騙過(guò)」這個(gè)難以給出直接答案的問(wèn)題變成了「為什么有少量的分類錯(cuò)誤」這個(gè)更簡(jiǎn)單的問(wèn)題。目前還不知道對(duì)于圖像數(shù)據(jù)集的數(shù)據(jù)流形，這個(gè)結(jié)論是否還成立，后續(xù)研究會(huì)向著這個(gè)方向繼續(xù)探索。畢竟論文中研究的只是一個(gè)極為簡(jiǎn)單的球面分布數(shù)據(jù)集，還不能很好體現(xiàn)出真實(shí)圖像數(shù)據(jù)集數(shù)據(jù)流形的復(fù)雜性。

這個(gè)結(jié)論引發(fā)的后續(xù)問(wèn)題還包括在數(shù)據(jù)量有限的情況下有沒(méi)有可能完全解決對(duì)抗性樣本的問(wèn)題。作者們的實(shí)驗(yàn)中，用足夠多數(shù)據(jù)訓(xùn)練的足夠大的網(wǎng)絡(luò)已經(jīng)展現(xiàn)出了低到測(cè)不出來(lái)的分類錯(cuò)誤率，不過(guò)實(shí)驗(yàn)同時(shí)也表明這個(gè)網(wǎng)絡(luò)的規(guī)模要顯著大很多才可以。作者們猜測(cè)也許一個(gè)足夠大的神經(jīng)網(wǎng)絡(luò)、經(jīng)過(guò)非常大的圖像數(shù)據(jù)集訓(xùn)練之后有可能最終變得完美，在測(cè)試中取得低到測(cè)不出來(lái)的分類錯(cuò)誤率，同時(shí)也就能很好抵抗對(duì)抗性樣本。

論文詳細(xì)內(nèi)容請(qǐng)見(jiàn)：https://arxiv.org/abs/1801.02774 ，雷鋒網(wǎng) AI 科技評(píng)論編譯

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。