雷鋒網(wǎng)按：本文由圖普科技工程師翻譯自《How To Fool AI Into Seeing Something That Isn’t There》。雷鋒網(wǎng)獨家文章。

軟件工程師也是人，而人類總會犯錯誤，所以我們的機器上總是充斥著安全漏洞。在構(gòu)建驅(qū)動這些計算系統(tǒng)的軟件時，他們可能讓代碼運行在了錯誤的地方，把數(shù)據(jù)儲存在了錯誤的地方，或許他們儲存了太多數(shù)據(jù)。林林總總的安全漏洞成為了黑客的攻擊對象，而且他們在攻擊時毫不手軟。

 但即使是讓人工智能取代那些軟件工程師，風(fēng)險仍然存在。AI也會犯錯，正如谷歌和一個由特斯拉創(chuàng)始人Elon Musk啟動的創(chuàng)業(yè)公司OpenAI的研究人員發(fā)布的一篇新論文里面描述的，這些風(fēng)險在那些不斷地改造我們的計算機系統(tǒng)的新型AI里非常嚴重，尤其是當(dāng)AI接觸監(jiān)控攝像機，傳感器等分布在世界各地的電子設(shè)備時，它們可以變得非常高危 ?！斑@是一個每個人都應(yīng)該思考的問題”，OpenAI研究人員，前谷歌員工Ian Goodfellow說，他與現(xiàn)任的Google研究人員Alexey Kurakin和Samy Bengio一起寫了這篇論文。

| 看到不存在的東西

 隨著可以通過分析大量的數(shù)據(jù)來學(xué)習(xí)零散的任務(wù)的人工智能分支－深層神經(jīng)網(wǎng)絡(luò)的興起，我們正在走向一個新的潮流：比起直接讓我們的計算機執(zhí)行服務(wù)，我們會為訓(xùn)練機器寫更多的代碼。

而在Facebook、Google和微軟這類互聯(lián)網(wǎng)龍頭企業(yè)內(nèi)部，這種趨勢早已變成現(xiàn)實。

馬克·扎克伯格和他的公司在世界最受歡迎的社交網(wǎng)絡(luò)上用數(shù)百萬的圖片訓(xùn)練神經(jīng)網(wǎng)絡(luò)去識別人臉。Google使用大量的口語詞匯訓(xùn)練神經(jīng)網(wǎng)絡(luò)去識別安卓手機的語言指令。在未來，我們將創(chuàng)造智能機器人和無人駕駛汽車。

今天，神經(jīng)網(wǎng)絡(luò)不僅能識別物體，動物，標(biāo)志和其他書面語言，而且他們能夠非常好地識別出人臉和語音。但是它們也會犯錯——有時候甚至?xí)敢恍┫胂蟛坏降腻e誤。Kurakin說：“沒有完美的機器學(xué)習(xí)系統(tǒng)”。事實上，在某些情況下，你可以欺騙這些系統(tǒng)，讓它們以為自己看到或聽到了實際上不存在的東西。

Kurakin解釋說，只要非常細微地改變一個圖像，神經(jīng)網(wǎng)絡(luò)就會認為這個圖像包含了一些它實際上并沒有的東西，這些改變是人類的肉眼也許也感覺不到的——有時改變僅僅是在圖片的各處隨意添加了幾個像素。他說，你可以改變大象的照片的幾個像素，然后欺騙神經(jīng)網(wǎng)絡(luò)讓它認為這是一輛汽車。像Kurakin這樣的研究人員把這些稱為“對抗樣本”。它們也是神經(jīng)網(wǎng)絡(luò)的安全漏洞之一。

Kurakin，Bengio和Goodfellow在他們的新論文中表明，神經(jīng)網(wǎng)絡(luò)即使被用于識別直接從相機或其他傳感器傳過來的數(shù)據(jù)，可能也會存在同樣的漏洞。想象一下，如果有一個利用一個基于神經(jīng)網(wǎng)絡(luò)的人臉識別技術(shù)來控制一個絕密的設(shè)施的出入權(quán)限的系統(tǒng)，Kurakin說，你只需在你的臉上畫一些點就可以輕易欺騙它，讓它認為你是另外一個人。

Goodfellow說，這種類型的攻擊幾乎可以用于任何形式的機器學(xué)習(xí)算法，不僅包括神經(jīng)網(wǎng)絡(luò)，還包括決策樹和支持向量機——那些在十幾年來一直廣受歡迎，幫助機器從數(shù)據(jù)中學(xué)習(xí)規(guī)律的算法。事實上，他認為類似的攻擊已經(jīng)在現(xiàn)實世界中實踐。他猜測金融公司很可能正在使用這些漏洞去欺騙競爭對手所使用的交易系統(tǒng)?！八麄兛梢詡卧煲恍┙灰祝T使他們的競爭對手以低于真實價值的價格去拋售股票，”他說，“然后他們就可以以低價格買進股票?！?/span>

在他們的論文中，Kurakin和Goodfellow通過在一張紙上打印一個敵對的圖像并將這張紙展示給相機來欺騙神經(jīng)網(wǎng)絡(luò)。但他們認為更微小的攻擊也可以有效果——比如前面的在人臉上加一些像素點的例子。Goodfellow說：“我們不確定我們在現(xiàn)實世界中可以做的是哪些，但我們的研究表明這是可能的。”“我們證明了我們可以欺騙相機，我們認為存在各種各樣的攻擊途徑，包括通過添加人類看不見的標(biāo)識來欺騙一個人臉識別系統(tǒng)?！彼a充道。

| 一場難以實現(xiàn)的騙局

雖然這決不是一件容易實現(xiàn)的事情，但要欺騙神經(jīng)網(wǎng)絡(luò)，你不一定需要知道它是如何設(shè)計或者它是通過什么數(shù)據(jù)訓(xùn)練的。正如前面的研究展示，如果你能建立一個對抗性樣本來欺騙你自己的神經(jīng)網(wǎng)絡(luò)，它也可能也可以欺騙其他處理相同任務(wù)的神經(jīng)網(wǎng)絡(luò) 。

換句話說，如果你可以欺騙一個圖像識別系統(tǒng)，你或許就可以欺騙另一個。Kurakin說“你可以用另一個系統(tǒng)去制作一個對抗性樣本，而這個樣本會更有可能欺騙你的神經(jīng)網(wǎng)絡(luò)。”

Kurakin特別強調(diào)，這些是小的安全漏洞。他說，在理論上它們是一個問題，但是在現(xiàn)實世界中，精準攻擊是很困難的——除非攻擊者把點按照完美的模式畫在她的臉上，否則什么都不會發(fā)生。然而，這種漏洞是真實存在的。隨著神經(jīng)網(wǎng)絡(luò)在現(xiàn)代世界中發(fā)揮越來越大的作用，我們必須填補這些漏洞。但怎樣做呢——構(gòu)建更好的神經(jīng)網(wǎng)絡(luò)。

雖然這不容易，但這項工作正在進行中。深層神經(jīng)網(wǎng)絡(luò)的設(shè)計理念是模仿大腦神經(jīng)元的網(wǎng)絡(luò)，這就是它們被稱為神經(jīng)網(wǎng)絡(luò)的原因。但歸根結(jié)底，它們只是一個龐大而復(fù)雜的數(shù)學(xué)運算——層層相疊的微積分公式。這種公式是由像Kurakin和Goodfellow這樣的研究人員組建的，而他們都是人類。從本質(zhì)上來說，他們控制這些系統(tǒng)，而他們已經(jīng)在為消除這些安全漏洞絞盡腦汁。

Kurakin說，有一個選擇就是把對抗樣本加入到神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集里，教神經(jīng)網(wǎng)絡(luò)區(qū)別真實的和敵對的圖像。研究人員也在尋找其他的選擇，但他們并不能確定這些方法到底有沒有效果。歸根結(jié)底，想讓神經(jīng)網(wǎng)絡(luò)變得更好，我們?nèi)祟愖约菏紫纫粩噙M步。

雷鋒網(wǎng)注：轉(zhuǎn)載請聯(lián)系我們授權(quán)，并保留出處和作者，不得刪減內(nèi)容。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。