雷鋒網(wǎng)按：2 月 3 日，在 ICLR 2018 大會期間，谷歌大腦負責(zé)人 Jeff Dean 日前在推特上轉(zhuǎn)了一篇名字為 Anish Athalye 的推文，推文內(nèi)容如下：防御對抗樣本仍然是一個尚未解決的問題，三天前公布的 ICLR 接收論文里，八篇關(guān)于防御論文里已經(jīng)有七篇被我們攻破。這一言論立刻引起了整個機器學(xué)習(xí)學(xué)術(shù)圈的關(guān)注。Wired 近日發(fā)布了一篇關(guān)于這一事件后續(xù)的討論文章，雷鋒網(wǎng)進行了編譯。

在機器學(xué)習(xí)強大力量的推動下，科技公司正在急于將很多事物與人工智能結(jié)合在一起。但是，激起這種趨勢的深度神經(jīng)網(wǎng)絡(luò)卻有一個很難解決的弱點：對圖像、文本或音頻進行微小的改變就可以欺騙這些系統(tǒng)，感知到那些并不存在的事物。

對依賴于機器學(xué)習(xí)的產(chǎn)品而言，這可能是一個大問題，特別是對諸如自動駕駛汽車這種視覺系統(tǒng)，研究者們正在努力制定針對此類攻擊的防御措施，但很有挑戰(zhàn)性。

今年 1 月，一場頂級機器學(xué)習(xí)大會公布了它在 4 月選出的 11 篇新論文，它們提出了應(yīng)對或檢測這種對抗性攻擊的方法。但僅三天后，麻省理工學(xué)院學(xué)生 Anish Athalye 就聲稱已經(jīng)“破解”了其中 7 篇新論文，其中包括 Google，亞馬遜和斯坦福等機構(gòu)?！坝袆?chuàng)造性思維的攻擊者仍然可以規(guī)避這些防御?！盇thalye 說。他與伯克利分校的研究生 David Wagner 和教授 Nicholas Carlini 一起參與了這個項目的研究。 

這個項目導(dǎo)致一些學(xué)者對這三人組的研究細節(jié)進行了反復(fù)討論。但關(guān)于項目中提到的一點他們幾乎沒有爭議：目前人們尚不清楚如何保護基于深度神經(jīng)網(wǎng)絡(luò)的消費品和自動駕駛產(chǎn)品以免讓“幻覺”給破壞了?！八羞@些系統(tǒng)都很脆弱，”意大利卡利亞里大學(xué)的助理教授 Battista Biggio 已經(jīng)研究機器學(xué)習(xí)的安全問題有十年之久，“機器學(xué)習(xí)社區(qū)缺乏評估安全性的方法論。”

人類將很容易識別 Athalye 創(chuàng)建的上面這張圖，它里面有兩名滑雪者，而谷歌的 Cloud Vision 服務(wù)認為它有 91％ 的可能性是一只狗。其他的還有如何讓停止標志看不見，或者對人類聽起來沒問題的語音卻讓機器轉(zhuǎn)錄為“好的谷歌，瀏覽到惡意網(wǎng)站.com”。

到目前為止，此類攻擊還沒有在實驗室以外的地方得到證實。但伯克利的博士后研究員 Bo Li 說，現(xiàn)在他們?nèi)匀恍枰J真對待。自動駕駛汽車的視覺系統(tǒng)，能夠購物的語音助理以及過濾網(wǎng)上不雅內(nèi)容的機器學(xué)習(xí)系統(tǒng)都需要值得信賴。 “這是非常危險的?！盠i 說，她去年的研究——在停車標志上貼上貼紙——表明可以使機器學(xué)習(xí)軟件識別不到它們。

Athalye 及其合作者共同撰寫的論文中就有 Li 作為共同作者。她和伯克利的其他人介紹了一種分析對抗攻擊的方法，并表明它可以用來檢測這些攻擊。 Li 對 Athalye 的關(guān)于防護還有諸多漏洞的項目表示，這種反饋有助于研究人員取得進步。 “他們的攻擊表明我們需要考慮一些問題”她說。

在 Athalye 所分析論文在內(nèi)的斯坦福大學(xué)的研究者 Yang Song 拒絕對此發(fā)表評論，他的論文正在接受另一個重要會議的審查?？▋?nèi)基梅隆大學(xué)教授兼包括亞馬遜研究員在內(nèi)的另一篇論文共同作者 Zachary Lipton 表示，他沒有仔細檢查分析結(jié)果，但認為所有現(xiàn)有的防御措施都可以避開是合理的。Google 拒絕對自己的論文進行評論，該公司的一位發(fā)言人強調(diào) Google 致力于對抗攻擊的研究，并表示計劃更新公司的 Cloud Vision 服務(wù)，以抵御這些攻擊。 

為了對攻擊建立更強大的防御機制，機器學(xué)習(xí)研究人員可能要更加苛刻。 Athalye 和 Biggio 表示，該領(lǐng)域應(yīng)該采用安全研究的做法，他們認為這種做法能更嚴格的測試新防御技術(shù)。 “在機器學(xué)習(xí)領(lǐng)域，人們傾向于相互信任，”Biggio 說，“而安全研究的心態(tài)正好相反，你必須始終懷疑可能會發(fā)生不好的事情發(fā)生?！?/p>

上個月，AI 和國家安全研究人員的一份重要報告也提出了類似的建議，它建議那些從事機器學(xué)習(xí)的人應(yīng)更多地考慮他們正在創(chuàng)造的技術(shù)會被濫用或利用。

對于某些 AI 系統(tǒng)來說，防范對抗性攻擊可能比其他方面要做的要更為容易。Biggio 說，受過訓(xùn)練的檢測惡意軟件的學(xué)習(xí)系統(tǒng)應(yīng)該更容易實現(xiàn)強魯棒性，因為惡意軟件是功能性的，限制了它的多樣性。 Biggio 稱，保護計算機視覺系統(tǒng)要困難得多，因為自然界變化多端，圖像中包含了很多像素。

解決這個問題（這可能會挑戰(zhàn)自動駕駛汽車的設(shè)計者）可能需要對機器學(xué)習(xí)技術(shù)進行更徹底的反思。 “我想說的根本問題是，深度神經(jīng)網(wǎng)絡(luò)與人腦大不相同?！盠i 說。

人類并不對來自感官的欺騙完全免疫。我們可能被看到的錯覺所愚弄，最近來自 Google 的一篇論文創(chuàng)建了奇怪的圖像，這欺騙了軟件和人類，讓他們在不到 1/10 秒內(nèi)看見圖像時將貓誤認為是狗。但是，在解釋照片時，我們不僅要看像素模式，還要考慮圖像不同組成部分之間的關(guān)系，比如人臉特征，Li 說。

Google 最杰出的機器學(xué)習(xí)研究員 Geoff Hinton 正試圖給機器提供這種能力，他認為這可以讓軟件學(xué)會從少數(shù)幾張圖片而不是幾千張圖片中識別物體。Li 認為，具有更人性化視角的機器也不太容易受到“幻覺”影響。她和伯克利的其他研究者已經(jīng)開始與神經(jīng)科學(xué)家和生物學(xué)家展開合作，嘗試從自然界獲得啟發(fā)。

*雷鋒網(wǎng)編譯自 Wired，題圖來自 Marco Goran Romano

相關(guān)文章：

MIT在讀博士生質(zhì)疑ICLR 2018防御論文很水？Ian Goodfellow跟帖回應(yīng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。