0
雷鋒網(wǎng) AI 科技評論按：自從 Ian Goodfellow 等人發(fā)現(xiàn)經(jīng)過細(xì)微修改的正常照片就可以成為能騙過神經(jīng)網(wǎng)絡(luò)圖像分類器的「對抗性樣本」以來，這種現(xiàn)象就引起了越來越多研究者的關(guān)注，相關(guān)的研究成果也越來越多。
之前我們就報(bào)道過來自 UIUC 的研究成果：「對抗性樣本是紙老虎，一出門就不好使」，表明作為電子文檔時(shí)可以輕易騙過圖像分類器的對抗性樣本，打印成實(shí)物、經(jīng)過鏡頭拍攝之后效果就大大減弱；另一項(xiàng) OpenAI 的研究則顯示出，可以修改出不同強(qiáng)度的對抗性樣本，修改程度越高就對視角變換越魯棒、越能夠穩(wěn)定騙過分類器，不過在人眼看來也就越發(fā)不自然。
下面這篇來自 UC 伯克利大學(xué)人工智能實(shí)驗(yàn)室（BAIR）的研究博客（兼論文預(yù)告）進(jìn)一步研究了如何騙過物體檢測器，是對抗性樣本研究方向上的另一個(gè)新成果。雷鋒網(wǎng) AI 科技評論對其進(jìn)行了全文編譯。
深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks, DNNs）使得大量的應(yīng)用領(lǐng)域獲得了極大進(jìn)步，包括圖像處理、文本分析和語音識別。DNNs 也正逐漸成為許多信息物-理系統(tǒng)的一個(gè)重要組成部分。例如，無人駕駛汽車的視覺系統(tǒng)會利用 DNNs 來更好地識別行人、車輛和道路標(biāo)志。然而，近期的研究表明，DNNs 易受對抗樣本攻擊：在輸入中小心地添加人造對抗性干擾可以誤導(dǎo)被攻擊的 DNN 系統(tǒng)，使其在使用時(shí)不能正確對人、交通工具和路標(biāo)分類。這些對抗樣本在現(xiàn)實(shí)世界中會引發(fā)個(gè)人和社會的安全隱憂。比如，帶對抗式性擾動的輸入會誤導(dǎo)自動駕駛車輛的感知系統(tǒng)，使其錯(cuò)誤地對路標(biāo)分類，從而帶來潛在的災(zāi)難性后果。
現(xiàn)有一些技術(shù)可用來生成對抗樣本以及防御它們。在這篇博客中，我們簡要地介紹下最先進(jìn)的生成數(shù)字對抗樣本的算法，然后討論我們在各種環(huán)境條件下基于真實(shí)物體生成對抗樣本的算法。我們將提供我們?yōu)槟繕?biāo)檢測器生成真實(shí)對抗樣本所做努力的最新情況。
在白盒條件下，生成對抗樣本已經(jīng)提出了許多不同的方法，此時(shí)對抗器可以知道深度學(xué)習(xí)網(wǎng)絡(luò)所有信息。白盒條件下假設(shè)存在一個(gè)強(qiáng)大的對抗器，且能夠幫助未來開發(fā)萬無一失的防御系統(tǒng)打下堅(jiān)實(shí)基礎(chǔ)。這些方法有助于理解數(shù)字對抗樣本。
Goodfellow 等提出了快速梯度法，應(yīng)用損失函數(shù)的一階近似來構(gòu)建對抗樣本。
也有人提出基于優(yōu)化的方法來為針對性攻擊創(chuàng)建對抗性干擾。特別地，這些攻擊構(gòu)造了一個(gè)目標(biāo)函數(shù)，其求解過程尋求最大化輸入數(shù)據(jù)的真實(shí)標(biāo)簽與攻擊者期望的目標(biāo)標(biāo)簽之間的差異，同時(shí)在某種相似度下最小化輸入數(shù)據(jù)之間的差異。在計(jì)算機(jī)視覺的分類問題中，一個(gè)常用的度量方法是輸入向量的 L2 范數(shù)。通常地，具有較低 L2 距離的輸入樣本之間互相接近。因此，計(jì)算出對人眼來說非常相似但對分類器來說非常卻不同的輸入數(shù)據(jù)是可行的。
近期的研究工作驗(yàn)證了數(shù)字對抗樣本的黑盒遷移能力，即在黑盒條件下生成對抗樣本也是可行的。這些技術(shù)涉及在一個(gè)白盒下的已知模型上生成對抗樣本，然后到待攻擊的未知模型上測試它們。
為了更好地理解這些脆弱性， 有大量的工作是研究物質(zhì)世界中對抗樣本是如何影響 DNNs 的。
Kurakin 等的研究表明通過智能手機(jī)攝像頭去分類打印在紙上的對抗樣本，容易被錯(cuò)分。Sharif 等人通過在人臉眼鏡框幀上添加對抗性干擾攻擊了人臉識別系統(tǒng)。他們的工作表明在相對穩(wěn)定的真實(shí)條件下，微小的姿態(tài)變化、攝像頭距離或角度變化、以及光照變化，都可以成功地進(jìn)行實(shí)物攻擊。這為理解穩(wěn)定環(huán)境下實(shí)物對抗樣本貢獻(xiàn)了一個(gè)有趣的解釋。
我們近期的研究「深度學(xué)習(xí)模型中魯棒的實(shí)物攻擊」已經(jīng)展現(xiàn)出了對分類器的實(shí)物攻擊。合理的下一步是，我們對檢測器展開攻擊。這些計(jì)算機(jī)視覺算法識別出一個(gè)場景中的相關(guān)物體并預(yù)測一個(gè)包圍框，表示物體的位置和類別。與分類器相比，檢測器更難欺騙，因?yàn)樗鼈冊陬A(yù)測時(shí)處理整個(gè)圖像且使用上下文信息（例如目標(biāo)物體在場景中的方向和位置）。
YOLO 檢測器是一個(gè)流行的、實(shí)時(shí)的先進(jìn)算法，我們展示在其上進(jìn)行實(shí)驗(yàn)的實(shí)物對抗樣本。我們的例子以貼紙干擾的形式放在真實(shí)的停車路標(biāo)上。下面的圖片是我們的實(shí)物對抗干擾的例子。
我們還執(zhí)行了動態(tài)測試，通過記錄一個(gè)視頻來測試檢測器的性能。從視頻中可以看出，YOLO 網(wǎng)絡(luò)在幾乎所有的幀上都不能識別出停車路標(biāo)。如果一個(gè)真實(shí)的自動駕駛車輛在路面行駛，路過一個(gè)帶對抗性特征的禁止通行路標(biāo)，那么它將看不到停車路標(biāo)，從而可能在交叉路口導(dǎo)致車禍。我們創(chuàng)建的干擾對距離和角度變化魯棒—-這是無人駕駛場景中最常見的變化因素。
更有趣的是，為 YOLO 檢測器生成的真實(shí)對抗樣本同樣也能欺騙標(biāo)準(zhǔn)的 Faster R-CNN 網(wǎng)絡(luò)。我們的視頻包含一個(gè)在 Faster R-CNN 上進(jìn)行的實(shí)物對抗樣本的動態(tài)測試。由于這是在 Faster R-CNN 上進(jìn)行的黑盒攻擊，其不如在 YOLO 案例中那樣成功，這是預(yù)期的結(jié)果。我們相信，增加其他技術(shù)（如集成訓(xùn)練），黑盒攻擊會更加高效。此外，特別為 Faster R-CNN 優(yōu)化一個(gè)攻擊器能產(chǎn)生更好的結(jié)果。我們正在寫一篇論文，探究這些攻擊的更多細(xì)節(jié)。下面的圖片是 Faster R-CNN 不能識別出停車路標(biāo)的例子。
在兩種案例中（YOLO 和 Faster R-CNN），僅僅當(dāng)攝像頭離停車路標(biāo)非常近時(shí)才能檢測出來（大約 3 至 4 英尺）。在真實(shí)場景中，這個(gè)距離對于車輛來說太近了從而不能采取有效的糾正措施。請繼續(xù)關(guān)注我們即將發(fā)表的論文，其包含了關(guān)于算法的更多細(xì)節(jié)和在先進(jìn)的物體檢測器上的實(shí)物干擾的結(jié)果。
這個(gè)算法是基于我們前期分類器攻擊的工作。本質(zhì)上，我們采用一個(gè)優(yōu)化方法來生成對抗樣本。然而，我們的實(shí)驗(yàn)經(jīng)驗(yàn)表明，為檢測器產(chǎn)生魯棒的實(shí)物對抗樣本相比欺騙分類器需要模擬一套更大的不斷變化的真實(shí)環(huán)境。這是可能是因?yàn)闄z測器在預(yù)測時(shí)需要考慮更多的上下文信息。算法的主要特性包含指定真實(shí)環(huán)境模擬中序列的能力，以及指定平移不變性的能力。即一個(gè)干擾無論目標(biāo)物體位于場景中的哪個(gè)位置都應(yīng)該是有效的。由于一個(gè)物體可在場景中自由地移動，這取決于觀察者的角度，不為這種情況優(yōu)化的干擾很可能在物體移動時(shí)失效。針對該課題，我們即將出來的論文會包含該算法的更詳細(xì)信息。
給定這些實(shí)物對抗樣本和數(shù)字對抗樣本，可能的防御方法已有廣泛研究。在這些方法當(dāng)中，有幾種類型的對抗訓(xùn)練方法是很有效的。Goodfellow 等首次提出采用對抗訓(xùn)練作為提高 DNNs 魯棒性的有效方法，而 Tramer 等將它擴(kuò)展到對抗學(xué)習(xí)。Madry 等通過對抗樣本的迭代訓(xùn)練也提出了魯棒的網(wǎng)絡(luò)。要進(jìn)行對抗訓(xùn)練，就需要一個(gè)更大的對抗樣本數(shù)據(jù)集。此外，集成訓(xùn)練表明，如果這些對抗樣本來自不同的模型，那么就能使得防御更加魯棒。集成對抗訓(xùn)練的好處在于提升對抗樣本的多樣性，使得模型能搜索整個(gè)對抗樣本空間。同樣，也存在幾種不同的防御模型，但是 Carlini 和 Wagner 表示沒有任何現(xiàn)有防御方法是魯棒的，即使是自適應(yīng)攻擊。
總之，為了找到防御這些對抗樣本的最佳防御策略，我們還有很長一段路要走，我們將滿懷期待地探索著這個(gè)激動人心的領(lǐng)域。
via: BAIR，雷鋒網(wǎng) AI 科技評論編譯、
相關(guān)文章：
OpenAI最新研究：“對抗樣本”能輕易黑掉AI系統(tǒng)，如何抵御？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
