0
雷鋒網(wǎng) AI 科技評論按：隨著人工智能研究的不斷發(fā)展，由機(jī)器學(xué)習(xí)模型在背后提供支持的功能越來越多地開始商業(yè)化，最終用戶的生活里機(jī)器學(xué)習(xí)能造成的影響也越來越大。這時(shí)候，機(jī)器學(xué)習(xí)的安全和隱私問題也就越來越明顯，誰都不想被自動(dòng)駕駛的車輛傷害，誰也都不希望自己的語音助手泄露自己的私人信息。
GANs 的提出者、在谷歌大腦做人工智能研究的 Ian Goodfellow近期在Twitter上的動(dòng)向都是安全方面的。雷鋒網(wǎng) AI 科技評論剛剛給大家介紹了最新兩篇，一篇是他推薦的論文「Adversarial Example Defenses: Ensembles of Weak Defenses are not Strong」- 雷鋒網(wǎng)（“防御對抗性樣本：弱的防御方式組合起來也不強(qiáng)”），來自UC伯克利。另一篇是他發(fā)在Clever Hans博客的文章 「The challenge of verification and testing of machine learning」- 雷鋒網(wǎng)（“驗(yàn)證與測試，機(jī)器學(xué)習(xí)的兩大挑戰(zhàn)”）。
Clever Hans博客 （http://www.cleverhans.io/）大家可能不熟悉，但是其實(shí)這個(gè)博客去年就開放了。這個(gè)博客是Ian Goodfellow和Nicolas Papernot兩人共同創(chuàng)建、更新的，還建立了cleverhans對抗性機(jī)器學(xué)習(xí)樣本庫目，他們的目的是與全世界的研究者們共同探索和改善機(jī)器學(xué)習(xí)模型在安全和隱私方面的表現(xiàn)。
而且這還不是 Ian Goodfellow和Nicolas Papernot第一次合作，實(shí)際上，兩人合作的論文「Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data」- 雷鋒網(wǎng)（用半監(jiān)督知識(shí)遷移解決深度學(xué)習(xí)中訓(xùn)練數(shù)據(jù)隱私問題），就在ICLR2017上拿到了最佳論文獎(jiǎng)。
相比于絕大多數(shù)人機(jī)器學(xué)習(xí)領(lǐng)域的研究人員精力都還在設(shè)計(jì)模型、訓(xùn)練模型或者建立訓(xùn)練數(shù)據(jù)庫上，這兩人可謂是安全和隱私領(lǐng)域的急先鋒，自己研究探索的同時(shí)，也推廣著機(jī)器學(xué)習(xí)模型的安全和隱私意識(shí)，還積極促進(jìn)研究社區(qū)中的學(xué)術(shù)交流。
說了這么多， Ian Goodfellow和Nicolas Papernot 對安全和隱私問題的具體認(rèn)識(shí)是怎樣的？在他們看來這些問題現(xiàn)在得到解決了嗎？以下雷鋒網(wǎng) AI 科技評論根據(jù)Clever Hans博客給大家做具體的講解。
如果讓 Ian Goodfellow和Nicolas Papernot 給出定義的話，一個(gè)可靠的、可以保證像預(yù)期那樣工作的系統(tǒng)，就是一個(gè)安全的系統(tǒng)。
為了達(dá)到系統(tǒng)的行為符合預(yù)期的目標(biāo)，設(shè)計(jì)系統(tǒng)的人心里就需要有一個(gè)威脅模型?！巴{模型”是一組經(jīng)過嚴(yán)格定義的任意一個(gè)可能希望“系統(tǒng)異常運(yùn)作”的攻擊者具有的能力和目標(biāo)的假設(shè)。
目前為止，多數(shù)的機(jī)器學(xué)習(xí)系統(tǒng)在設(shè)計(jì)的時(shí)候都只對應(yīng)了一個(gè)很弱的威脅模型，可以說這樣的模型里是沒有什么具體成員的。這樣的機(jī)器學(xué)習(xí)系統(tǒng)的設(shè)計(jì)目標(biāo)只是為了在給與自然輸入的時(shí)候能夠正常工作。今天的設(shè)計(jì)者們應(yīng)當(dāng)開始設(shè)計(jì)的系統(tǒng)，需要在面對惡意用戶和面對基于機(jī)器學(xué)習(xí)的惡意敵對方的時(shí)候還能正常工作。
舉例說明，一個(gè)人工智能系統(tǒng)在訓(xùn)練時(shí)（學(xué)習(xí)階段）或者在進(jìn)行預(yù)測時(shí)（推理階段）都有可能被攻擊者盯上。攻擊者還會(huì)有各種不同的能力，其中很有可能包括對模型內(nèi)部結(jié)構(gòu)和參數(shù)，或者對模型輸入輸出的更改權(quán)限。
攻擊者的攻擊可以影響系統(tǒng)的保密性（confidentiality）、完整性（integrity）和可用性（availability），三者可以合稱為安全領(lǐng)域的“CIA模型”。
保密性：機(jī)器學(xué)習(xí)系統(tǒng)必須保證未得到授權(quán)的用戶無法接觸到信息。在實(shí)際操作中，把保密性作為隱私性來考慮會(huì)容易得多，就是說模型不可以泄露敏感數(shù)據(jù)。比如假設(shè)研究員們設(shè)計(jì)了一個(gè)可以檢查病人病歷、給病人做診斷的機(jī)器學(xué)習(xí)模型，這樣的模型可以對醫(yī)生的工作起到很大的幫助，但是必須要保證持有惡意的人沒辦法分析這個(gè)模型，也沒辦法把用來訓(xùn)練模型的病人數(shù)據(jù)恢復(fù)出來。
完整性：如果攻擊者可以破壞模型的完整性，那么模型的預(yù)測結(jié)果就可能會(huì)偏離預(yù)期。比如垃圾郵件會(huì)把自己偽裝成正常郵件的樣子，造成垃圾郵件識(shí)別器的誤識(shí)別。
可用性：系統(tǒng)的可用性也可以成為攻擊目標(biāo)。比如，如果攻擊者把一個(gè)非常難以識(shí)別的東西放在車輛會(huì)經(jīng)過的路邊，就有可能迫使一輛自動(dòng)駕駛汽車進(jìn)入安全保護(hù)模式，然后停車在路邊。
雖然目前研究者們還沒有展示很多成功進(jìn)行攻擊的案例，但是 Ian Goodfellow和Nicolas Papernot 表示 未在來的博文中會(huì)逐漸做更多介紹。
目前已經(jīng)可以明確表述的攻擊方式有三種：在訓(xùn)練時(shí)對模型進(jìn)行完整性攻擊，在推理時(shí)進(jìn)行完整性攻擊，以及隱私攻擊
攻擊者可以通過修改現(xiàn)有訓(xùn)練數(shù)據(jù)、或者給訓(xùn)練集增加額外數(shù)據(jù)的方法來對訓(xùn)練過程的完整性造成影響。比如假設(shè)莫里亞蒂教授要給福爾摩斯栽贓一個(gè)罪名，他就可以讓一個(gè)沒被懷疑的同伙送給福爾摩斯一雙獨(dú)特、華麗的靴子。當(dāng)福爾摩斯穿著這雙靴子在他經(jīng)常協(xié)助破案的警察面前出現(xiàn)過以后，這些警察就會(huì)把這雙靴子和他聯(lián)系起來。接下來莫里亞蒂教授就可以穿一雙同樣的靴子去犯罪，留下的腳印會(huì)讓福爾摩斯成為被懷疑的對象。
干擾機(jī)器學(xué)習(xí)模型的訓(xùn)練過程，體現(xiàn)的攻擊策略是當(dāng)用于生產(chǎn)時(shí)讓機(jī)器學(xué)習(xí)模型出現(xiàn)更多錯(cuò)誤預(yù)測。具體來說，這樣的方法可以在支持向量機(jī)（SVM）的訓(xùn)練集中下毒。由于算法中預(yù)測誤差是以損失函數(shù)的凸點(diǎn)衡量的，這就讓攻擊者有機(jī)會(huì)找到對推理表現(xiàn)影響最大的一組點(diǎn)進(jìn)行攻擊。即便在更復(fù)雜的模型中也有可能找到高效的攻擊點(diǎn)，深度神經(jīng)網(wǎng)絡(luò)就是這樣，只要它們會(huì)用到凸優(yōu)化。
實(shí)際上，讓模型出錯(cuò)是非常簡單的一件事情，以至于攻擊者都沒必要花功夫在訓(xùn)練機(jī)器學(xué)習(xí)模型參數(shù)的訓(xùn)練集中下毒。他們只要在推理階段（模型訓(xùn)練完成之后）的輸入上動(dòng)動(dòng)手腳，就可以立即讓模型得出錯(cuò)誤的結(jié)果。
要找到能讓模型做出錯(cuò)誤預(yù)測的干擾，有一種常用方法是計(jì)算對抗性樣本。它們帶有的干擾通常很微小，人類很難發(fā)現(xiàn)，但它們卻能成功地讓模型產(chǎn)生錯(cuò)誤的預(yù)測。比如下面這張圖，用機(jī)器學(xué)習(xí)模型識(shí)別最左側(cè)的圖像，可以正確識(shí)別出來這是一只熊貓。但是對這張圖像增加了中間所示的噪聲之后得到的右側(cè)圖像，就會(huì)被模型識(shí)別成一只長臂猿（而且置信度還非常高）。
值得注意的是，雖然人類無法用肉眼分辨，但是圖像中施加的干擾已經(jīng)足以改變模型的預(yù)測結(jié)果。確實(shí)，這種干擾是在輸入領(lǐng)域中通過計(jì)算最小的特定模得到的，同時(shí)它還能增大模型的預(yù)測誤差。它可以有效地把本來可以正確分類的圖像移過模型判定區(qū)域的邊界，從而成為另一種分類。下面這張圖就是對于能分出兩個(gè)類別的分類器，出現(xiàn)這種現(xiàn)象時(shí)候的示意。
許多基于對抗性樣本的攻擊需要攻擊者知道機(jī)器學(xué)習(xí)模型中的參數(shù)，才能把所需的干擾看作一個(gè)優(yōu)化問題計(jì)算出來 。另一方面，也有一些后續(xù)研究考慮了更現(xiàn)實(shí)的威脅模型，這種模型里攻擊者只能跟模型互動(dòng)，給模型提供輸入以后觀察它的輸出。舉例來講，這種狀況可以發(fā)生在攻擊者想要設(shè)計(jì)出能騙過機(jī)器學(xué)習(xí)評分系統(tǒng)從而得到高排名的網(wǎng)站頁面，或者設(shè)計(jì)出能騙過垃圾郵件篩選器的垃圾郵件的時(shí)候。在這些黑盒情境中，機(jī)器學(xué)習(xí)模型的工作方式可以說像神諭一樣。發(fā)起攻擊的策略首先對神諭發(fā)起詢問，對模型的判定區(qū)域邊界做出一個(gè)估計(jì)。這樣的估計(jì)就成為了一個(gè)替代模型，然后利用這個(gè)替代模型來制作會(huì)被真正的模型分類錯(cuò)誤的對抗性樣本。這樣的攻擊也展現(xiàn)出了對抗性樣本的可遷移性：用來解決同樣的機(jī)器學(xué)習(xí)任務(wù)的不同的模型，即便模型與模型之間的架構(gòu)或者訓(xùn)練數(shù)據(jù)不一樣，對抗性樣本還是會(huì)被不同的模型同時(shí)誤判。
機(jī)器學(xué)習(xí)中的隱私問題就不需要攻擊者也能講明白了。例如說，機(jī)器學(xué)習(xí)算法缺乏公平性和透明性的問題已經(jīng)引起領(lǐng)域內(nèi)越來越多人的擔(dān)心。事實(shí)上，已經(jīng)有人指出，訓(xùn)練數(shù)據(jù)中帶有的社會(huì)偏見會(huì)導(dǎo)致最終訓(xùn)練完成后的預(yù)測模型也帶有這些偏見。下面重點(diǎn)說一說在有攻擊者情況下的隱私問題。
攻擊者的目的通常是恢復(fù)一部分訓(xùn)練機(jī)器學(xué)習(xí)模型所用的數(shù)據(jù)，或者通過觀察模型的預(yù)測來推斷用戶的某些敏感信息。舉例來說，智能手機(jī)的虛擬鍵盤就可以通過學(xué)習(xí)用戶的輸入習(xí)慣，達(dá)到更好的預(yù)測-自動(dòng)完成效果。但是，某一個(gè)用戶的輸入習(xí)慣下的特定字符序列不應(yīng)該也出現(xiàn)在別的手機(jī)屏幕上，除非已經(jīng)有一個(gè)比例足夠大的用戶群也會(huì)打同樣的一串字符。在這樣的情況下，隱私攻擊會(huì)主要在推理階段發(fā)揮作用，不過要緩解這個(gè)問題的話，一般都需要在學(xué)習(xí)算法中增加一些隨機(jī)性。
比如，攻擊者有可能會(huì)想辦法進(jìn)行成員推測查詢：想要知道模型訓(xùn)練中有沒有使用某個(gè)特定的訓(xùn)練點(diǎn)。近期就有一篇論文在深度神經(jīng)網(wǎng)絡(luò)場景下詳細(xì)討論了這個(gè)問題。與制作對抗性樣本時(shí)對梯度的用法相反（這可以改變模型對正確答案的置信度），成員推測攻擊會(huì)沿著梯度方向?qū)ふ曳诸愔眯哦确浅８叩狞c(diǎn)。已經(jīng)部署的模型中也還可以獲得有關(guān)訓(xùn)練數(shù)據(jù)的更多總體統(tǒng)計(jì)信息。
Ian Goodfellow和Nicolas Papernot 兩人已經(jīng)一起試過幾個(gè)方法，為了提高機(jī)器學(xué)習(xí)模型面對對抗性樣本時(shí)魯棒性。
對抗性訓(xùn)練（Adversarial training）：對抗性訓(xùn)練的目標(biāo)是提高模型的泛化能力，讓模型在測試中遇到對抗性樣本的時(shí)候有更好的表現(xiàn)。做法是在模型的訓(xùn)練階段就主動(dòng)生成對抗性樣本，把它們作為訓(xùn)練過程的一部分。這個(gè)想法最初是由Szegedy提出的，但是可實(shí)施性很低，因?yàn)樯蓪剐詷颖拘枰挠?jì)算成本太高。Goodfellow展示過一種用快速梯度標(biāo)志的方法，可以低成本地生成對抗性樣本，計(jì)算效率已經(jīng)足以生成大批量的對抗性樣本用于模型訓(xùn)練。這樣訓(xùn)練出的模型對原樣本和對抗性樣本的分類結(jié)果就是相同的。比如可以拍一張貓的照片，然后對抗性地進(jìn)行干擾，讓一般的模型照片識(shí)別成一只禿鷲，然后就告訴要訓(xùn)練的這個(gè)模型干擾后的照片還是一只貓。
防御性蒸餾（Defensive distillation）：攻擊者可能會(huì)利用模型判定區(qū)域的對抗方向發(fā)起攻擊，防御性蒸餾就可以讓這些方向變得更平滑。蒸餾（distillation）是一種訓(xùn)練方法，它要訓(xùn)練一個(gè)模型，讓這個(gè)模型預(yù)測更早訓(xùn)練的另一個(gè)模型的可能輸出結(jié)果。蒸餾的方法最初是由Hinton提出的，這個(gè)方法當(dāng)時(shí)的目標(biāo)是用一個(gè)小模型模仿大型的、計(jì)算量大的模型得到相似的結(jié)果。防御性蒸餾的目標(biāo)有所區(qū)別，它只是為了讓最終模型的輸出更平滑，所以即便模仿的和被模仿的兩個(gè)模型大小一樣也沒關(guān)系。不過這種方法有點(diǎn)反直覺，有兩個(gè)同樣架構(gòu)的模型，然后訓(xùn)練其中一個(gè)預(yù)測另一個(gè)的輸出結(jié)果。但是這種方法能奏效的原因是，先訓(xùn)練的那個(gè)模型（被模仿的）是用“絕對”標(biāo)簽訓(xùn)練的（可以100%確定圖像是狗，不是貓），然后它提供的用來訓(xùn)練后一個(gè)模型的標(biāo)簽就是“相對”的（比如95%的確定性認(rèn)為圖像更可能是狗）。這第二個(gè)蒸餾后的模型的魯棒性就高得多，對快速梯度標(biāo)志方法或者Jacobian的顯著圖方法這樣的攻擊的抵抗力高不少。
對抗性樣本防御起來很難是因?yàn)楹茈y對對抗性樣本的制作過程建立理論模型。對包括神經(jīng)網(wǎng)絡(luò)在內(nèi)的許多機(jī)器學(xué)習(xí)模型而言，對抗性樣本是優(yōu)化問題的非線性、非凸性的解。因?yàn)闆]有什么好的理論工具可以描述這些復(fù)雜優(yōu)化問題的解，所以也就很難提出能夠?qū)Ω秾剐詷颖镜脑鰪?qiáng)理論作為防御方法。
換個(gè)角度看，對抗性樣本很難防御也因?yàn)樗鼈円髾C(jī)器學(xué)習(xí)模型對每一種可能的輸入都要給出好的結(jié)果。多數(shù)時(shí)候機(jī)器學(xué)習(xí)模型都能很好地工作，但是對所有可能的輸入而言，它們實(shí)際會(huì)遇到的輸入只是很小的一部分。就是因?yàn)榭赡艿妮斎胧呛Ａ康?，設(shè)計(jì)一個(gè)真正有適應(yīng)性的防御方法就很難。
兩人在2016年底就已經(jīng)發(fā)現(xiàn)了許多可以對機(jī)器學(xué)習(xí)模型進(jìn)行攻擊的方法，但是防御的方法幾乎看不到。他們希望在2017年底能夠看到一些高效的防御方法。他們博客的目的就是推動(dòng)機(jī)器學(xué)習(xí)安全和隱私方面的前沿發(fā)展，方法就是把最新的進(jìn)展記錄下來、在相關(guān)話題的研究社區(qū)中引發(fā)討論、以及啟發(fā)新一代的研究者們加入這個(gè)社區(qū)。
對對抗性樣本的研究很令兩人興奮，因?yàn)楹芏嘀匾獑栴}都還沒有得到定論，理論方面和應(yīng)用方面都是。從理論角度，沒人知道想防御對抗性樣本的攻擊是不是徒勞（就像想要發(fā)現(xiàn)一種通用的機(jī)器學(xué)習(xí)算法那樣），或者能夠找到一種最佳的策略讓防御者占得先機(jī)（像加密學(xué)和差分隱私那樣）。從應(yīng)用角度，還沒人設(shè)計(jì)出來過強(qiáng)大到能夠抵抗多種不同對抗性樣本攻擊的防御算法。Ian Goodfellow和Nicolas Papernot兩人更希望讀者們閱讀文章以后可以得到靈感，一起來解決其中的一些問題。
更多安全和隱私問題的研究成果，以及Ian Goodfellow和Nicolas Papernot的最新研究動(dòng)向，請繼續(xù)關(guān)注雷鋒網(wǎng) AI 科技評論。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
