近期，創(chuàng)新工場南京人工智能研究院執(zhí)行院長馮霽做客雷鋒網(wǎng)AI金融評論公開課，以“淺析聯(lián)邦學(xué)習(xí)中的安全性問題”為題，詳盡地講解了聯(lián)邦學(xué)習(xí)的特點、聯(lián)邦學(xué)習(xí)的應(yīng)用和安全防御對策等內(nèi)容。

以下為馮霽演講全文內(nèi)容與精選問答：

今天跟大家簡單的匯報，我們對聯(lián)邦學(xué)習(xí)中安全性問題的思考。

在介紹聯(lián)邦學(xué)習(xí)之前，先簡單介紹一下創(chuàng)新工場。

創(chuàng)新工場，是由李開復(fù)博士在2009年創(chuàng)辦的創(chuàng)投機構(gòu)，經(jīng)過10余年的發(fā)展，在國內(nèi)外都頗具影響力。

創(chuàng)新工場的特色之一是設(shè)立了創(chuàng)新工場人工智能工程院，開創(chuàng)了獨特的VC+AI模式。創(chuàng)新工場人工智能工程院最近針對人工智能系統(tǒng)的安全性和隱私保護(hù)方向，做了一點自己的思考，今天和大家做一個簡要的技術(shù)上的分享。

人工智能系統(tǒng)的安全性問題

這一波（2015年后）人工智能的興起，使得人工智能逐漸從低風(fēng)險的應(yīng)用，比如判斷一封郵件是否是垃圾郵件，轉(zhuǎn)向了高風(fēng)險應(yīng)用，比如自動駕駛、無人機、還有重度依賴人工智能技術(shù)的金融投資、投顧等領(lǐng)域。

一旦這些人工智能系統(tǒng)出現(xiàn)了偏差甚至錯誤，它所帶來的損失不僅僅是巨額的財產(chǎn)，還有可能是生命。

但是，一個核心的問題是，人工智能領(lǐng)域涉及到的安全問題，和傳統(tǒng)的軟件工程安全問題，是否存在本質(zhì)的不同？我們能否繼續(xù)使用傳統(tǒng)的攻防工具，對人工智能系統(tǒng)進(jìn)行安全分析？

這就需要談到軟件1.0和軟件2.0的概念。

我們認(rèn)為在這一輪的人工智能興起之后，整個軟件工程也產(chǎn)生了一個范式的轉(zhuǎn)變。

在傳統(tǒng)的軟件工程中，工程師會搭建一個系統(tǒng)，構(gòu)建一個基于規(guī)則的程序，輸入數(shù)據(jù)后，計算機會給出確定性的輸出。這是軟件1.0時代的特征。

而隨著這一波人工智能的興起，誕生了一個新的軟件工程開發(fā)范式，程序是由數(shù)據(jù)驅(qū)動的方式，利用人工智能算法自動產(chǎn)生的，這從軟件工程角度來看，是一個相當(dāng)本質(zhì)的改變，有人稱之為軟件2.0時代。

因此，在軟件工程1.0時代的一系列安全分析，漏洞分析的手段，到了軟件2.0時代不再適用。軟件工程范式的改變，帶來了全新的安全問題。

目前針對人工智能系統(tǒng)的攻擊，可以分成兩大類。一類是測試階段攻擊，一類是訓(xùn)練階段攻擊。

測試階段攻擊

訓(xùn)練階段攻擊發(fā)生在AI模型訓(xùn)練之前，測試階段攻擊針對是已訓(xùn)練好的AI模型。我們先看測試階段攻擊。

測試階段的攻擊，大家見的最多的一類，也對抗樣本。

左邊的這張圖拍的是大熊貓的照片，當(dāng)攻擊者知道這個圖像分類模型的所有參數(shù)后，就可以根據(jù)模型的參數(shù)，精心設(shè)計出干擾“噪聲”（中間的圖）。

把噪聲疊加在左圖，形成右圖。雖然我們用肉眼看到的右圖和左圖一模一樣，但圖像分類模型會把右圖的熊貓錯認(rèn)為另一種生物。這個過程就是所謂的對抗樣本攻擊。

對抗樣本不僅僅可用于電腦儲存的數(shù)字圖像，還可以應(yīng)用在真實的物理環(huán)境中。

比如對交通的路牌做微小的改動，就可能讓自動駕駛汽車在行駛過程中因為不能正確識別，而做出錯誤的行動。再比如用3D打印技術(shù)設(shè)計出一只烏龜，在烏龜?shù)募y理上做對抗樣本的疊加，模型會認(rèn)為這是一個其他物種。

對抗樣本并不神秘，學(xué)術(shù)界認(rèn)為它攻擊原理的本質(zhì)就是由于我們的輸入樣本在一個非常高維的空間中。而通過機器學(xué)習(xí)模型學(xué)習(xí)出來的決策邊界，在高維空間中是高度非線性的。

對抗樣本在這些高度非線性的角色邊界附近產(chǎn)生了一個擾動，擾動就會讓模型從分類一誤判為分類二（如上圖）。但它們在視覺上很難區(qū)分。

剛才講的對抗樣本，從另一個角度來看，是白盒攻擊。意思是攻擊者需要提前知道AI模型的所有參數(shù)信息。

黑盒攻擊，是另一種測試階段攻擊，攻擊者對指定模型的參數(shù)未知，只知道模型的輸入輸出，這種情況下依舊想產(chǎn)生特定的對抗樣本，很明顯黑盒攻擊的難度更大。

怎樣才能讓黑盒攻擊，做到和白盒攻擊一樣的效果呢？對此，目前常見的攻擊思路有兩大方向：

黑盒攻擊的第一大方向，是利用對抗樣本的普適性。

雖然準(zhǔn)備攻擊的對象的模型和參數(shù)不知道，但是我們可以找一個已知的模型，比如說VGG，或者ResNet（殘差網(wǎng)絡(luò)），來做一個對抗樣本。

我們的核心假設(shè)是如果這個對抗樣本能哄騙已知的模型，也就能哄騙云端（黑盒）的分類器， 2016年有人做過一個的工作，用不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)產(chǎn)生相應(yīng)的對抗樣本，去哄騙其他的結(jié)構(gòu)。實驗的結(jié)果證明了，這個假設(shè)是合理的。

怎樣加強這種對抗樣本的普適性？

首先是在訓(xùn)練替代模型時，對數(shù)據(jù)進(jìn)行增廣，其次是利用集成方法，如果它能成功的攻擊多個已知的白盒的模型的集成，那么攻擊一個黑盒的API，成功率就會高一些。

黑盒攻擊的第二個方向，是基于查詢的逆向猜測，目前有一些云服務(wù)，返回時顯示的不僅僅是一個標(biāo)簽，還包括了某一個類別的概率的分布的向量。

這個分布向量包含了關(guān)于模型本身非常多的知識。我們可以讓這個模型標(biāo)注足夠多的樣本，然后訓(xùn)練一個本地模型，模擬云端模型的行為。由于本地模型是白盒的，利用現(xiàn)有白盒攻擊算法，針對本地模型產(chǎn)生對抗樣本，再由于普適性，該樣本對云端黑盒模型往往同樣有效。

這件事情的關(guān)鍵，是訓(xùn)練一個本地的模型，該模型能夠模仿黑盒模型的行為。有點像吸星大法。學(xué)術(shù)界Hinton等人提出的知識蒸餾，以及更早的周志華教授提出的二次學(xué)習(xí)，本質(zhì)都是在干這件事情。

我們也可以用遺傳算法，改變輸入樣本的像素的值，每次改變一點點，就訪問一下云端的API。用這種方式，我們就能慢慢地收到一個可以哄騙云端的對抗樣本。

訓(xùn)練階段攻擊

剛剛講的，是測試階段攻擊。下面講，訓(xùn)練階段攻擊。

訓(xùn)練階段攻擊，發(fā)生在模型產(chǎn)生之前。比如說經(jīng)典的訓(xùn)練階段攻擊是數(shù)據(jù)下毒，目標(biāo)是改動盡可能少的訓(xùn)練數(shù)據(jù)，使得訓(xùn)練后的模型，在干凈測試集上表現(xiàn)盡可能差。

最近我們和南大周志華教授合作，提出了一個新的范式，我們叫毒化訓(xùn)練（參見Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder，In NeurIPS 19）要求對每個樣本盡可能小的擾動（注意數(shù)據(jù)下毒是盡可能少的樣本進(jìn)行編輯），使得訓(xùn)練后的模型，在干凈測試集上表現(xiàn)盡可能差。

毒化訓(xùn)練，從流程來看就是這樣，針對一個訓(xùn)練集，需要用一個函數(shù)在訓(xùn)練集上做某種程度上的擾動。

然后任意一個模型，在毒化后的訓(xùn)練集上做完訓(xùn)練后，它在面臨一個干凈的測試樣本的時候，每次的預(yù)測都是錯誤。

那么這里的關(guān)鍵就是如何得到下毒的函數(shù)g，在Deep Confuse這篇文章中，我們用了一類特殊自編碼器。自編碼器是非常經(jīng)典的，從輸入到同輸入空間中的映射。去噪自編碼器，能做到噪音樣本經(jīng)過編碼和解碼這兩個步驟，把原始有噪音的樣本去噪。

這個算法把去噪自編碼器逆向使用，讓自編碼器學(xué)習(xí)出如何增加毒化噪聲（而不是降噪）。 

這里就涉及到了算法的第二個核心思想： 

我們需要同時訓(xùn)練一個假想的分類器和一個我們想要的加噪自編碼器。通過記錄假想分類器在訓(xùn)練過程中更新的軌跡，反向的更新毒化噪聲器的參數(shù)。

舉例來說，我們觀察一個人學(xué)習(xí)的過程，然后根據(jù)這個人學(xué)習(xí)書本的軌跡，修改書本的知識。我最終希望他學(xué)完這本書后，每學(xué)一步都是錯的，每一步我們都稍微修改了一點點。通過劫持一個正常分類器的學(xué)習(xí)軌跡，我們教會了加噪自編碼器如何下毒。

效果是明顯的，如上圖所示，abc中的三張圖，第一行都是原圖，第二行都是毒化后的圖片，從視覺上看，我們很難看出不同。

但是對于分類器來說，在毒化后的數(shù)據(jù)集上訓(xùn)練的分類器，面臨干凈樣本的時候，正確率降低到了完全不可用，正常圖像數(shù)據(jù)基本都不能正確的被識別。

毒化樣本也存在普適性，我們針對于不同的網(wǎng)絡(luò)架構(gòu)（VGG、ResNet、Dense）做了一些實驗。

這三個不同的網(wǎng)絡(luò)架構(gòu)，在相同的毒化訓(xùn)練集上，預(yù)測準(zhǔn)確度都會有一個非常明顯的下降。

當(dāng)然，毒化訓(xùn)練，不是只能干壞事，它也能做好事。

毒化訓(xùn)練，可以用來保護(hù)公司的知識產(chǎn)權(quán)。比如醫(yī)院，如果想去發(fā)布一些訓(xùn)練集，但又擔(dān)心第三方用發(fā)布后的數(shù)據(jù)進(jìn)行商業(yè)活動。作為數(shù)據(jù)的發(fā)布方，可以將想要發(fā)布的訓(xùn)練集毒化，讓第三方不能隨意對這些數(shù)據(jù)進(jìn)行商業(yè)運作。

下面講聯(lián)邦學(xué)習(xí)。

聯(lián)邦學(xué)習(xí)，我的理解是，他本質(zhì)上是下一代分布式機器學(xué)習(xí)系統(tǒng)。它本質(zhì)上是一個分布式的架構(gòu)，在這種分布式的架構(gòu)下，它具備傳統(tǒng)分布式平臺不具備的隱私保護(hù)的功能。

聯(lián)邦學(xué)習(xí)有三個顯著特點。

第一個特點是剛才提到的隱私保護(hù)。由于訓(xùn)練數(shù)據(jù)不會出本地，聯(lián)邦學(xué)習(xí)滿足歐盟的GDPR法案（通用數(shù)據(jù)保護(hù)條例）等各類隱私。

第二個特點是端部定制。

聯(lián)邦學(xué)習(xí)在邊緣計算中前景巨大。

根據(jù)聯(lián)邦學(xué)習(xí)算法的特點，我們?nèi)绻谶吘売嬎愕倪^程中，比如說我們在可穿戴的醫(yī)療設(shè)備中，這個模型不僅保護(hù)了本地數(shù)據(jù)，跟云端的大模型相比，它還自適應(yīng)的去滿足基于本地數(shù)據(jù)的個性化需求。每個人對醫(yī)療設(shè)備的需求是不一樣的，我們可以根據(jù)不同數(shù)據(jù)的輸入分布，做一個端部的定制化。這非常具有商業(yè)價值。

第三個特點是大家熟悉的協(xié)同合作，在不同機構(gòu)之間，比如一家電商網(wǎng)站和一家銀行之間的合作。在聯(lián)盟學(xué)習(xí)沒有推出之前，這件事情可能在技術(shù)上不可行，而在聯(lián)邦學(xué)習(xí)推出之后，這件事情可以做到。

聯(lián)邦學(xué)習(xí)的應(yīng)用可分成四大類。

第一，是基于政府的聯(lián)邦學(xué)習(xí)應(yīng)用。這類應(yīng)用主要是因為法律法規(guī)或者政策性的要求，催生的AI服務(wù)。

第二類，是基于企業(yè)的聯(lián)邦學(xué)習(xí)應(yīng)用。部分大型機構(gòu)內(nèi)部之間的數(shù)據(jù)不能進(jìn)行直接的交換。

第三類，消費端的聯(lián)邦學(xué)習(xí)應(yīng)用，更多的是針對于邊緣計算或者定制化。

2C端，更多和邊跟邊緣計算有關(guān)；而2B端，更強調(diào)聯(lián)邦學(xué)習(xí)的協(xié)同能力。

當(dāng)然也可以做把2B、2C混合著做，統(tǒng)稱混合型聯(lián)邦學(xué)習(xí)應(yīng)用。

在聯(lián)邦學(xué)習(xí)的分布式場景下，安全的問題更加需要研究，因為攻擊者攻擊的可能更多。

比如攻擊者所了解的先驗知識會更多，要么是知道某一方的數(shù)據(jù)，要么知道某一方的模型。不需要知道所有方的數(shù)據(jù)和模型，攻擊者就能做出攻擊。

攻擊者的目的也更為多樣，他可能只針對于某一方進(jìn)行攻擊，也可能把整個聯(lián)邦后的結(jié)果都進(jìn)行攻擊。不管如何，被攻擊者所面臨的場景矩陣都會更加復(fù)雜。

針對聯(lián)邦學(xué)習(xí)的攻擊的方式可以分為三類。

第一類是黑/白盒攻擊，攻擊者獲得模型參數(shù)（白盒），或者通過API進(jìn)行訪問（黑盒）。黑/白盒攻擊具有普適性，和聯(lián)邦學(xué)習(xí)關(guān)系較小。剛才提到的各類黑盒白盒攻擊，在聯(lián)邦學(xué)習(xí)場景下依舊適用。

第二類是信道攻擊。

如果攻擊者侵入了訓(xùn)練過程中的通信系統(tǒng)，他只能夠監(jiān)聽到本地的小模型跟中央的Server之間的梯度更新的信號，我們能不能做一些事情？

上圖基于對抗生成網(wǎng)絡(luò)，如果你有相應(yīng)的梯度更新的方向，這篇工作告訴我們，目前技術(shù)上能夠高保真的還原出對應(yīng)的樣本。怎么防御呢？

目前，我們已經(jīng)有了的防御方案，比如對梯度參數(shù)信息進(jìn)行同態(tài)加密，能夠以非常高的概率防御這一類的信道攻擊。

最后一類是數(shù)據(jù)攻擊，也就是剛才提到的毒化訓(xùn)練，數(shù)據(jù)下毒。

聯(lián)邦學(xué)習(xí)場景下，毒化訓(xùn)練的核心問題是，僅僅毒化個別數(shù)據(jù)庫（而不是所有數(shù)據(jù)），是否可以依舊破壞模型的準(zhǔn)確度？

例如如果我們只得到了30%的數(shù)據(jù)，毒化訓(xùn)練的算法有沒有效，需要實驗驗證。

在多方聯(lián)邦學(xué)習(xí)場景下，我們用CIFAR10的數(shù)據(jù)來分別毒化不同比例的本地數(shù)據(jù)庫，觀測毒化的效果。

如上圖顯示，不管是兩方學(xué)習(xí)、三方學(xué)習(xí)還是四方學(xué)習(xí)，不管我們攻擊了一方、兩方、三方還是把所有數(shù)據(jù)都攻擊，性能都會降低。

當(dāng)然你攻擊的聯(lián)邦學(xué)習(xí)的參與方越多，攻擊的成功率和攻擊的顯著性就會越高。

安全防御，是一件非常困難的事情。

做一個壞人很容易，做好人卻很難。壞人，只需要攻擊一個點，攻擊成功了，攻擊的算法就有效。如果做防御，你需要對所有潛在的攻擊都做保護(hù)。

我簡單介紹三類不同的防御思路。

第一類就是剛才提到的，基于信道的攻擊。用同態(tài)加密或者多方安全計算，能夠解決信道攻擊。

第二種思路，即魯棒性機器學(xué)習(xí)。其實在深度學(xué)習(xí)之前，學(xué)術(shù)界就有非常大量的魯棒性機器學(xué)習(xí)研究。

第三種思路是對抗訓(xùn)練和聯(lián)邦對抗訓(xùn)練。

對抗訓(xùn)練是魯棒性機器學(xué)習(xí)的一個分支。對于每一個樣本點，在圍繞這個樣本點的附近，都能夠有一個非常好的性能。通過這種方式來避開在高維空間決策邊界中樣本的一些擾動。在聯(lián)盟學(xué)習(xí)場景下，我們?nèi)匀恍枰_發(fā)一些新的、可以規(guī)?；膶褂?xùn)練算法。

目前對抗訓(xùn)練是一個非常好的技術(shù)，但是它在面臨海量訓(xùn)練集的任務(wù)的時候，很難形成規(guī)?；?。這是我們從算法上設(shè)計更好實現(xiàn)安全防御的三種對策。

時間有限，今天就和大家介紹這么多，謝謝。

互動問答精選

Q1: 為什么說毒化后的樣本，可以防止成為不好的用途？

馮霽：當(dāng)你把要發(fā)布的數(shù)據(jù)進(jìn)行某種程度上的毒化，第三方因為不知道你如何毒化的，所以他就沒有辦法拿你的數(shù)據(jù)做你不想讓他去做的一些場景和商業(yè)落地行為。

Q2: 為什么四方學(xué)習(xí)的原始數(shù)據(jù)，準(zhǔn)確度比兩方的低很多。

馮霽：下毒的訓(xùn)練集越少，沒有毒的訓(xùn)練集越多，下毒的能力就越少。

最極端的例子是，如果你有100萬個樣本，你只改了一個樣本，訓(xùn)練之后，你對模型的操控的能力跟操控的幅度就會更小。

Q3: 最近有銀行和醫(yī)療公司泄露數(shù)據(jù)的情況發(fā)生，聯(lián)邦學(xué)習(xí)現(xiàn)在的成熟度，足夠應(yīng)對這些情況嗎？

馮霽：泄露數(shù)據(jù)的原因比較多，聯(lián)邦學(xué)習(xí)是能夠從算法上和技術(shù)上防止數(shù)據(jù)的泄漏。

如果因為業(yè)務(wù)方本身或者其他原因?qū)е碌臄?shù)據(jù)泄露，那么這就不是一個技術(shù)問題，也就不是聯(lián)邦學(xué)習(xí)所能夠解決的領(lǐng)域和范疇了。

Q4：原始數(shù)據(jù)是指毒化前的數(shù)，如何應(yīng)對非iid場景下的毒化攻擊。

馮霽：在iid場景下進(jìn)行毒化攻擊，都很難。毒化攻擊這件事情本身和這個樣本是不是iid沒有多大關(guān)系。

只能說，如果樣本是iid的話，對于一些分類任務(wù)它是能更好毒化的。

Q5: 聯(lián)邦學(xué)習(xí)和區(qū)塊鏈有什么不一樣？

馮霽：不太一樣。

聯(lián)邦學(xué)習(xí)更多的是一個分布式的機器學(xué)習(xí)平臺，而區(qū)塊鏈更多的是在做一個去中心化的、可靠且不受干擾的信任機制。

Q6: 無人車怎樣防范錯誤的識別圖像？

馮霽：有人專門做過實驗，檢驗?zāi)壳吧逃玫臒o人車是否能識別毒化后的數(shù)據(jù)或者圖片。

當(dāng)我們把路牌的進(jìn)行處理會發(fā)現(xiàn)，目前現(xiàn)有的、比較成熟的無人車視覺系統(tǒng)都會做出相應(yīng)的誤判。

無人車公司需要在這一類高風(fēng)險模型的訓(xùn)練過程中利用到對抗訓(xùn)練，增強模型的魯棒性。

Q7: 聯(lián)邦學(xué)習(xí)會導(dǎo)致隱私泄露嗎？

馮霽：聯(lián)邦學(xué)習(xí)是一個保護(hù)隱私的、分布式的機器學(xué)習(xí)平臺。在這個框架下，我們可泄露的東西非常少。

當(dāng)參數(shù)被加過密，信道在通信的過程中，也是監(jiān)聽無效的。我覺得唯一需要注意的是剛才提到的毒化訓(xùn)練。

聯(lián)邦學(xué)習(xí)的數(shù)據(jù)不僅僅要不能出獄，同時在不出獄的同時，你還要保證別人也不能看到。

如果你的數(shù)據(jù)在不出獄的前提下，能夠被第三方進(jìn)行某種程度的修改，那么這也能給這個系統(tǒng)帶來隱患。

Q8: 如何平衡聯(lián)邦學(xué)習(xí)的效率和安全？

馮霽：這其實是一個商業(yè)問題。

我們希望在未來，能夠在可異性和隱私保護(hù)之間尋求一個平衡點。

這個平衡點，我們認(rèn)為跟產(chǎn)品本身有關(guān)。

有的產(chǎn)品是受到法律強制性約束的，它基本上是是沒有可平衡余地的。

對于不受法律嚴(yán)格約束的應(yīng)用場景，我們認(rèn)為應(yīng)該把這個選擇的權(quán)利交給用戶。

用戶想要一個更強的隱私保護(hù)，效益就會差一些；用戶希望效率更高，那么隱私的保護(hù)可能就會弱一些。這個選擇的權(quán)利不應(yīng)該只讓產(chǎn)品經(jīng)理決定，而更應(yīng)該交給用戶。（雷鋒網(wǎng)）

雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。