0
| 本文作者： 亞萌 | 2017-04-27 21:06 |
雷鋒網(wǎng)按：ICLR 2017 總共有三篇最佳論文，其中有一篇是關(guān)于如何有效保護(hù)機(jī)器學(xué)習(xí)訓(xùn)練中的隱私數(shù)據(jù)，名為「用半監(jiān)督知識(shí)遷移解決深度學(xué)習(xí)中訓(xùn)練數(shù)據(jù)隱私問(wèn)題」（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）。論文給出了一種通用性的解決方法，名為「教師模型全體的隱私聚合」（Private Aggregation of Teacher Ensembles/PATE），PATE 發(fā)音類似「法國(guó)肉醬」這種食物。該論文第一作者是 Nicolas Papernot。在近日舉辦的 ICLR 2017 大會(huì)上，Papernot 也進(jìn)行了口頭報(bào)告。以下是 Papernot 現(xiàn)場(chǎng)演講視頻，另附文字版，由雷鋒網(wǎng)編譯。
我主要講一講，如何在機(jī)器學(xué)習(xí)當(dāng)中保護(hù)數(shù)據(jù)的隱私性。這篇論文的貢獻(xiàn)者還有：Martín Abadi、úlfar Erlingsson、Kunal Talwar 和 Ian Goodfellow。
為了解決這個(gè)問(wèn)題，我們展示了一種能為訓(xùn)練數(shù)據(jù)提供強(qiáng)健隱私保障的通用性方法：「教師模型全體的隱私聚合」（Private Aggregation of Teacher Ensembles/PATE）。
一些機(jī)器學(xué)習(xí)應(yīng)用的訓(xùn)練涉及到敏感數(shù)據(jù)。這里是一個(gè)訓(xùn)練一般人臉識(shí)別模型的例子，2015 年一群研究員發(fā)現(xiàn)，通過(guò)機(jī)器學(xué)習(xí)模型的預(yù)測(cè)結(jié)果，可以反過(guò)來(lái)重建模型訓(xùn)練時(shí)使用的人臉數(shù)據(jù)。2016 年，另一撥研究人員發(fā)現(xiàn)，同樣可以根據(jù)模型的預(yù)測(cè)結(jié)果，來(lái)推理出模型訓(xùn)練數(shù)據(jù)中是否包含了某個(gè)具體的訓(xùn)練點(diǎn)（training point），他們將這種攻擊稱之為「會(huì)員推理攻擊」（membership inference attacks）。
以下有兩種攻擊類型。
模型查詢（model querying）
攻擊者通過(guò)查詢來(lái)觀察模型。對(duì)于攻擊者來(lái)說(shuō)，模型是一個(gè)黑盒，攻擊者可以挑選輸入值，來(lái)觀察模型的預(yù)測(cè)結(jié)果。
模型檢驗(yàn)（model inspection）
當(dāng)我們進(jìn)行防守設(shè)計(jì)的時(shí)候，我們會(huì)針對(duì)最強(qiáng)的攻擊手法。有很多證據(jù)表明，機(jī)器學(xué)習(xí)模型能夠記住一些訓(xùn)練數(shù)據(jù)，其中一個(gè)證據(jù)就是來(lái)自這篇論文：《理解深度學(xué)習(xí)，需要重新思考泛化問(wèn)題》（Understanding Deep Learning Requires Rethinking Generalization）。所以我們也想防范白盒攻擊者（white-box adversary）通過(guò)模型檢驗(yàn)進(jìn)行的攻擊。
在我們的工作中，威脅模型有以下幾個(gè)假定：
攻擊者可以進(jìn)行潛在的無(wú)限多的查詢
攻擊者能夠進(jìn)入模型內(nèi)部組件
在以上假定下，我們?cè)O(shè)計(jì)保護(hù)數(shù)據(jù)隱私的通用性方法。「通用性」的意思是指「獨(dú)立于學(xué)習(xí)算法或?qū)W習(xí)架構(gòu)」，這是與此前該領(lǐng)域工作最大的一個(gè)不同點(diǎn)。我們不僅提供正式的差分隱私保障，也提供一定的直觀隱私（intuitive privacy）保障，關(guān)于這一點(diǎn)，我后續(xù)會(huì)給出更多的解釋。
我們給出的解決方法是「教師模型全體的隱私聚合」（Private Aggregation of Teacher Ensembles/PATE），PATE 的發(fā)音類似「法國(guó)肉醬」這種食物。
教師模型（Teacher Model）
起初，我們將敏感數(shù)據(jù)分割為 N 個(gè)互斥的不同數(shù)據(jù)集，然后由這些數(shù)據(jù)集分別獨(dú)立訓(xùn)練不同的模型，得到 N 個(gè)「教師模型」。當(dāng)我們部署訓(xùn)練好的「教師模型」時(shí)，我們記錄每一個(gè)「教師模型」的預(yù)測(cè)結(jié)果，選取票數(shù)最高的那個(gè)，將預(yù)測(cè)結(jié)果聚合起來(lái)。
如果大部分「教師模型」都同意某一個(gè)預(yù)測(cè)結(jié)果，那么就意味著它不依賴于具體的分散數(shù)據(jù)集，所以隱私成本很小。但是，如果有兩類預(yù)測(cè)結(jié)果有相近的票數(shù)，那么這種不一致，或許會(huì)泄露隱私信息。
因此，我們?cè)谥虚g「統(tǒng)計(jì)票數(shù)」和「取最大值」之間，添加了額外的一個(gè)步驟：引入拉普拉斯噪聲，把票數(shù)的統(tǒng)計(jì)情況打亂，從而保護(hù)隱私。
學(xué)生模型（Student Model）
你可以把「聚合教師模型」（Aggregated Teacher）看做是一個(gè)差分隱私 API，你提交輸入值，它會(huì)給你保護(hù)隱私的標(biāo)簽。但是，如果我們能訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)模型，部署到用戶設(shè)備上直接運(yùn)行模型得出預(yù)測(cè)結(jié)果，這樣會(huì)更好。所以，我們又訓(xùn)練了一個(gè)額外模型：「學(xué)生模型」。「學(xué)生模型」可以獲得未標(biāo)記的公共數(shù)據(jù)池。為了訓(xùn)練「學(xué)生模型」，我們需要「聚合教師模型」以隱私保護(hù)的方式，來(lái)給公共數(shù)據(jù)進(jìn)行標(biāo)注，傳遞知識(shí)。我們用于部署在設(shè)備上的，就是訓(xùn)練好的「學(xué)生模型」。
為什么要訓(xùn)練一個(gè)額外的「學(xué)生模型」？
如果你仔細(xì)看一下，就會(huì)發(fā)現(xiàn)「聚合教師模型」實(shí)際上破壞了我們的威脅模型。每次你在查詢「聚合教師模型」時(shí)，都會(huì)增加隱私成本，因它每次給出的輸出結(jié)果都會(huì)或多或少透露一些隱私信息。然而，當(dāng)「學(xué)生模型」訓(xùn)練好之后，只能對(duì)「聚合教師模型」進(jìn)行固定數(shù)量的查詢，那么隱私成本就會(huì)被固定下來(lái)了。
另外，我們要防范攻擊者探取模型底層函數(shù)庫(kù)?！附處熌Ｐ汀故怯呻[私數(shù)據(jù)訓(xùn)練的，「學(xué)生模型」是由公共數(shù)據(jù)訓(xùn)練的，帶有隱私保護(hù)的標(biāo)注。所以最壞的情況是，攻擊者通過(guò)查驗(yàn)「學(xué)生模型」的底層函數(shù)庫(kù)而獲得其訓(xùn)練數(shù)據(jù)，也只能得到帶有隱私保護(hù)的標(biāo)注信息，除此以外攻擊者得不到再多的隱私信息了。
對(duì)于相近的數(shù)據(jù)集（d,d'），隨機(jī)的算法 M 滿足（ε，δ）差分隱私，那么兩個(gè)查詢數(shù)據(jù)庫(kù)（d,d'）的查詢結(jié)果在概率上接近。寫(xiě)成公式就是：
也就是說(shuō)，對(duì)于任意的查詢結(jié)果集合 S，參數(shù)ε接近 0 時(shí)，隱私程度高。所以，ε值決定了噪聲的干擾程度，也決定了隱私程度。另外，我們還有一個(gè)參數(shù)δ，代表失敗率（failure rate），簡(jiǎn)化了差分隱私分析。
我們應(yīng)用了 Moments Accountant 技巧，來(lái)自去年的一篇論文（Abadi et al，2016），可以對(duì)「教師模型」設(shè)置一個(gè)強(qiáng)固定數(shù)（strong quorum），從而帶來(lái)小隱私成本。另外，差分隱私范圍（bound）是依賴于數(shù)據(jù)的。
在展示實(shí)驗(yàn)結(jié)果之前，我想展示一下 PATE 的一種生成式變種：PATE-G，你可以把它當(dāng)做是更華麗的一種 PATE 版本。PATE-G 的設(shè)計(jì)初衷很簡(jiǎn)單：我們希望產(chǎn)生「學(xué)生模型」訓(xùn)練時(shí)需要用的標(biāo)簽數(shù)目，數(shù)目越小，則隱私成本越小。
生成對(duì)抗網(wǎng)絡(luò)（GANs）的一般架構(gòu)是分為生成器和判別器。我們將原本二元分類的判別器（只判別數(shù)據(jù)是真實(shí)的 or 生成的）擴(kuò)展至一個(gè)多類別的分類器，用來(lái)區(qū)分：已標(biāo)注的真實(shí)樣本，未標(biāo)注真實(shí)樣本，以及生成樣本。
實(shí)驗(yàn)設(shè)置
我們使用了四個(gè)數(shù)據(jù)庫(kù)：MNIST、SVHN、UCI Adult 和 UCI Diabetes。在訓(xùn)練「教師模型」時(shí)，對(duì)于 MNIST 和 SVHN 兩個(gè)圖像數(shù)據(jù)庫(kù)，我們使用了卷積架構(gòu)；對(duì)于兩個(gè) UCI 數(shù)據(jù)庫(kù)，我們使用了隨機(jī)森林。在訓(xùn)練「學(xué)生模型」時(shí)，對(duì)于 MNIST 和 SVHN，我們使用了 PATE-G；對(duì)于兩個(gè) UCI 數(shù)據(jù)庫(kù)，我們使用的是普通的 PATE 架構(gòu)。順便說(shuō)一句，我們所有的實(shí)驗(yàn)設(shè)置都已經(jīng)在 TensorFlow 模塊上。
「聚合教師模型」的準(zhǔn)確率
這幅圖描繪了「聚合教師模型」的準(zhǔn)確率。所以，在訓(xùn)練「學(xué)生模型」之前，我們考慮了每一個(gè)標(biāo)簽的隱私。橫軸是每一個(gè)標(biāo)簽查詢的ε值，縱軸是預(yù)測(cè)結(jié)果的平均準(zhǔn)確率。
紫色這條線代表了一個(gè)包含 10 個(gè)「教師模型」的「聚合教師模型」（n=10）。當(dāng)我們逐漸降低ε的值，意味著我們引入更多的隨機(jī)噪聲，加強(qiáng)隱私保障，那么這個(gè)「聚合教師模型」的準(zhǔn)確率也很快下降。但是，圖中綠線和紅線的部分，分別是包含 100 個(gè)和 250 個(gè)「教師模型」的「聚合教師模型」（n=100，n=250），那么在較低ε值時(shí)，我們?nèi)匀豢梢员３州^高的準(zhǔn)確率。
「學(xué)生模型」準(zhǔn)確率和隱私之間平衡
橫軸是「學(xué)生模型」的ε值，代表我們方法的所有隱私成本（overall cost）?？v軸是進(jìn)行了隱私保護(hù)的「學(xué)生模型」的錯(cuò)誤率。
在紫色（MNIST）和藍(lán)色（SVHN）部分，我們大幅度降低了ε值（60 萬(wàn)到 20 萬(wàn)以下），意味著大幅加強(qiáng)隱私保障，由此保持甚至提高了準(zhǔn)確率，因?yàn)殄e(cuò)誤率都保持在較低水平。對(duì)于綠色（Adult）部分，我們把錯(cuò)誤率降低到了最先進(jìn)的水平，同時(shí)付出了適量的隱私成本。
最后，對(duì)于 UCI Diabetes 數(shù)據(jù)庫(kù)，我們發(fā)現(xiàn)了一些非常有趣的東西。隱私保護(hù)模型（student accuracy）比未加隱私保護(hù)的模型（non-private baseline）的準(zhǔn)確率還要高。
最后，我想強(qiáng)調(diào)三點(diǎn)。第一點(diǎn)，就是這個(gè)方法是具有通用性的，這意味著你可以將它應(yīng)用于各種分類器中（包括神經(jīng)網(wǎng)絡(luò)）；另外，就算你不太懂隱私保護(hù)的知識(shí)，你可以通過(guò) PATE 框架來(lái)保護(hù)機(jī)器學(xué)習(xí)里的訓(xùn)練數(shù)據(jù)。第二點(diǎn)，差分隱私范圍（bound）不是給定的，對(duì)于達(dá)到準(zhǔn)確度與隱私之間的良好的平衡，具有重要意義。第三點(diǎn)，我們觀察到，隱私和通用性并不一定是互相矛盾的。
以上就是我的報(bào)告，謝謝大家。
更多雷鋒網(wǎng)文章：
ICLR 最佳論文作者張馳原演講全文：理解深度學(xué)習(xí)，為何我們需要重新思考泛化問(wèn)題？| ICLR 2017
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
