0
雷鋒網(wǎng)AI科技評(píng)論按：去年年底，Ian Goodfellow與Nicolas Papernot（是的，就是ICLR 2017的最佳論文得主之一）合作開(kāi)了一個(gè)博客叫cleverhans，主要寫(xiě)一些關(guān)于機(jī)器學(xué)習(xí)在安全與隱私問(wèn)題的文章。一個(gè)Goodfellow、一個(gè)Papernot，此二神的稱(chēng)呼真是般配呢。
在第一篇博客里，他倆介紹了為什么攻擊機(jī)器學(xué)習(xí)要遠(yuǎn)比防御容易得多。以下是雷鋒網(wǎng)AI科技評(píng)論編譯的第二篇文章，未經(jīng)雷鋒網(wǎng)AI科技評(píng)論許可不得轉(zhuǎn)載：
在我們的第二篇博客里，我們此前已經(jīng)給出了一些背景知識(shí)，告訴大家，為什么到目前為止，我們還不能有效的處理對(duì)抗樣本。對(duì)此，我們懷疑我們是否還可以對(duì)此進(jìn)行防御。
在本文中，我們將探討積幾類(lèi)保護(hù)措施。通過(guò)這些措施，我們就可以使我們的機(jī)器學(xué)習(xí)模型能夠真正的起作用。就目前來(lái)說(shuō)，我們認(rèn)為現(xiàn)有防御措施的限制在于，缺乏對(duì)機(jī)器學(xué)習(xí)模型的驗(yàn)證機(jī)制。確實(shí)是這樣的，為了能夠設(shè)計(jì)出可靠地系統(tǒng)，工程師們都需要進(jìn)行測(cè)試與驗(yàn)證：
測(cè)試指的是在某些環(huán)境狀態(tài)下，對(duì)系統(tǒng)進(jìn)行評(píng)估，并記錄系統(tǒng)的運(yùn)行狀況以及是否出現(xiàn)缺陷。
驗(yàn)證指的是，經(jīng)過(guò)驗(yàn)證，我們確保我們的系統(tǒng)在一般情形下，可信并可用的，它具有通用性。
與這個(gè)問(wèn)題相正交的另一個(gè)問(wèn)題是，哪些數(shù)據(jù)需要作為驗(yàn)證集與測(cè)試集。我們是否只應(yīng)考慮那些“自然而然”的數(shù)據(jù)作為測(cè)試與驗(yàn)證的數(shù)據(jù)集？倘若我們的輸入的是一些臟數(shù)據(jù)，對(duì)此，我們是否要提供一些保護(hù)性措施？許多的軟件系統(tǒng)對(duì)于某些輸入都有未定義的反應(yīng)。比如說(shuō)，編譯器。
機(jī)器學(xué)習(xí)從業(yè)人員廣泛依賴(lài)初級(jí)的測(cè)試方法。一般來(lái)說(shuō)，我們?cè)u(píng)估一個(gè)分類(lèi)器的做法是：從測(cè)試數(shù)據(jù)中選出一些樣本，使用分類(lèi)器對(duì)這些樣本進(jìn)行預(yù)測(cè)，最終得到分類(lèi)器預(yù)測(cè)這些樣本的準(zhǔn)確率。通過(guò)以上描述，我們知道，這種測(cè)試方法并不能涵蓋到所有可能被誤判的樣本。
對(duì)測(cè)試集誤差的驗(yàn)證模擬，是一種統(tǒng)計(jì)學(xué)習(xí)理論。通過(guò)運(yùn)用該理論，我們就能確保測(cè)試錯(cuò)誤率不會(huì)超過(guò)某個(gè)閾值。但是這些保證往往太過(guò)于保守，我們?cè)诠こ虒?shí)踐上很少用到。即使我們使用了統(tǒng)計(jì)學(xué)習(xí)理論，我們也會(huì)認(rèn)為僅僅考慮到那些“自然而然的”輸入：這些保證僅僅在測(cè)試數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)集屬于同一個(gè)分布的時(shí)候，才會(huì)生效。
為了能夠提供安全保護(hù)，我們有必要在兩個(gè)維度上進(jìn)行改進(jìn)：
1）我們最好使用驗(yàn)證而不是測(cè)試；
2）確保模型可以應(yīng)對(duì)異常情況。
研究人員都希望他們的研究結(jié)果會(huì)有很大的魯棒性，能夠應(yīng)對(duì)異常情況。
為了檢驗(yàn)系統(tǒng)對(duì)對(duì)抗樣本的魯棒性，最簡(jiǎn)單的方式是使用含有對(duì)抗樣本的數(shù)據(jù)集作為測(cè)試集[SZS13]。也就是使用新的輸入來(lái)應(yīng)用于傳統(tǒng)的機(jī)器學(xué)習(xí)測(cè)試方法。
然而，不幸的是。僅僅通過(guò)測(cè)試，我們并不能得到完美的安全保證。因?yàn)?，攻擊者?huì)使用不同于測(cè)試集中的數(shù)據(jù)。例如，我們的模型對(duì)于對(duì)抗樣本生成的方法——fast gradient sign method具有很強(qiáng)的魯棒性，但是卻有可能易受到代價(jià)高昂計(jì)算方法的影響，比如說(shuō)數(shù)值優(yōu)化[szs13]或者是顯著圖[PMJ16]。
通常情況下，僅僅進(jìn)行測(cè)試是不夠的。因?yàn)?，測(cè)試僅僅提供了系統(tǒng)的錯(cuò)誤率的下限，而我們要想得到安全保證，我們還需要得到上限。換句話說(shuō)，通過(guò)測(cè)試，我們知道n個(gè)輸入導(dǎo)致了錯(cuò)誤的發(fā)生，那么工程師就能夠確定至少會(huì)有n個(gè)輸入會(huì)導(dǎo)致模型失效。可是，實(shí)際上工程師更希望找到另外一種方法。他們希望這種方法能夠找到導(dǎo)致錯(cuò)誤發(fā)生的輸入的上限。
我們?cè)跈C(jī)器學(xué)領(lǐng)域內(nèi)測(cè)試上遇到的局限性，讓人想起了許多其他的軟件設(shè)計(jì)中遇到的問(wèn)題。當(dāng)我們討論如何確保程序的準(zhǔn)確性的時(shí)候，Edsger Dijkstra說(shuō)到：“測(cè)試表明bug是存在的，而不是不存在?！?/p>
我們都清楚，使用正常數(shù)據(jù)進(jìn)行測(cè)試足夠滿足我們的機(jī)器學(xué)習(xí)應(yīng)用。但是，對(duì)異常數(shù)據(jù)的驗(yàn)證對(duì)于安全保證來(lái)說(shuō)，依然是必需的。我們需要驗(yàn)證，然而目前為止，我們僅僅知道該如何進(jìn)行測(cè)試。
我們很容易破壞掉目前我們得到的機(jī)器學(xué)習(xí)模型，使用異常數(shù)據(jù)進(jìn)行測(cè)試就足夠暴露模型的缺陷了。希望在不久的將來(lái)，我們可以有更好的方式來(lái)應(yīng)對(duì)對(duì)抗樣本。僅僅通過(guò)測(cè)試，可能尚不足以暴露模型的缺點(diǎn)。我們需要驗(yàn)證技術(shù)來(lái)研究新防御措施的有效性。保障機(jī)制的發(fā)展表明，在存在對(duì)抗的背景下，正確處理輸入空間對(duì)于ML未來(lái)的發(fā)展至關(guān)重要。它幾乎完全就是建立在形式化驗(yàn)證的基礎(chǔ)之上的。
機(jī)器學(xué)習(xí)模型對(duì)對(duì)抗樣本的魯棒性驗(yàn)證尚處于起步階段。對(duì)于分類(lèi)器，當(dāng)前使用的驗(yàn)證方法是，分類(lèi)器將同一個(gè)類(lèi)別中的所有的點(diǎn)分配到某個(gè)點(diǎn) x 的附近。下面的這幅動(dòng)畫(huà)演示了這種方法。我們將這種方法與模型測(cè)試的方法進(jìn)行比較。
對(duì)于神經(jīng)網(wǎng)絡(luò)，研究人員正在努力地建立驗(yàn)證機(jī)制。不幸的是，這些系統(tǒng)還不是很成熟。Pulina et al.開(kāi)發(fā)出了第一代的驗(yàn)證系統(tǒng)，表明神經(jīng)網(wǎng)絡(luò)的輸出類(lèi)別在所期望區(qū)域是恒定的。第一代系統(tǒng)的缺陷是，僅僅有一層隱藏層，所表征的網(wǎng)絡(luò)中的隱藏單元數(shù)量不到12個(gè)。此外，sigmoid激勵(lì)函數(shù)使用約束來(lái)近似的將問(wèn)題減少為SAT。
這之后，Huang et al.改善了初始化方法，并提出了一個(gè)適應(yīng)于現(xiàn)代神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的新的驗(yàn)證系統(tǒng).[HKW16]。該系統(tǒng)能夠適應(yīng)于更大的網(wǎng)絡(luò)。比如說(shuō)ImageNet分類(lèi)器。這個(gè)系統(tǒng)唯一存在的限制是，它依賴(lài)于各種假設(shè)。比如說(shuō)：神經(jīng)網(wǎng)絡(luò)中只有部分隱藏結(jié)點(diǎn)和輸入有關(guān)。這種假設(shè)也就意味著該系統(tǒng)不在絕對(duì)的保證沒(méi)有對(duì)抗樣本。因?yàn)閷?duì)抗樣本可以通過(guò)違背假設(shè)，進(jìn)而躲開(kāi)系統(tǒng)的檢測(cè)。比如說(shuō)，對(duì)抗樣本通過(guò)使用無(wú)關(guān)隱藏單元。
Relupex是另一個(gè)檢驗(yàn)系統(tǒng)。它使用的是線性規(guī)劃求解器，能夠適用于非常大的網(wǎng)絡(luò)。Replux對(duì)于rectified linear networks以及分段線性結(jié)構(gòu)來(lái)說(shuō)，效率更高。
目前的驗(yàn)證系統(tǒng)都有一定的使用范圍，并不是通用的。它們僅在那些輸出類(lèi)別是恒定，并且僅在某些特定點(diǎn)x的特定周?chē)鷷r(shí)候，才會(huì)起作用。下面是該系統(tǒng)的兩個(gè)限制：
1） 我們無(wú)法窮舉近似分類(lèi)器的點(diǎn)。（我們不能認(rèn)為未來(lái)的輸入的數(shù)據(jù)都是正常的數(shù)據(jù)）
2） 我們所使用的臨近x的區(qū)域。都過(guò)于武斷與保守；我們傾向于使用小尺寸的Lp范數(shù)球，因?yàn)檠芯咳藛T認(rèn)同意這樣做。對(duì)于足夠小的范式球來(lái)說(shuō)，所有相接近的點(diǎn)都會(huì)屬于同一類(lèi)。但是實(shí)際上，真正類(lèi)別所屬的區(qū)域應(yīng)該會(huì)更大，并且可能不會(huì)是規(guī)范的形狀，不會(huì)是我們所指定的形狀。
總之，要想驗(yàn)證我們的機(jī)器學(xué)習(xí)模型，我們首先要做的是定義一組正常的輸入。也就是說(shuō)，我們的分類(lèi)器能夠很好地進(jìn)行與判別。在大多數(shù)情況下，合法輸入集要遠(yuǎn)比測(cè)集大。研究人員需要設(shè)計(jì)驗(yàn)證技術(shù)，通過(guò)驗(yàn)證技術(shù)，我們就能夠有效的確保我們的機(jī)器學(xué)習(xí)模型能夠在合法數(shù)據(jù)上做出正確的判斷。機(jī)器學(xué)習(xí)經(jīng)常會(huì)有很多的挑戰(zhàn)，這樣我們可能就很難達(dá)到目標(biāo)。比如說(shuō)模型推廣問(wèn)題。[PT10, HKW16, KBD17 ]中有相關(guān)介紹。如果是這種情況的話，使用其他領(lǐng)域的開(kāi)發(fā)技術(shù)可能會(huì)使機(jī)器學(xué)習(xí)模型得到部分驗(yàn)證（更類(lèi)似于某種測(cè)試）：一個(gè)很好的案例是，模糊性對(duì)于計(jì)算機(jī)安全來(lái)說(shuō)，有積極地影響。
因?yàn)闆](méi)有任何一個(gè)機(jī)器學(xué)習(xí)模型是完全健壯與準(zhǔn)確地，因此我們需要考慮不存在驗(yàn)證系統(tǒng)的可能性。特別要注意的是，對(duì)于新的，之前沒(méi)有看到過(guò)但是合法的輸入x，我們很難做到推廣。
對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)來(lái)說(shuō)，有很多的理論能夠清晰地界定機(jī)器學(xué)習(xí)模型是否適應(yīng)新的測(cè)試數(shù)據(jù)。比如說(shuō)，“沒(méi)有免費(fèi)的午餐”定理（NFL定理）。該理論表明，在我們將所有可能的數(shù)據(jù)集進(jìn)行平均后，所有的監(jiān)督學(xué)習(xí)分類(lèi)算法在測(cè)試集上會(huì)有同樣的準(zhǔn)確率。
現(xiàn)在的我們面臨的開(kāi)放問(wèn)題是，NFL定理是否也同樣適用于對(duì)抗情形？我們假設(shè)我們對(duì)測(cè)試數(shù)據(jù)集進(jìn)行小規(guī)模擾動(dòng)，驗(yàn)證NFL定理的時(shí)候，將這些擾動(dòng)同樣考慮進(jìn)來(lái)，最終我們發(fā)現(xiàn)這個(gè)理論失效了。
根據(jù)這個(gè)問(wèn)題的解決方案，攻擊方與防守方可能會(huì)有不同的結(jié)果。攻擊方會(huì)有很大的優(yōu)勢(shì)，因?yàn)槲覀兌贾李A(yù)測(cè)新的測(cè)試數(shù)據(jù)的準(zhǔn)確值在統(tǒng)計(jì)上來(lái)說(shuō)會(huì)有很大的困難。倘若我們足夠幸運(yùn)的話，防守者defender可能會(huì)在眾多問(wèn)題中都有很大的優(yōu)勢(shì)，這就為我們?cè)O(shè)計(jì)與驗(yàn)證魯棒性算法鋪平了道路。
有趣的是，讀者可以在[PMS16]這篇文章中找到關(guān)于該問(wèn)題的初步探討。分析權(quán)衡了模型準(zhǔn)確率與對(duì)對(duì)抗性的魯棒性。表明，對(duì)抗樣本會(huì)導(dǎo)致學(xué)習(xí)器的損失變大，之后學(xué)習(xí)器將會(huì)從更大的假設(shè)中進(jìn)行篩選，并從中受益。更大的假設(shè)意味著更為復(fù)雜的假設(shè)類(lèi)別，更為復(fù)雜的假設(shè)類(lèi)別意味著我們對(duì)于任何分布都會(huì)有更小的損失。因此，在數(shù)據(jù)有限的情況下，我們的模型會(huì)獲得更好的適應(yīng)能力。傳統(tǒng)上來(lái)講，要想獲得更為復(fù)雜的模型，你一般需要更多的數(shù)據(jù)。
盡管驗(yàn)證從理論的角度來(lái)看是具有挑戰(zhàn)性的，但從實(shí)際的角度來(lái)看，即使是直接測(cè)試也是具有挑戰(zhàn)性的。假設(shè)研究人員提出了新的防御機(jī)制，并通過(guò)使用對(duì)抗樣本進(jìn)行檢驗(yàn)。倘若我們的模型依然會(huì)獲得很高的準(zhǔn)確率，這是否意味著防御機(jī)制是有效的？可能是吧。但是這也有可能意味著研究人員使用的attack很弱。同樣的問(wèn)題也會(huì)存在攻擊機(jī)制中。
為了解決這些問(wèn)題，我們開(kāi)發(fā)出了CleverHans 庫(kù)。這個(gè)庫(kù)中包含了幾種攻擊和防御程序的參考實(shí)現(xiàn)。研究人員以及產(chǎn)品研發(fā)人員可以使用cleverhans來(lái)測(cè)試他們的模型對(duì)先進(jìn)攻防措施的魯棒性。通過(guò)這種方法，倘若模型經(jīng)過(guò)cleverhans攻擊依然會(huì)獲得很高的準(zhǔn)確率，那么我們就可以認(rèn)為防御很有效。反之亦然。此外，只要研究人員使用同樣的CleverHans版本與計(jì)算環(huán)境，那么就可以對(duì)他們的研究結(jié)果進(jìn)行比較。
對(duì)于機(jī)器學(xué)習(xí)模型的驗(yàn)證仍處于起步階段，目前我們所使用的方法都是避免使用不包含對(duì)抗樣本的數(shù)據(jù)集。我們希望我們的讀者可以收到啟發(fā)，進(jìn)而能夠解決問(wèn)題。此外，我們鼓勵(lì)研究人員可以使用CleverHanslai來(lái)提高機(jī)器學(xué)習(xí)測(cè)試在對(duì)抗環(huán)境中的可重復(fù)性。
很感謝Martin Abadi對(duì)于本文的反饋
[GBB11] Glorot, X., Bordes, A., & Bengio, Y. (2011, April). Deep Sparse Rectifier Neural Networks. In Aistats (Vol. 15, No. 106, p. 275).
[GSS14] Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.
[HKW16] Huang, X., Kwiatkowska, M., Wang, S., & Wu, M. (2016). Safety Verification of Deep Neural Networks. arXiv preprint arXiv:1610.06940.
[JKL09] Jarrett, K., Kavukcuoglu, K., & LeCun, Y. (2009, September). What is the best multi-stage architecture for object recognition?. In Computer Vision, 2009 IEEE 12th International Conference on (pp. 2146-2153). IEEE.
[KBD17] Katz, G., Barrett, C., Dill, D., Julian, K., & Kochenderfer, M. (2017). Reluplex: An Efficient SMT Solver for Verifying Deep Neural Networks. arXiv preprint arXiv:1702.01135.
[NH10] Nair, V., & Hinton, G. E. (2010). Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th international conference on machine learning (ICML-10) (pp. 807-814).
[PMJ16] Papernot, N., McDaniel, P., Jha, S., Fredrikson, M., Celik, Z. B., & Swami, A. (2016, March). The limitations of deep learning in adversarial settings. In 2016 IEEE European Symposium on Security and Privacy (EuroS&P) (pp. 372-387). IEEE.
[PMS16] Papernot, N., McDaniel, P., Sinha, A., & Wellman, M. (2016). Towards the Science of Security and Privacy in Machine Learning. arXiv preprint arXiv:1611.03814.
[PT10] Pulina, L., & Tacchella, A. (2010, July). An abstraction-refinement approach to verification of artificial neural networks. In International Conference on Computer Aided Verification (pp. 243-257). Springer Berlin Heidelberg.
[SZS13] Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., & Fergus, R. (2013). Intriguing properties of neural networks. arXiv preprint arXiv:1312.6199.
[V98] Vapnik, V. (1998). Statistical Learning Theory.
[W96] Wolpert, D. H. (1996). The lack of a priori distinctions between learning algorithms. Neural computation, 8(7), 1341-1390.
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
