0
| 本文作者： 周舟 | 2020-12-31 18:33 |
數(shù)字經(jīng)濟(jì)時(shí)代，我們一邊享受著數(shù)據(jù)爆發(fā)式增長(zhǎng)帶來的便利，一邊也困在數(shù)據(jù)安全中難以自拔。小到詐騙短信、快遞信息，大到財(cái)務(wù)狀況、健康狀況、網(wǎng)絡(luò)足跡，我們的個(gè)人隱私數(shù)據(jù)面臨著前所未有的挑戰(zhàn)。
而對(duì)于銀行來說，數(shù)據(jù)安全更是一條“生命線”。一次事故的發(fā)生，可能造成億萬級(jí)的損失，數(shù)億家庭將受到影響。
值此跨年之際，雷鋒網(wǎng)以「線上云峰會(huì)」的形式，邀請(qǐng)數(shù)字化風(fēng)控、數(shù)字化營銷、數(shù)字化客服、數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)安全、數(shù)據(jù)庫、銀行云、銀行RPA、銀行業(yè)務(wù)系統(tǒng)，十大銀行賽道里的科技專家，分享他們對(duì)于銀行科技的理解。
在「數(shù)據(jù)安全」這一賽道，我們邀請(qǐng)到微眾銀行區(qū)塊鏈安全科學(xué)家嚴(yán)強(qiáng)博士，他將從技術(shù)、業(yè)務(wù)、合規(guī)等角度，分享他對(duì)于銀行「數(shù)據(jù)隱私」的理解。
核心觀點(diǎn)：
數(shù)據(jù)生產(chǎn)者與數(shù)據(jù)消費(fèi)者之間不再是“買賣”關(guān)系
隱私保護(hù)技術(shù)是打破數(shù)據(jù)價(jià)值融合“零和博弈”的關(guān)鍵
我們需要尊重“數(shù)據(jù)孤島”作為數(shù)據(jù)產(chǎn)業(yè)的原生態(tài)
發(fā)展健康的數(shù)據(jù)產(chǎn)業(yè)生態(tài)，我們需要打通隱私數(shù)據(jù)協(xié)同生產(chǎn)的“雙循環(huán)”
區(qū)塊鏈?zhǔn)浅休d數(shù)據(jù)信任和價(jià)值的最佳技術(shù)，對(duì)于隱私計(jì)算和AI應(yīng)用中常見的數(shù)據(jù)品質(zhì)等難題，都可以通過區(qū)塊鏈進(jìn)行互補(bǔ)或提升效果
以下為嚴(yán)強(qiáng)博士的演講內(nèi)容，雷鋒網(wǎng)AI金融評(píng)論作了不改變?cè)獾木庉嫞?/strong>
大家好，我是來自微眾銀行區(qū)塊鏈的嚴(yán)強(qiáng)，今天很榮幸受到雷鋒網(wǎng)的邀請(qǐng)，在此和大家分享數(shù)字經(jīng)濟(jì)中關(guān)于數(shù)據(jù)隱私的一些思考。
數(shù)字經(jīng)濟(jì)中最核心的要素就是數(shù)據(jù)，對(duì)于很多業(yè)務(wù)而言，要獲取高質(zhì)量的數(shù)據(jù)是首要要?jiǎng)?wù)，近幾年的趨勢(shì)是，對(duì)于數(shù)據(jù)隱私的立法正在不斷的細(xì)化、完善。
而此時(shí)傳統(tǒng)的數(shù)據(jù)業(yè)務(wù)，在這個(gè)過程中就可能不太適用。
新數(shù)字經(jīng)濟(jì)時(shí)代的數(shù)據(jù)之道，在新的數(shù)據(jù)隱私合規(guī)框架下勢(shì)必將發(fā)生顯著變化，這些變化對(duì)實(shí)際的行業(yè)有哪些影響、有哪些具體改變？以及為了應(yīng)對(duì)這樣的改變，有哪些技術(shù)手段可以更好地調(diào)節(jié)自身？
首先，本次分享的第一部分——新的數(shù)據(jù)之道。
本次云峰會(huì)的主題是AI，眾所周知，AI在很大程度上依賴于數(shù)據(jù)，對(duì)于數(shù)據(jù)本身，根據(jù)業(yè)務(wù)形態(tài)的不同，歷史上也出現(xiàn)了多種提法，包括了大數(shù)據(jù)、小數(shù)據(jù)、暗數(shù)據(jù)、還有弱數(shù)據(jù)，現(xiàn)在還有另類數(shù)據(jù)，指的是像衛(wèi)星地圖或者其他的一些傳感器的數(shù)據(jù)。
顯而易見，作為我們?cè)谛畔⒒?、設(shè)計(jì)智能化的過程中必要的燃料，如果沒有數(shù)據(jù)，很多業(yè)務(wù)將無法得以開展。
同時(shí)，我們也注意到，AI算法或者其他大數(shù)據(jù)算法發(fā)展至今，相對(duì)而言還是比較成熟的。所以，對(duì)于行業(yè)中的參與者來講，很多時(shí)候核心競(jìng)爭(zhēng)力就體現(xiàn)在于掌控?cái)?shù)據(jù)量的多寡。
也正因?yàn)槿绱?，新的立法也?duì)獲得數(shù)據(jù)和使用數(shù)據(jù)進(jìn)行價(jià)值發(fā)掘的過程產(chǎn)生了顯著影響。數(shù)據(jù)不再是純粹的一種信息表達(dá)，因?yàn)樾碌牧⒎蚣芤肓艘粋€(gè)新的概念——數(shù)據(jù)權(quán)益。
雖然目前數(shù)據(jù)安全法還只是處于草案的狀態(tài)，但是草案明確提出要關(guān)注數(shù)據(jù)本身的使用，需要在保護(hù)公民組織、相關(guān)權(quán)益的前提下，促進(jìn)數(shù)據(jù)為關(guān)鍵要素的經(jīng)濟(jì)發(fā)展，以此增進(jìn)民眾福祉。
同時(shí)，反觀國際社會(huì)的《GDPR》，它對(duì)數(shù)據(jù)的使用，尤其在數(shù)據(jù)在商用領(lǐng)域的使用提出了一個(gè)非常嚴(yán)格的要求，其中的一點(diǎn)，就是懲罰特別高，可能是4%的集團(tuán)前一年的全球總收入，或者2000萬元兩者取其大，所以數(shù)據(jù)隱私的違規(guī)成本十分高昂。
數(shù)據(jù)權(quán)益代表了數(shù)據(jù)的權(quán)利和利益，對(duì)傳統(tǒng)業(yè)務(wù)影響特別大的一點(diǎn)，就是這里的數(shù)據(jù)權(quán)益不僅僅是作用在數(shù)據(jù)的收集階段，還貫穿在數(shù)據(jù)流轉(zhuǎn)的整個(gè)生命周期，包括數(shù)據(jù)的使用、存儲(chǔ)、數(shù)據(jù)的遺忘。
這些改變顯然會(huì)對(duì)現(xiàn)在的行業(yè)產(chǎn)生很大的影響，尤其是數(shù)據(jù)已成為一個(gè)不可或缺的生產(chǎn)要素，在大數(shù)據(jù)、人工智能算法都很成熟的條件下，是智能化進(jìn)展的必不可缺的一個(gè)手段，但是如果缺乏數(shù)據(jù)應(yīng)該怎么辦呢？
在回答這個(gè)問題之前，我們必須要厘清一個(gè)關(guān)系，在新的數(shù)據(jù)之道中，數(shù)據(jù)生產(chǎn)者跟數(shù)據(jù)消費(fèi)者之間的合作關(guān)系發(fā)生了一個(gè)本質(zhì)性的變化。
在立法之前，二者之間很多時(shí)候是買賣關(guān)系，在獲得數(shù)據(jù)之后，就可以對(duì)其進(jìn)行加工、利用，或者是提供服務(wù)，獲得完整的收益。
對(duì)數(shù)據(jù)生產(chǎn)者或者是用戶以及其他的供數(shù)機(jī)構(gòu)而言，在數(shù)據(jù)授權(quán)或者數(shù)據(jù)公布之后，它很多時(shí)候并沒有權(quán)利對(duì)后續(xù)的數(shù)據(jù)使用直接進(jìn)行干涉，這個(gè)權(quán)利之前是不受法律保護(hù)的。
而在新的立法框架中，兩者之間已經(jīng)從買賣關(guān)系轉(zhuǎn)變成了租賃關(guān)系。
這就意味著，作為數(shù)據(jù)生產(chǎn)者，從來沒有放棄對(duì)自己數(shù)據(jù)的權(quán)利，哪怕在對(duì)方的平臺(tái)上使用了對(duì)方的服務(wù)，在這部分產(chǎn)生的數(shù)據(jù)僅僅是以租賃的方式提供給對(duì)方。
目前很多APP都完善了隱私政策，披露并承諾了數(shù)據(jù)的使用方式，這也是數(shù)據(jù)使用租賃關(guān)系的一種體現(xiàn)。
平臺(tái)或服務(wù)方不再擁有數(shù)據(jù)的所有權(quán)，而是需要跟數(shù)據(jù)的生產(chǎn)方協(xié)定如何使用數(shù)據(jù)，包括收益權(quán)怎么進(jìn)行分配。
除了分配的問題之外，最重要的一點(diǎn)——作為數(shù)據(jù)生產(chǎn)方，它實(shí)際上有權(quán)干涉或禁止自己數(shù)據(jù)的使用方式，以控制自身的隱私風(fēng)險(xiǎn)、拒絕不公平的利益分配方式，這就是對(duì)業(yè)務(wù)或行業(yè)而言，一個(gè)最大的改變。
在新的法規(guī)下，具體要達(dá)到一個(gè)什么樣的要求？為什么這個(gè)要求很多時(shí)候會(huì)引起熱議？
《個(gè)人金融信息保護(hù)技術(shù)規(guī)范》中，對(duì)隱私數(shù)據(jù)生命周期的6個(gè)階段進(jìn)行了描述，從收集、傳輸、存儲(chǔ)、使用、刪除到銷毀，每個(gè)階段都會(huì)有不同的數(shù)據(jù)權(quán)益保護(hù)的要求，其中也會(huì)涉及到一些不同的技術(shù)規(guī)范。
同時(shí)，換個(gè)角度，整個(gè)隱私合規(guī)范疇下的數(shù)據(jù)權(quán)益可以被分成兩類，除了對(duì)傳統(tǒng)目標(biāo)——數(shù)據(jù)內(nèi)容的保護(hù)，還增加了一類是對(duì)數(shù)據(jù)權(quán)利的保障。
正是后者，可能會(huì)對(duì)于業(yè)務(wù)產(chǎn)生較大的影響，具體包括數(shù)據(jù)遺忘權(quán)、限制使用權(quán)等等。
由此就帶來一個(gè)焦點(diǎn)問題——業(yè)務(wù)創(chuàng)新和隱私保護(hù)如何兼顧，仔細(xì)分析之后，也許他倆之間并不是一對(duì)不可調(diào)和的矛盾。
在新的法規(guī)生效之前，假定業(yè)務(wù)所用的數(shù)據(jù)是一個(gè)餅，在法規(guī)生效了之后，這張餅變小了，因?yàn)橛脩舯旧硪呀?jīng)不是原來的買賣關(guān)系，演變成為租賃關(guān)系，有些用戶可能行使了權(quán)利，或因數(shù)據(jù)收益和隱私風(fēng)險(xiǎn)不對(duì)等，不愿意再貢獻(xiàn)出數(shù)據(jù)。
此時(shí)，對(duì)應(yīng)業(yè)務(wù)的可用數(shù)據(jù)量變小了，數(shù)據(jù)價(jià)值隨之變小。這里就可能出現(xiàn)為保障數(shù)據(jù)權(quán)益，影響了業(yè)務(wù)規(guī)模的零和博弈困局。
但是，如果我們提升一個(gè)層面，在行業(yè)的角度上來看，這里的零和博弈并不是絕對(duì)的。
縱觀這個(gè)行業(yè)，在法律法規(guī)生效之前，實(shí)際上已經(jīng)出現(xiàn)了數(shù)據(jù)區(qū)域化導(dǎo)致的“數(shù)據(jù)荒”。大量的數(shù)據(jù)可能已經(jīng)在一些大機(jī)構(gòu)中匯集，而對(duì)于中小企業(yè)來講，想要獲得數(shù)據(jù)是非常困難的。
一個(gè)典型的例子，就是對(duì)網(wǎng)絡(luò)爬蟲的限制。
在那些有利益沖突的大機(jī)構(gòu)之間，他們開放數(shù)據(jù)訪問的意愿很低，而對(duì)于整個(gè)數(shù)字經(jīng)濟(jì)而言，數(shù)據(jù)的流通本身就已經(jīng)處于一定程度的受限狀態(tài)。
如果能夠盤活所有的存量數(shù)據(jù)，打通在大機(jī)構(gòu)或者在更大范圍里的數(shù)據(jù)源，讓其更好地流通起來，就能把餅做大，產(chǎn)生更大的價(jià)值。而實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵在于引入技術(shù)手段，有效保障隱私數(shù)據(jù)的權(quán)利。
具體到AI和大數(shù)據(jù)，就需要從傳統(tǒng)的集中式算法系統(tǒng)升級(jí)到隱私計(jì)算，在新的數(shù)據(jù)之道中，打消數(shù)據(jù)協(xié)作參與者的隱私顧慮。
隱私立法的完善和用戶隱私意識(shí)的覺醒造成了深遠(yuǎn)的影響，不僅改變了原有的數(shù)據(jù)之道，對(duì)數(shù)據(jù)業(yè)務(wù)帶來不同層面的變化。
先說技術(shù)面，早期在談到隱私保護(hù)時(shí)，很多時(shí)候僅僅是加密，對(duì)數(shù)據(jù)進(jìn)行脫敏，在數(shù)據(jù)處理階段做了一些工作，就被看成是對(duì)數(shù)據(jù)有非常強(qiáng)的隱私保護(hù)了，但是，放在AI或者隱私計(jì)算大的環(huán)境里來看，實(shí)際上是不完善的。所以，在技術(shù)層面上，我們?nèi)绻娴囊ヂ鋵?shí)，實(shí)際上需要引入更多的前沿技術(shù)。
業(yè)務(wù)層面，現(xiàn)在越來越多的用戶意識(shí)到數(shù)據(jù)本身是有價(jià)值的。對(duì)于隱私而言，他對(duì)自己個(gè)人的風(fēng)險(xiǎn)的認(rèn)識(shí)也越來越全面，這些因素勢(shì)必也會(huì)影響用戶的行為，對(duì)基于數(shù)據(jù)的AI的業(yè)務(wù)產(chǎn)生影響。
合規(guī)層面，合規(guī)主要是指新的合規(guī)業(yè)務(wù)，尤其是全生命周期的合規(guī)要求，需要對(duì)現(xiàn)有業(yè)務(wù)模式進(jìn)行一些改變，否則一旦涉足海外市場(chǎng)，難免會(huì)遇到合規(guī)風(fēng)險(xiǎn)。
以下，在第二部分，將分技術(shù)、業(yè)務(wù)、合規(guī)三個(gè)層面進(jìn)行具體展開。
先看技術(shù)層面，這里非常重要的一點(diǎn)就是信息化技術(shù)發(fā)展得很快，產(chǎn)生的數(shù)據(jù)會(huì)越來越多，尤其是現(xiàn)在大家都在談5G、物聯(lián)網(wǎng)。
什么概念？目前，現(xiàn)在很多的數(shù)據(jù)都是以人為單位，每個(gè)人會(huì)產(chǎn)生很多數(shù)據(jù)，但是，在5G、物聯(lián)網(wǎng)普及的時(shí)候，很多時(shí)候數(shù)據(jù)產(chǎn)生的單位是以物品為概念的，不再受限于70億人口數(shù)量的限制，上萬億的各種智能設(shè)備，其中必然會(huì)產(chǎn)生海量的數(shù)據(jù)，并具有不同的權(quán)屬。
對(duì)應(yīng)地，便引出了“數(shù)據(jù)孤島”問題。一些看法認(rèn)為，因?yàn)橛泻弦?guī)要求，所以才會(huì)產(chǎn)生孤島。因?yàn)楹弦?guī)需要對(duì)這些數(shù)據(jù)進(jìn)行保護(hù)，我們不能讓它互通，但實(shí)際上這個(gè)說法并不那么確切，既然承認(rèn)數(shù)據(jù)有價(jià)值，也應(yīng)該承認(rèn)“數(shù)據(jù)孤島”是原生態(tài)。
舉個(gè)例子，比如資產(chǎn)是有價(jià)值的，不會(huì)隨隨便便要求大家把自己的資產(chǎn)共享出來，雖然在學(xué)術(shù)論文中也有資產(chǎn)孤島的提法。所以很多時(shí)候我們需要尊重這些“孤島”的存在。
從技術(shù)層面上需要怎么做呢？這里有幾個(gè)關(guān)鍵詞——多方、海量、高維、異構(gòu)。
對(duì)于后三者，大數(shù)據(jù)、傳統(tǒng)AI發(fā)展了這么多年，都有比較好的解決方案，但是，唯獨(dú)多方目前還有很多挑戰(zhàn)。
為什么？不妨看看多方隱私大數(shù)據(jù)需要實(shí)現(xiàn)的效果。
最典型的效果之一，便是數(shù)據(jù)不出庫，這是一個(gè)非常形象的說法，但其本身并不確切，因?yàn)閿?shù)據(jù)不出庫并不代表隱私信息不出庫，不代表敏感信息不出庫。
打個(gè)比方，在一個(gè)發(fā)布會(huì)上答記者問，提問某某是否為敏感人群或敏感事件，主辦方回復(fù)“對(duì)此我方無法進(jìn)行評(píng)價(jià)”，很多時(shí)候提問者可以依據(jù)回答的語氣和用詞可以做出一個(gè)主觀的判斷——大概率還是敏感。
數(shù)據(jù)業(yè)務(wù)也是如此。
數(shù)據(jù)不出庫，字面意義就是數(shù)據(jù)明文不出庫，傳統(tǒng)的幾個(gè)方案包括數(shù)據(jù)哈希出庫、數(shù)據(jù)加密出庫、數(shù)據(jù)脫敏出庫，在AI領(lǐng)域，模型梯度出庫，這些方式是否真的安全？
更傳統(tǒng)的方式如內(nèi)容打碼 、K匿名、差分隱私都可以用上。這里強(qiáng)調(diào)一點(diǎn)，每一種方法的能力都是有邊界的，實(shí)際上都需要一些配套的安全假設(shè)。
舉個(gè)差分隱私的例子，在2013年和2018年計(jì)算理論頂會(huì)上，分別有一篇論文分析了差分隱私在處理高維大數(shù)據(jù)上的理論局限性。標(biāo)題是如果我們要處理高維大數(shù)據(jù)，這是一個(gè)計(jì)算困難性問題，計(jì)算困難性問題意味著很多時(shí)候難以實(shí)現(xiàn)，所以差分隱私也是有能力邊界的，我們需要根據(jù)實(shí)際的業(yè)務(wù)場(chǎng)景選擇是否適用。
數(shù)據(jù)不出庫只是一類手段，我們最終的目標(biāo)效果是什么？可用不可見？
值得注意的是，“可用不可見”只是一個(gè)小目標(biāo)，還有很多問題沒有得到妥善解答，比如誰可用誰不可見，限定用途的使用次數(shù)、使用方式有沒有限制，對(duì)于數(shù)據(jù)的主體，能不能對(duì)可用不可見的方式進(jìn)行控制。
很多時(shí)候在數(shù)據(jù)協(xié)作時(shí)，尤其是在AI的學(xué)習(xí)中，結(jié)果正確性如何驗(yàn)證也是一個(gè)非常重要的考量點(diǎn)?，F(xiàn)在很多智能化的業(yè)務(wù)也涉及到一些相對(duì)而言比較敏感的服務(wù)，會(huì)導(dǎo)致比較敏感的后果，如果誤判了怎么辦？如果進(jìn)行多方協(xié)作的結(jié)果不正確，如何找出惡意的參與方？這些問題“可用不可見”都沒有直接回答，所以它只是一個(gè)小目標(biāo)。
為了實(shí)現(xiàn)我們的大目標(biāo)，剛才提到的哪些額外的數(shù)據(jù)隱私保護(hù)點(diǎn)：不僅僅是需要一類技術(shù)，還可能需要融合多類技術(shù),并針對(duì)不同場(chǎng)景進(jìn)行優(yōu)化。
三個(gè)主要的技術(shù)路線如下：
TEE可信計(jì)算。TEE的優(yōu)點(diǎn)是它本身是個(gè)硬件加速的隔離環(huán)境，在計(jì)算上沒有任何限制，什么業(yè)務(wù)都能跑，而且開發(fā)很友好。但是從設(shè)計(jì)上需要一個(gè)中心化的部署方，它只能有一個(gè)可信根。而且目前主流的云廠商并不支持TEE的云部署。
所以大家在實(shí)際部署上會(huì)不可避免的回到物理部署的范疇，在實(shí)際的使用中會(huì)有一些阻礙。
相對(duì)于可信計(jì)算而言，聯(lián)邦學(xué)習(xí)和安全多方計(jì)算對(duì)硬件的依賴則小很多，但同時(shí)也有一定的取舍。
聯(lián)邦學(xué)習(xí)，擅長(zhǎng)各類模型的聯(lián)合訓(xùn)練跟推演,與現(xiàn)有數(shù)據(jù)業(yè)務(wù)協(xié)作模式十分貼合。
安全多方計(jì)算，是一個(gè)相對(duì)歷史悠久的技術(shù)，近五六年來有很多比較成熟的工業(yè)方案出現(xiàn)，尤其在學(xué)術(shù)界，目前更關(guān)注的可用性問題也得到了很大的提升，同時(shí)支持各類通用計(jì)算和各類安全模型，比較獨(dú)特的優(yōu)勢(shì)是它可以支持惡意模型。
什么是惡意模型？如果有多個(gè)參與方一起去做模型訓(xùn)練或聯(lián)合推演，只要有一個(gè)人做惡，就一定能在第一時(shí)間或者在最后結(jié)果產(chǎn)生之前終止運(yùn)算，由此避免做惡方影響最后結(jié)果的正確性。
在關(guān)鍵的業(yè)務(wù)場(chǎng)景中，這是非常有必要的，作為取舍，其性能相對(duì)會(huì)低一些。
回到隱私大數(shù)據(jù)，海量、高維、異構(gòu)、多方，如何很好的支持它們？如果出現(xiàn)爭(zhēng)議，尤其是在關(guān)鍵業(yè)務(wù)中出現(xiàn)爭(zhēng)議，怎么高效識(shí)別作惡的計(jì)算參與方，這些都是需要我們?cè)诩夹g(shù)上應(yīng)對(duì)的挑戰(zhàn)。
下一個(gè)就是業(yè)務(wù)層面的挑戰(zhàn)，如果一個(gè)業(yè)務(wù)要采用機(jī)器學(xué)習(xí)，隱私計(jì)算，以及相對(duì)而言比較智能的數(shù)據(jù)驅(qū)動(dòng)方案，這里有一些重要的考量點(diǎn)。
如果是咨詢公司給的報(bào)告，一般有兩個(gè)維度，一個(gè)是商業(yè)價(jià)值，另外就是成熟度或者可信度。
特別推薦大家關(guān)注的一個(gè)新維度，就是數(shù)據(jù)隱私相關(guān)風(fēng)險(xiǎn)。
如果設(shè)計(jì)一個(gè)多方協(xié)作，在整個(gè)協(xié)作過程中會(huì)不會(huì)產(chǎn)生嚴(yán)重的隱私風(fēng)險(xiǎn)？或者不只是模型訓(xùn)練，我們使用的模型推演或者其他的通過隱私計(jì)算產(chǎn)生報(bào)表類的一些功能。如果因?yàn)橛幸环阶鲪海a(chǎn)生了一些錯(cuò)誤的結(jié)果，后果的嚴(yán)重性如何？
這一新維度會(huì)直接影響用戶體驗(yàn)，如果是應(yīng)用在民生領(lǐng)域或者金融領(lǐng)域，有些服務(wù)非常敏感，如果機(jī)器誤判，后果對(duì)于當(dāng)事人而言可能是相當(dāng)嚴(yán)重的。
這也帶來一個(gè)重要的關(guān)聯(lián)問題。如果用戶或合作機(jī)構(gòu)有隱私顧慮，是否存在技術(shù)手段影響現(xiàn)有的業(yè)務(wù)系統(tǒng)，造成額外的隱私風(fēng)險(xiǎn)。
這里具體列舉了幾類風(fēng)險(xiǎn)。
如何利用一些攻擊的手段，針對(duì)現(xiàn)在一些聯(lián)合的學(xué)習(xí)的訓(xùn)練或者推演，如果攻擊者在聯(lián)合模型訓(xùn)練時(shí)，它是否能夠推測(cè)出合作方的隱私樣本數(shù)據(jù)，或者在訓(xùn)練過程中是否能夠注入對(duì)己方有利的偏見。
同時(shí)，不僅是針對(duì)訓(xùn)練，我沒有參與的推演，訓(xùn)練我能不能在推演的時(shí)候去提取出你相對(duì)訓(xùn)練的隱私數(shù)據(jù)，或者推演我能否操作你推薦的結(jié)果。
從數(shù)據(jù)安全角度而言，這些都是很關(guān)鍵的問題，普通人很多時(shí)候可能是難以實(shí)施的，因?yàn)闄C(jī)器學(xué)習(xí)也好，隱私就本身就是一個(gè)相對(duì)比較前沿復(fù)雜的技術(shù)，所以——對(duì)抗魔法需要使用魔法。
風(fēng)險(xiǎn)一：這是一篇 CCS發(fā)表于2017年的論文，這些攻擊本身可能是一個(gè)實(shí)驗(yàn)性質(zhì)的，但具有一定的借鑒意義。
這篇論文的結(jié)論：只要是聯(lián)合訓(xùn)練，如果能夠得到明文梯度，就一定能夠或者有一個(gè)極大的概率可以獲得合作方的隱私數(shù)據(jù)。
原本可能認(rèn)為通過聯(lián)合訓(xùn)練出去的只是模型梯度，并不直接包含隱私數(shù)據(jù)，但是由于攻擊方也使用了機(jī)器學(xué)習(xí)的算法，用了一個(gè)生成對(duì)抗網(wǎng)絡(luò)的GAN的技術(shù)，從梯度信息還原出合作方的訓(xùn)練樣本。這個(gè)實(shí)驗(yàn)中主要針對(duì)深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，實(shí)驗(yàn)中展示的還原成功率還是相當(dāng)高的。
論文同時(shí)也指出，即便額外使用了全局差分隱私，對(duì)攻擊結(jié)果影響不大。
從PPT截圖中，可以看到作者從梯度還原出了對(duì)方的訓(xùn)練樣本照片，而且在使用差分隱私之后，還原出的照片跟原本的照片實(shí)際上差距也不是特別大。所以從業(yè)務(wù)層面來說，這還是一個(gè)比較顯著的風(fēng)險(xiǎn)，大家需要警惕。
風(fēng)險(xiǎn)二：如果共同參與一個(gè)聯(lián)合模型訓(xùn)練，是不是有可能注入偏見？答案是肯定的，但是需要多大的代價(jià)？
這是2018年一篇發(fā)表在S&P上的頂會(huì)論文，指出在某些線性回歸模型中，線性回歸模型在很多風(fēng)控或者類似的一種預(yù)測(cè)模型中還是用得比較廣泛的，因?yàn)榫邆淞己玫慕忉屝?。作者展示了，只需?2%的惡意樣本，就可以引起顯著的預(yù)測(cè)偏見。
跟直覺上可能需要50~ 60%或者過半的樣本非常不一樣。
這里采用的也是魔法對(duì)抗，但并不是隨機(jī)注入樣本，因?yàn)閰⑴c聯(lián)合訓(xùn)練時(shí)，參與者對(duì)模型本身是有認(rèn)知的，所以涉及到一個(gè)優(yōu)化問題，通過優(yōu)化盡量減少產(chǎn)生偏見所需要的樣本比例。
因此，我們?cè)谧雎?lián)合訓(xùn)練的時(shí)候，也要將其考慮進(jìn)去。有沒有可能有一個(gè)參與方只貢獻(xiàn)12%或者更低的數(shù)據(jù)，但他試圖導(dǎo)致偏移整個(gè)模型的效果？在沒有動(dòng)機(jī)時(shí)的風(fēng)險(xiǎn)比較低，但是如果有動(dòng)機(jī)我們則需要加倍小心。
風(fēng)險(xiǎn)三：沒有參加模型訓(xùn)練，只是使用API，能不能猜出對(duì)應(yīng)的隱私數(shù)據(jù)？作者提出了一個(gè)很重要的點(diǎn)，答案是有可能。
論文中的實(shí)驗(yàn)展示了，在一個(gè)神經(jīng)網(wǎng)絡(luò)中，只要拿到輸出的標(biāo)簽，很多時(shí)候就能預(yù)測(cè)的結(jié)果，結(jié)合它的置信度和網(wǎng)絡(luò)的結(jié)構(gòu)，就能夠推測(cè)還原出訓(xùn)練對(duì)應(yīng)標(biāo)簽的樣本。
比如得到的標(biāo)簽是張三和置信度，很多置信度是有小數(shù)點(diǎn)的，例如0.837，然后我就通過它的一個(gè)類似的優(yōu)化算法，做一個(gè)還原重建，最后能夠相對(duì)好的還原出這個(gè)樣本。
跟之前相比，因?yàn)橹笆侵苯幽玫教荻鹊?，而現(xiàn)在沒有拿到訓(xùn)練的梯度，效果稍差一點(diǎn)，但是也可以很容易識(shí)別出左邊跟右邊的照片是屬于同一個(gè)人。
作者做了兩組實(shí)驗(yàn)，一組是對(duì)于神經(jīng)網(wǎng)絡(luò)的，另外一組是對(duì)于決策樹的，決策樹在很多風(fēng)控模型中也有。很有意思的一點(diǎn)，就是拿決策樹做風(fēng)控模型會(huì)不會(huì)被別人反推出我們的訓(xùn)練樣本？
如果給出來的置信區(qū)間的精度足夠高，還是有很大的概率可以推測(cè)出來，決策樹在論文中甚至實(shí)現(xiàn)了一個(gè)黑盒的效果。
什么是黑盒效果？我不知道你的決策樹的樣子，只知道你的最后的結(jié)果跟輸出的置信度。我通過不斷的查詢，最后反推出你實(shí)際的樣本。但我們也具體應(yīng)對(duì)方式，對(duì)模型API進(jìn)行安全加固。
風(fēng)險(xiǎn)四：不再是想推測(cè)出訓(xùn)練樣本，但是想操縱最后的推演結(jié)果，可不可行？可行！
這篇論文講的是，如果要在人臉識(shí)別系統(tǒng)中假扮另外一個(gè)人，最少需要什么？答案是需要這樣一副眼鏡，這副眼鏡不是隨便產(chǎn)生的，它是通過類似的機(jī)器學(xué)習(xí)算法，一個(gè)比較偏統(tǒng)計(jì)的黑盒優(yōu)化算法得出來的。
對(duì)于同一個(gè)人，查詢API 25次，通過其返回值，做一個(gè)黑盒的優(yōu)化，逼近其特征值，在原有的臉部的圖像做一個(gè)修正，最后就產(chǎn)生了這副眼鏡上五彩斑斕的樣式，在作者的實(shí)驗(yàn)中實(shí)現(xiàn)了100%的偽裝率，只要戴一副眼鏡，可能被識(shí)別成另外一個(gè)人。
同時(shí)，只要戴一副眼鏡，基于機(jī)器學(xué)習(xí)的人臉檢測(cè)就可能失效。
由此可見，這些風(fēng)險(xiǎn)是客觀存在的，所以我們不僅要考慮算法的智能性，很多時(shí)候還是要全面考量安全加固措施，否則就有可能引入意料之外的業(yè)務(wù)風(fēng)險(xiǎn)。
最后一個(gè)層面——合規(guī)面，合規(guī)面相對(duì)而言還是一個(gè)比較新的概念，一年前，大家還在爭(zhēng)論通訊錄、頭像數(shù)據(jù)的歸屬，現(xiàn)在明確都是屬于用戶的。
不僅如此，用戶在使用的過程中有很多環(huán)節(jié)，有些特殊環(huán)境有特殊的合規(guī)要求。
其中特別想談的兩點(diǎn)，就是限定數(shù)據(jù)用途跟數(shù)據(jù)被遺忘權(quán)，限定數(shù)據(jù)用途就是我給到你一個(gè)數(shù)據(jù)，只能用于廣告推薦，你如何保證只能用于廣告推薦，要在合規(guī)的框架下，不是用戶來自證，而是企業(yè)來自證，這對(duì)整個(gè)技術(shù)方案或者基礎(chǔ)設(shè)施是有要求的。
因?yàn)槠髽I(yè)沒法自證，在用到數(shù)據(jù)時(shí)要告訴用戶，具體算法和系統(tǒng)在設(shè)計(jì)上的用途。
另外就是數(shù)據(jù)被遺忘權(quán)，現(xiàn)在分別來看二者的影響。
限定數(shù)據(jù)用途，是一個(gè)大改變。我們?cè)瓉砗芏嘞到y(tǒng)平臺(tái)都是明文學(xué)習(xí)的，現(xiàn)在很可能要轉(zhuǎn)向密文學(xué)習(xí)。這里有一些過渡方案：
比如可信計(jì)算，相對(duì)而言改造成本比較低。因?yàn)樗且粋€(gè)容器化的隔離計(jì)算的方案，一個(gè)項(xiàng)目被稱作閱后即焚，90%以上就是可信計(jì)算。
這里也有個(gè)問題，我們需要找到一個(gè)可信的第三方，因?yàn)檫@個(gè)容器本身的真實(shí)性、可靠性或者它的隱私性，需要一個(gè)中心化的可信機(jī)來保證，然而它是一個(gè)單點(diǎn)的，很難做到多點(diǎn)，如果我們多方協(xié)作中找不到可信的第三方，整個(gè)業(yè)務(wù)就會(huì)很難推進(jìn)。
所以，在多數(shù)情況下，我們會(huì)更傾向于聯(lián)邦學(xué)習(xí)和安全多方計(jì)算。
第二點(diǎn)，被遺忘權(quán)，這也是因?yàn)楹弦?guī)產(chǎn)生的一個(gè)新需求。什么是被遺忘權(quán)？
很多時(shí)候用戶是流動(dòng)的，例如用戶今天在平臺(tái)上注冊(cè)，但是過一段時(shí)間后因?yàn)榉N種原因而注銷了賬戶，這是一個(gè)非常關(guān)鍵的點(diǎn)。
用戶一旦注銷，作為企業(yè)方，就需要?jiǎng)h除用戶數(shù)據(jù)對(duì)現(xiàn)有業(yè)務(wù)模型的影響。
但很多時(shí)候這模型都是一個(gè)非常復(fù)雜的過程，一個(gè)用戶的數(shù)據(jù)可能會(huì)涉及到模型的很多方面，想完全的消除特定用戶數(shù)據(jù)的影響是很難的。
目前非常確定的合規(guī)的解決手段就是重建，我們把原來的數(shù)據(jù)、原來模型推倒重來，這樣就會(huì)保證沒有用到被刪除用戶的數(shù)據(jù)，但是對(duì)業(yè)務(wù)的影響也很大。
這里還有一些其它的思路，我們能否去將模型進(jìn)行模塊化，每次盡量只更新用戶相關(guān)的一些數(shù)據(jù)，然后再引入遷移學(xué)習(xí)等手段來試圖減少模型重新訓(xùn)練的成本。
目前來講，這還是一個(gè)開放性的問題，需要大家獻(xiàn)計(jì)獻(xiàn)策。
合規(guī)方面最后一點(diǎn)，不得不提的就是監(jiān)管審計(jì)，我們?yōu)榱讼拗朴猛?，很多時(shí)候會(huì)需要使用密文訓(xùn)練，或者用密文進(jìn)行推演或者進(jìn)行一些計(jì)算。
在強(qiáng)監(jiān)管的要求下，這個(gè)過程也會(huì)對(duì)監(jiān)管帶來一些新的需求。但是如果我們要實(shí)現(xiàn)跨域監(jiān)管，比如跨境或者更大范圍內(nèi)的數(shù)據(jù)互通，挑戰(zhàn)性還是存在的。
以一帶一路為例，其中涉及到很多國家，比如意大利，就是一個(gè)歐盟國家。
如何更好的支持監(jiān)管，尤其是對(duì)隱私大數(shù)據(jù)，怎么更好的處理、實(shí)現(xiàn)，無需參與方配合，無需給到解密的密鑰，監(jiān)管方怎么能夠自主查驗(yàn)所需要的內(nèi)容，同時(shí)，作為配合方，如何最小化信息的披露，實(shí)現(xiàn)分布式的信任，這里就需要用到區(qū)塊鏈相關(guān)技術(shù)了。
談完了以上方面，在應(yīng)對(duì)數(shù)據(jù)隱私驅(qū)動(dòng)行業(yè)巨變的同時(shí)，我們需要一套完整的方案，在最后一部分，就不得不提“數(shù)據(jù)新基建”。
談到數(shù)據(jù)新基建，需要回歸到我們的原點(diǎn)——數(shù)據(jù)本身。
數(shù)據(jù)要產(chǎn)生自己的價(jià)值。除了那幾個(gè)關(guān)鍵詞——多方、海量、高維、異構(gòu)，實(shí)際上還有一些其他特性，比如易復(fù)制性、非排他性、非競(jìng)爭(zhēng)性，既別人拿到數(shù)據(jù)后，用100遍可能跟自身用一遍，沒有什么差別。
而分散性就是有很多孤島，我們要尊重這些孤島，如何將它們連接起來，以及多樣性、價(jià)值聚合性、價(jià)值認(rèn)知多樣性。
價(jià)值認(rèn)知多樣性在國際社會(huì)上是一個(gè)比較重要的話題，對(duì)于一次隱私信息泄露，如果當(dāng)事人覺得嚴(yán)重侵害了其隱私，可以要求巨額罰款。
我們很多時(shí)候也會(huì)有一種觀點(diǎn)，認(rèn)為數(shù)據(jù)只有聚合才有價(jià)值，聚合是對(duì)公司有價(jià)值，但是單個(gè)數(shù)據(jù)是對(duì)個(gè)人是有價(jià)值的。
有些東西泄露后就會(huì)對(duì)個(gè)人的生活造成影響，比如醫(yī)療數(shù)據(jù)，這些都是切切實(shí)實(shí)的問題，但其認(rèn)知性實(shí)際上是多樣性的，如何照顧好每一個(gè)個(gè)體，尤其是實(shí)現(xiàn)數(shù)據(jù)的生產(chǎn)要素化，需要提供一系列技術(shù)保障。
若要實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)要素化，我們要構(gòu)建一整套的方案以達(dá)成效果，我們要界定其產(chǎn)權(quán)，儲(chǔ)存和評(píng)估其價(jià)值，與最后的價(jià)值可流通。大方向都是圍繞價(jià)值而言，要確定數(shù)據(jù)的收益。
同時(shí)，我們也要控制數(shù)據(jù)的風(fēng)險(xiǎn)，風(fēng)險(xiǎn)來自隱私跟安全。為此，釋放數(shù)據(jù)要素生產(chǎn)力需要解決三大核心問題：安全存儲(chǔ)、可信傳輸以及協(xié)同生產(chǎn)。
最后，為了發(fā)展健康的數(shù)據(jù)產(chǎn)業(yè)生態(tài)，我們需要打通隱私數(shù)據(jù)協(xié)同生產(chǎn)的雙循環(huán)。
第一個(gè)循環(huán)指?jìng)€(gè)人數(shù)據(jù)應(yīng)用，即個(gè)人跟企業(yè)之間的數(shù)據(jù)互通，他們之間實(shí)際上是一個(gè)反饋關(guān)系。數(shù)據(jù)也不僅僅是停留在單個(gè)企業(yè)的，還可以在企業(yè)之間相互流轉(zhuǎn)，于是便引入了第二個(gè)循環(huán)，這里會(huì)需要引入不同的技術(shù)能力來滿足、實(shí)現(xiàn)協(xié)同生產(chǎn)的效果。
在理想的情況下，這兩個(gè)循環(huán)之間還會(huì)進(jìn)一步互惠互補(bǔ)，產(chǎn)生正向反饋，構(gòu)成多方隱私大數(shù)據(jù)價(jià)值融合的良性大循環(huán)，顯著提升用戶體驗(yàn)和企業(yè)效能。
為此，我們也做了一定的實(shí)踐并整理了一些案例，我們最近發(fā)布了一個(gè)白皮書，結(jié)合了多方面的技術(shù)以提升我們關(guān)鍵業(yè)務(wù)應(yīng)用的隱私保障。
幾個(gè)比較典型的事例：
第一，粵澳健康碼互轉(zhuǎn)互認(rèn)，就是在跨境時(shí)，數(shù)據(jù)如何在隱私合規(guī)的情況下進(jìn)行可信轉(zhuǎn)化，以及在后臺(tái)數(shù)據(jù)不連通的情況下如何實(shí)現(xiàn)互通。
第二，醫(yī)療處方線上流轉(zhuǎn)，醫(yī)療處方本身涉及很多類別的隱私數(shù)據(jù)，而不僅僅是數(shù)字簽名和數(shù)據(jù)加密那么簡(jiǎn)單。
第三，綠色出行普惠平臺(tái)，這個(gè)項(xiàng)目結(jié)合了物聯(lián)網(wǎng)的能力，因?yàn)榫G色普惠很多時(shí)候與跟車輛有關(guān)，如何將物聯(lián)網(wǎng)的數(shù)據(jù)以一種安全隱私的方式接入到平臺(tái)，完成對(duì)應(yīng)的計(jì)算評(píng)分，也涉及到很多數(shù)據(jù)隱私的問題。
第四，聯(lián)合營銷，效果非常明顯，相比傳統(tǒng)方式，可以提升20%以上的廣告轉(zhuǎn)化率。
之前分享中，提到在使用聯(lián)合學(xué)習(xí)中可能存在的風(fēng)險(xiǎn)，但在實(shí)際部署中，我們會(huì)對(duì)方案進(jìn)行一些隱私和安全的加強(qiáng)，值得一提的就是，我們不能夠簡(jiǎn)單地相信一個(gè)方案所具有的能力而完全不提它的風(fēng)險(xiǎn)，還需要對(duì)其進(jìn)行全方位的考量和評(píng)測(cè)。
長(zhǎng)遠(yuǎn)來看，希望數(shù)據(jù)新基建能夠采用相對(duì)可以管控的底層技術(shù)，更安全可控。
另外，可驗(yàn)證的隱私性、安全性，而不只是貼上一個(gè)技術(shù)標(biāo)簽，整體方案需要提供技術(shù)手段，允許用戶直接參與到數(shù)據(jù)授權(quán)和限定使用的過程中來。
最后，就是高效率的計(jì)算能力，因?yàn)槊款惣夹g(shù)各有所長(zhǎng)，很多時(shí)候特別安全的技術(shù)，其計(jì)算能力可能沒有那么強(qiáng)，所以我們需要做一些融合以找到一個(gè)最優(yōu)的解決方案。
這里和大家分享一組數(shù)字，對(duì)于千萬級(jí)的大數(shù)據(jù)隱私求交，目前可以做到三分鐘以內(nèi)完成，萬次聯(lián)合的多方乘法計(jì)算，可以做到三毫秒以內(nèi)，對(duì)于同時(shí)參與隱私計(jì)算的機(jī)構(gòu)數(shù)則沒有限制。
回顧剛才的幾個(gè)關(guān)鍵詞，多方、海量、高維。
多方，不少傳統(tǒng)的方案都是一個(gè)兩方或三方的架構(gòu)，既如果有第4個(gè)和第5個(gè)參與方同時(shí)參與隱私計(jì)算，要么就是引入一個(gè)中心的協(xié)調(diào)方，中心協(xié)調(diào)方本身可能會(huì)泄密，這時(shí)的合作就很難進(jìn)行了，但我們這邊沒有限制能夠在很安全的條件下實(shí)現(xiàn)這類需求。
大數(shù)據(jù)也是同樣的，實(shí)際上現(xiàn)在的隱私數(shù)據(jù)，包括政務(wù)部門，無論是人口或者其他方面的數(shù)據(jù)，千萬級(jí)別都算是偏小的，實(shí)際上也有很多上億的數(shù)據(jù)。如果不能夠很好的處理存儲(chǔ)量，很多應(yīng)用難以得到使用。
最近央行頒發(fā)的一項(xiàng)相關(guān)技術(shù)標(biāo)準(zhǔn)，目前我們的所有的指標(biāo)都是滿足這個(gè)標(biāo)準(zhǔn)，而且更有效。
這里展示了我們主要的一個(gè)開源矩陣，以此構(gòu)建我們的“數(shù)據(jù)新基建”的解決方案。
除了人工智能之外，區(qū)塊鏈?zhǔn)浅休d數(shù)據(jù)信任和價(jià)值的最佳技術(shù)，對(duì)于隱私計(jì)算和AI應(yīng)用中常見的數(shù)據(jù)品質(zhì)、作惡溯源等難題，都可以通過區(qū)塊鏈進(jìn)行互補(bǔ)或提升效果。
具體來看，區(qū)塊鏈板塊里涵蓋了微眾銀行牽頭金鏈盟開源工作組開源的底層平臺(tái)——FISCO BCOS，還有消息協(xié)作平臺(tái)——WeEvent，分布式數(shù)字身份——WeIdentity，這些都是可以跟機(jī)器學(xué)習(xí)做密切的結(jié)合的，包括可視化的中間件——WeBASE，將數(shù)據(jù)連起來的跨鏈協(xié)作平臺(tái)——WeCross,聚焦數(shù)據(jù)隱私保護(hù)的場(chǎng)景式解決方案集——WeDPR。
我們努力的終極目標(biāo)只有一個(gè)，希望構(gòu)建一個(gè)這樣的基礎(chǔ)設(shè)施，以化解大家在數(shù)據(jù)行業(yè)中的技術(shù)難點(diǎn)、業(yè)務(wù)痛點(diǎn)，然后更好地在上面去開發(fā)應(yīng)用、發(fā)展生態(tài)、全面釋放數(shù)據(jù)生產(chǎn)力。
這里的矩陣結(jié)合了各方面的能力，最后實(shí)現(xiàn)了這樣的一個(gè)效果。當(dāng)然很多具體的技術(shù)領(lǐng)域也是在積極探索中，也誠邀合作伙伴，與我們攜手共創(chuàng)更好的未來。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
