0
2020年9月5日，由雷鋒網(wǎng) & AI掘金志主辦的「第三屆中國人工智能安防峰會」在杭州正式召開。
本屆峰會以「洗牌結束，格局重構」為主題，會上代表未來新十年的15家企業(yè)，為現(xiàn)場1000余位聽眾和線上幾十萬觀眾，分享迎接安防新十年的經(jīng)營理念與技術應用方法論。
在大會上，平安科技副總工程師、聯(lián)邦學習技術部總經(jīng)理王健宗帶來了精彩演講。
王健宗指出，目前人工智能在移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、IoT、5G等新技術的驅動下得以迅猛發(fā)展， 不過在AI技術落地時總是有所欠缺，即人工智能通用算法在本地化部署過程中所面臨的數(shù)據(jù)困境，而這一塊恰恰是相關行業(yè)或企業(yè)所缺乏的。
王健宗認為，其數(shù)據(jù)困境主要是三點：數(shù)據(jù)孤島、法律法規(guī)監(jiān)管日趨嚴格，以及傳統(tǒng)AI技術模式下的限制。
聯(lián)邦智能正是這一困境的破局之道，它是以聯(lián)邦學習為龍頭，同時涵蓋聯(lián)邦數(shù)據(jù)部落、聯(lián)邦推理、聯(lián)邦激勵機制，共由四大部分組成。面對目前日益苛刻的數(shù)據(jù)安全隱私的問題，通過構建聯(lián)邦學習的技術內(nèi)核，建立聯(lián)邦數(shù)據(jù)部落，實現(xiàn)具備隱私保護的聯(lián)邦推理，并以聯(lián)邦激勵機制為紐帶形成一個完整的AI生態(tài)格局，從而打破數(shù)據(jù)壁壘，使人工智能發(fā)展邁向新階段。
其中，聯(lián)邦學習是隱私保護下的分布式機器學習技術，以及“數(shù)據(jù)孤島問題”的解決方案。聯(lián)邦數(shù)據(jù)部落，在確保數(shù)據(jù)安全及用戶隱私的前提下，建立基于聯(lián)邦智能的大數(shù)據(jù)部落生態(tài)，充分發(fā)揮各行業(yè)參與方的數(shù)據(jù)價值，推動垂直領域案例落地。
聯(lián)邦推理，在一個隱私與安全的鏈路過程中，發(fā)揮著引擎模型的聯(lián)邦推理作用。聯(lián)邦激勵機制，它的核心是一個遵循基本準則的閉環(huán)學習機制，通過聯(lián)合建模協(xié)議達成、貢獻度評估、激勵及資金劃定等環(huán)節(jié)，吸引外部企業(yè)參與，加入聯(lián)邦智能生態(tài)。
平安的蜂巢聯(lián)邦智能平臺。在整個平臺中，蜂巢依托平安集團這一綜合性集團背景，能夠提供智慧金融、智慧城市、智慧醫(yī)療商用級的一站式解決方案，希望能夠以此激活數(shù)據(jù)價值，這也是整個平臺的使命。蜂巢平臺的目標是跨企業(yè)、跨數(shù)據(jù)、跨領域，助力整個大數(shù)據(jù)AI生態(tài)。此外，它在營銷、獲客、定價、風控、智慧城市等等方面推出了相關的解決方案。
最后，王健宗總結道，聯(lián)邦智能作為樞紐，將會為智慧城市的未來提供更多新的機會。同時，隨著公民隱私安全意識的不斷加深，它將更好地為公眾帶來高品質的個性化服務，并在當前新基建的背景下，立足于數(shù)據(jù)，依托聯(lián)邦智能生態(tài)，加速精細化服務時代的到來，這也是聯(lián)邦智能的機會。
以下是王健宗演講全文，雷鋒網(wǎng)作了不改變原意的整理與編輯：
平安科技副總工程師、聯(lián)邦學習技術部總經(jīng)理王健宗
剛剛經(jīng)過幸運的抽獎環(huán)節(jié)，相信大家也稍微輕松了一些。那么接下來，我將為大家?guī)硪恍┎灰粯拥臇|西，分享我們在聯(lián)邦智能生態(tài)中所做的工作創(chuàng)新和思考，以及它在智慧城市中的應用及未來趨勢，其中很多分享內(nèi)容將是首次呈現(xiàn)給大家。
我今天的演講主題是《聯(lián)邦智能：智慧城市的突圍之道》，它主要分四個部分：第一部分，人工智能中的數(shù)據(jù)困境；第二部分，突圍之道：聯(lián)邦智能重塑數(shù)據(jù)生態(tài)；第三部分，聯(lián)邦智能的應用平臺：蜂巢平臺；第四部分，聯(lián)邦智能的解決方案：智慧城市。
目前，人工智能在移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、IOT、5G等新技術的驅動下得以迅猛發(fā)展， 不過我們發(fā)現(xiàn)AI技術在落地時總會欠缺一點火候，那么究竟差在哪里？就是人工智能通用算法在本地化部署過程中所面臨的數(shù)據(jù)難題，而這一塊恰恰是相關技術行業(yè)或技術企業(yè)所缺乏的。
對于傳統(tǒng)行業(yè)來說，數(shù)據(jù)作為核心的資產(chǎn)，各行各業(yè)都會存在數(shù)據(jù)壁壘問題，共享數(shù)據(jù)變得比較困難，阻礙了AI落地。如何來突破這一難題，讓AI生態(tài)能夠繼續(xù)保持著高速發(fā)展的態(tài)勢，是現(xiàn)在所有AI人迫切需要解決的問題。
以智慧城市為例，自2012年住建部正式對智慧城市啟動試點、進行方案改革以來，智慧城市的發(fā)展步伐顯著加快，而數(shù)據(jù)化被認為是智慧城市的基礎。
理想化的圖景是這樣的：人們會通過政府部門、社會組織和企業(yè)的互聯(lián)互通，實現(xiàn)數(shù)據(jù)分析和數(shù)據(jù)決策，但是實際的互聯(lián)互通往往遭遇行政和商業(yè)壁壘，形成數(shù)據(jù)孤島。這個難題，長期阻礙著智慧城市建設的進程。
同時，國內(nèi)在數(shù)據(jù)隱私保護方面的法律法規(guī)日益完善，像《中華人民共和國民法總則》明確指出，規(guī)定網(wǎng)絡運營者不得泄露、篡改、毀壞其收集的個人信息。
從2020年的最新文件也可以看到，像《中共中央國務院關于構建更加完善的要素市場化配置體制機制的意見》首次將“數(shù)據(jù)”與土地、勞動力、資本、技術等傳統(tǒng)要素并列為要素之一，提出要加強數(shù)據(jù)資源整合和安全保護，制定數(shù)據(jù)隱私保護制度和安全審查制度。這將進一步加強數(shù)據(jù)隱私的安全保護。
而另一方面，我們也可以從傳統(tǒng)AI的技術模式上發(fā)現(xiàn)一些限制或者瓶頸。實際上，傳統(tǒng)AI技術模式中的模型算法必須從大數(shù)據(jù)中挖掘數(shù)據(jù)特征，需要利用數(shù)學理論映射出數(shù)據(jù)特征與業(yè)務需求的關系，并且訓練網(wǎng)絡中權重和偏置的調整與數(shù)據(jù)量級、數(shù)據(jù)信息密度、數(shù)據(jù)來源是否真實有著密切關系。
因此，在這種傳統(tǒng)AI技術模式的限制下，技術本身對數(shù)據(jù)有著強依賴關系，對企業(yè)和個人產(chǎn)生嚴重影響。對個人來說是同樣的，在目前政策約束下，個人相關數(shù)據(jù)也會受到嚴格監(jiān)管，這使得個人幾乎無法參與到AI產(chǎn)品的迭代中，用戶不能從他們的設備、位置等方面收集個人數(shù)據(jù)來完成功能優(yōu)化。
那么，如何打破數(shù)據(jù)孤島這一困境呢？
我們因此提出聯(lián)邦智能，聯(lián)邦智能是以聯(lián)邦學習為龍頭，同時涵蓋聯(lián)邦數(shù)據(jù)部落、聯(lián)邦推理、聯(lián)邦激勵機制，共由四大部分組成。面對目前日益苛刻的數(shù)據(jù)安全隱私的問題，我們通過構建聯(lián)邦學習的技術內(nèi)核，建立聯(lián)邦數(shù)據(jù)部落，實現(xiàn)具備隱私保護的聯(lián)邦推理，并以聯(lián)邦激勵機制為紐帶形成一個完整的AI生態(tài)格局。這也是目前我們重點推動、落實的核心工作。
這里展示的是聯(lián)邦智能的架構關系圖。首先，我將對聯(lián)邦數(shù)據(jù)部落做簡要介紹。
由于業(yè)界存在諸多與數(shù)據(jù)存儲相關的表現(xiàn)形式，如：云存儲、數(shù)據(jù)湖、數(shù)據(jù)海、數(shù)據(jù)倉庫等。那么我們在這里為什么會提出數(shù)據(jù)部落？
實際上，每個數(shù)據(jù)可以定義為單位個體，它們之間相互獨立，但信息元素又相通，具有合作的關聯(lián)屬性，因此我們將這些數(shù)據(jù)單元的集合，稱之為聯(lián)邦數(shù)據(jù)部落。
在部落中，既有來自各行業(yè)、企業(yè)的數(shù)據(jù)，又有來自各種邊端、設備的數(shù)據(jù)。
我們的初衷，是希望部落之間能夠達成數(shù)據(jù)不出本地的一種合作機制。大家能夠把數(shù)據(jù)貢獻出來，共同去完成聯(lián)邦建模。在這一過程中，會包括數(shù)據(jù)處理、樣本對齊，以及一些特征信息的聚合等內(nèi)容。
在聯(lián)邦學習這一聯(lián)合建模的過程中，機器學習、深度學習均有參與，我們也集成有自動化聯(lián)邦學習AutoFL模塊，它本質上是在滿足提升本地模型精度的同時，通過本地模型的搜索，更新神經(jīng)網(wǎng)絡結構，從而自動地趨于滿足本地計算資源和通信能力的最優(yōu)網(wǎng)絡結構。
接著，聯(lián)邦數(shù)據(jù)部落中的數(shù)據(jù)信息，會以中間參數(shù)的加密形態(tài)計入聯(lián)邦學習過程，最終實現(xiàn)聯(lián)合建模，生成聯(lián)邦模型。這一模型會反哺各行各業(yè)，包括智慧城市、智慧醫(yī)療等各種場景。
實際上，我們的聯(lián)邦模型還能提供聯(lián)邦推理這一服務應用。其中，聯(lián)邦推理是基于加密方式完成推理計算的，這一過程無需上傳任何相關設備存儲的明文數(shù)據(jù)，或是個人隱私數(shù)據(jù)，從而保證了數(shù)據(jù)的安全和隱私性。
整個系統(tǒng)融有聯(lián)邦激勵機制。我們設計激勵機制的初衷，是希望這一機制能夠保證各參與方既能積極地貢獻和參與，又能以此激勵在這一生態(tài)中的各個參與方受益，從而更好地促進聯(lián)邦智能生態(tài)向著繁榮方向發(fā)展。
下面我將展開來講。聯(lián)邦學習，是一種加密的分布式機器學習技術，本質上它是基于本地數(shù)據(jù)的本地訓練，云端會發(fā)布相應的初始模型，并聯(lián)合各方由本地發(fā)起訓練，共同完成模型構建過程。
提到聯(lián)邦學習的優(yōu)勢，大致可分為四點：
第一點是數(shù)據(jù)本地化，數(shù)據(jù)不會泄露到外部，滿足用戶隱私保護和安全的需求。
第二點是算力下沉，有助于物聯(lián)網(wǎng)、邊緣計算與人工智能的有機結合。
第三點是聯(lián)合建模過程以加解密機制實時進行參數(shù)交換，符合政策法規(guī)。
第四點是參與各方的身份和地位相同，成功實現(xiàn)了共同富裕的目標。
我重點講一下聯(lián)邦數(shù)據(jù)部落。我們提到的聯(lián)邦數(shù)據(jù)部落，是要把每一個數(shù)據(jù)孤島部落化，以此納入聯(lián)邦智能生態(tài)中來。
對于整個數(shù)據(jù)部落來說，例如個人手機數(shù)據(jù)、IoT數(shù)據(jù)、醫(yī)療數(shù)據(jù)等，這些原始數(shù)據(jù)實際上互不相通，沒有任何數(shù)據(jù)流轉通道。
其中，我們會對各方間的數(shù)據(jù)獲取渠道進行加鎖設置。當數(shù)據(jù)合作方加入到部落中后，我們會進行一些必要工作。
首先會提供一些相關的標準化工具，在原始不交換的基礎上，對來自個人或企業(yè)終端的本地數(shù)據(jù)進行處理，比如針對缺失數(shù)據(jù)、重復數(shù)據(jù)、偏離數(shù)據(jù)的數(shù)據(jù)清洗、數(shù)據(jù)降噪等工作。
實際上，我們的目標是在大家達成協(xié)議的基礎上，能夠選擇聯(lián)合終端中的高質量數(shù)據(jù)進行去中心化的本地訓練。
接著，為了使用與某項業(yè)務場景相關的數(shù)據(jù)，我們會進行特征化處理，包括數(shù)據(jù)分類、特征標記、數(shù)據(jù)聚合等方式，使其有針對性的發(fā)起訓練。
最后，我們會對聯(lián)邦數(shù)據(jù)部落中的數(shù)據(jù)進行質量評估，這也是聯(lián)邦激勵機制評價的重要一環(huán)。
我們搭建的聯(lián)邦數(shù)據(jù)部落，會依據(jù)數(shù)據(jù)量級、數(shù)據(jù)有效性、數(shù)據(jù)信息密度、數(shù)據(jù)真實性等評價指標，對參與聯(lián)邦學習訓練的數(shù)據(jù)進行質量評估，同時也起到了數(shù)據(jù)監(jiān)測與評估量化的作用。
聯(lián)邦推理方面，我們希望模型在應用環(huán)節(jié)也能起到保護數(shù)據(jù)隱私的作用。
以聲紋識別為例，它屬于生物特征的一種，并在一定程度上是極其重要的個人隱私信息。聲紋語音特征具有抗時變性，短期內(nèi)它不會隨著年齡的增長而發(fā)改變。
在傳統(tǒng)的聲紋推理模式中，服務會將用戶端輸入的語音直接傳送至云端的聲紋平臺與引擎中，經(jīng)過前置的語音預處理，如靜音消除、截幅檢測等，由i-Vector/d-Vector/x-Vector聲紋模型提取出高維的特征向量，再根據(jù)PLDA打分與兩兩比對，最終完成說話人身份確認。
比較典型的應用包括：聲紋門禁、聲紋鎖、電話平臺聲紋核身。另外，還包括1：N情況下的聲紋識別，即說話人辨別。
以上是以聲紋為例的傳統(tǒng)推理過程。
如果我們不上傳本地語音數(shù)據(jù)將如何實現(xiàn)這一推理過程？
實際上，我們會在本地用戶端內(nèi)置一個自主開發(fā)的蜂巢系統(tǒng)插件，它會在保留原始聲紋信息的基礎上，利用混沌算法對語音信號進行加密，并形成類似白噪聲的密文流信號。
在經(jīng)過一系列處理后，插件會生成公鑰，并連同處理語音一同傳送至云端。這個公鑰的作用是什么？是為了確保在云端推理過程中數(shù)據(jù)始終保持隱私性。
最后，我們會將推理加密結果返回至邊端，由邊端解密后直接獲取到真實結果。
整個推理過程，是一個隱私與安全的鏈路過程，我們的原始語音與信息始終沒有泄露。
聯(lián)邦激勵機制方面，它的核心是一個遵循基本準則的「閉環(huán)」學習機制，通過聯(lián)合建模協(xié)議達成、企業(yè)貢獻度評估、依據(jù)貢獻度劃定激勵資金池、企業(yè)激勵收益及業(yè)務場景獲益、吸引外部企業(yè)加入、更新聯(lián)邦智能生態(tài)，再回歸到聯(lián)合建模的協(xié)議達成，最終形成一種有效地閉環(huán)激勵模式。
在激勵過程中，我們首先會利用特征工程評判數(shù)據(jù)質量，比如飽和度、稀疏性、相似度等來綜合衡量數(shù)據(jù)集特征，這里我們也會引入AutoFL進行自動化評估，綜合輸出參與方數(shù)據(jù)的平均質量向量。
其中，當其質量小于閾值界限會被剔除激勵考量的行列。在此基礎上，從聯(lián)邦費用總額中確定激勵資金池的深度。
接著，我們采用聯(lián)邦邊際效用評判各個參與方的數(shù)據(jù)貢獻，然后各個參與方根據(jù)占比進行分成。同時，我們考慮到參與方在訓練中產(chǎn)生的計算和通信消耗產(chǎn)生的第二成本，建立了最低保障機制。
在這個機制里，我們評判這個第二成本和激勵分成，選取最優(yōu)的那個作為最終的激勵。
下面，我將分享一下我們自主研發(fā)的聯(lián)邦智能平臺——蜂巢聯(lián)邦智能平臺。
在整個平臺中，蜂巢依托平安集團這一綜合性集團背景，能夠提供智慧金融、智慧城市、智慧醫(yī)療商用級的一站式解決方案，希望能夠以此激活數(shù)據(jù)價值，這也是我們整個平臺的使命。
平臺是構建圍繞聯(lián)邦學習、聯(lián)邦數(shù)據(jù)部落、聯(lián)邦推理、聯(lián)邦激勵機制為核心的聯(lián)邦智能生態(tài)。產(chǎn)品適用范圍包括像訓練隱私、敏感數(shù)據(jù)，同時借鑒了我們之前在自動化機器學習上的一些經(jīng)驗，在底層進行加速，包括在底層通訊層的優(yōu)化等等，也包括現(xiàn)在我們在加解密這一塊的嘗試，希望這個平臺能同時滿足B端和C端的需求。
這是蜂巢聯(lián)邦智能平臺的設計架構。在聯(lián)邦數(shù)據(jù)部落里面，包括數(shù)據(jù)預處理、數(shù)據(jù)特征化、數(shù)據(jù)質量評估等，這些我們在技術上都做了一些實現(xiàn)。
平臺支持傳統(tǒng)的機器學習以及深度學習模型，比如邏輯回歸、線性回歸、樹模型等，以及包括前面提到的AutoFL技術底座。
在整個模型訓練過程中，我們會對梯度進行非對稱加密，整合梯度和參數(shù)優(yōu)化、更新模型。
在推理這一塊，我們會把原始的傳輸?shù)臄?shù)據(jù)進行加密，最終實現(xiàn)推理結果。
而加密方式中，我們涵蓋同態(tài)加密、差分隱私以及國密SM2&4等多種加密方式。
整個蜂巢聯(lián)邦學習平臺，從2018年開始，由研發(fā)到投產(chǎn)至今已經(jīng)有兩年多的時間，我們的產(chǎn)品定位是服務于營銷、獲客、定價、風控、智慧城市和智慧醫(yī)療。同時，整個團隊在聯(lián)邦智能技術上也有諸多包括專利、論文在內(nèi)的科研成果，以及最新評選上的國家級獎項。
最后一部分，我將針對智慧城市分享一下“聯(lián)邦智能+”會帶來怎樣的解決方案，這部分我們也做了大量的工作，沉淀出很多思考和經(jīng)驗。
智慧樓宇。在《關于促進智慧城市健康發(fā)展的指導意見》中，智能樓宇被定位成國家智慧城市戰(zhàn)略方針的重要核心。在該場景下，聯(lián)邦智能可以提供怎樣的解決方案？
在智慧樓宇場景中，有些特定區(qū)域往往存在危險隱患，從而使得危險預報檢測十分關鍵。如辦公區(qū)域禁止火源，樓宇施工過程需要安全帽防護，化工研究場所需要穿著防護服等等。
針對目標識別問題，可采用訓練參數(shù)更少、計算量更小的SlimYOLOv3作為對象檢測模型，面向不同識別對象的防控模型可統(tǒng)一封裝成引擎調用，用于實時監(jiān)測與識別預警。
為了共同提升模型性能，打破各樓宇間數(shù)據(jù)孤島的問題，有相同需求的各個樓宇可加入聯(lián)邦智能——蜂巢平臺中進行聯(lián)合訓練，依靠彼此多維度的數(shù)據(jù)特征進行訓練和模型提升，從而推進智慧樓宇建設進程。
這張流程圖我們可以看到，當合作方將自己的數(shù)據(jù)集計入聯(lián)邦數(shù)據(jù)部落后，會加入蜂巢平臺的蜂巢模型層，開始進入聯(lián)邦學習過程。
接下來，通過蜂巢平臺提供的加密算法加密所傳輸?shù)哪Ｐ托畔?，傳輸?shù)铰?lián)邦服務平臺的核心算法部分—聯(lián)邦建模，聚合發(fā)生后產(chǎn)生更新的模型信息，并向參與方反饋模型更新參數(shù)。
此外，鏈路中涵蓋前面所提到的激勵機制，目的是吸引、鼓勵更多的合作方加入到聯(lián)邦學習的生態(tài)中。
智慧金融。智能金融可以說是智慧城市中的一個門類，舉個例子，銀保監(jiān)會和證監(jiān)會的數(shù)據(jù)是絕對不能打通的。所以對于傳統(tǒng)的數(shù)據(jù)，如圖左邊所示，比如出本地聯(lián)合建模，這種方式可以在實驗環(huán)境做一做，但在真實數(shù)據(jù)上，這種方法行不通，因為政策法規(guī)是不允許的。我們用聯(lián)邦學習建模方式做了對比實驗，發(fā)現(xiàn)聯(lián)邦學習可以提升模型效果。
車聯(lián)網(wǎng)。在智慧城市的車聯(lián)網(wǎng)場景下，汽車行駛記錄會保存在不同的系統(tǒng)中，比如車聯(lián)網(wǎng)運營方、車企、交管局、車輛相關的個人APP等，包括行車路況、車險記錄、導航記錄等。
假設為了更精準的預測行駛過程中的路況信息，以及滿足市場二手車交易中的信用評級需求，各車企鼓勵用戶將本地行車數(shù)據(jù)上傳到企業(yè)提供的云端，每個車企根據(jù)用戶提供的數(shù)據(jù)，為不同系列的車輛訓練不同的模型。
在聯(lián)邦智能生態(tài)中，車企之間可進行聯(lián)合訓練，以提高模型評估效果。每個合作方會向聚合服務器提供本地模型參數(shù)與初始配置信息，聚合服務器會向參與方發(fā)送更新后的模型。
由于各參與方數(shù)據(jù)和模型量級可能存在差異，為了避免負載分配不均衡的情況，聚合服務器可實現(xiàn)服務器與參與方之間的負載分發(fā)平衡。
此外，本方案允許參與方同時訓練多個模型，因此會提供任務管理服務，協(xié)調車企之間的并發(fā)響應機制。因此，車聯(lián)網(wǎng)下的聯(lián)邦學習解決方案可以有效提升車聯(lián)網(wǎng)投產(chǎn)落地速度，減少迭代周期。
聯(lián)邦機器人。我們目前已經(jīng)研發(fā)有全球首臺聯(lián)邦智能機器人。我們以聯(lián)邦學習的方式，在數(shù)據(jù)不共享的情況下，定期結合銀行本地的相關的客戶數(shù)據(jù)、客戶信息，發(fā)起一些增量的訓練，提升模型應用效果，比如個性化推薦、精準導航等等。同理，由銀行場景延伸，在保險行業(yè)、智能家居等場景下同樣適用。
最后，在智慧城市+聯(lián)邦智能方面，聯(lián)邦智能作為樞紐，將會為智慧安防的未來提供更多新的機會。
像食品安全、藥品、防疫等方方面面，是需要通過聯(lián)邦將數(shù)據(jù)孤島進行有效“連通”，這里指的“連通”即是通過技術手段實現(xiàn)的互通。
同時，隨著公民的隱私安全意識的加深，為了更好地為公眾帶來高品質的個性化服務，且服務標準、規(guī)范，改變粗放式服務模式，聯(lián)邦智能可以在規(guī)避隱私安全問題的紅線，同時助力智慧城市建設與數(shù)據(jù)應用間的平衡，提升諸如個性化推薦等服務質量。
同時，我們的目標是能夠實現(xiàn)精細化的智慧城市發(fā)展，在當前新基建的背景下，立足于數(shù)據(jù)，依托聯(lián)邦智能生態(tài)，加速精細化服務時代的到來，這也是聯(lián)邦智能的機會！
謝謝大家！雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
