8月21日，聯(lián)邦學(xué)習(xí)與遷移學(xué)習(xí)國際研討會（ 簡稱FTL-IJCAI）順利舉行。

IJCAI（國際人工智能聯(lián)合會議）至今已成功舉辦29屆，是人工智能領(lǐng)域歷史最悠久，也是最具影響力的學(xué)術(shù)會議之一。會議期間，微眾銀行、京東、第四范式、星云Clustar等企業(yè)聯(lián)合香港科技大學(xué)、南洋理工大學(xué)、匹茲堡大學(xué)、清華大學(xué)等知名高校及科研機(jī)構(gòu)發(fā)起了“IJCAI聯(lián)邦學(xué)習(xí)與遷移學(xué)習(xí)國際研討會（FTL-IJCAI’21）”，來自全球的技術(shù)專家和產(chǎn)業(yè)精英分享了最新研究成果，從技術(shù)效率提升、工業(yè)界應(yīng)用等多維度全方位解開聯(lián)邦學(xué)習(xí)生態(tài)影響力提升擴(kuò)大的密碼。

作為本屆研討會的組織方，同時也是聯(lián)邦學(xué)習(xí)研究與應(yīng)用的代表企業(yè)之一，星云Clustar在會上分享了多項最新研究成果。其中，由香港科技大學(xué)副教授、iSING Lab主任陳凱教授指導(dǎo)，星云Clustar CTO張駿雪與星云Clustar算法工程師張曾光、柴迪聯(lián)合研究并撰寫的論文《Aegis: A Trusted, Automatic and Accurate Verification Framework for Vertical Federated Learning 》榮獲FL-IJCAI’21最佳應(yīng)用論文獎（Best Application Award）。

 

在日益增長的政策監(jiān)管壓力之下，如何解決用戶隱私安全、如何合法合規(guī)獲取數(shù)據(jù)等問題，成為當(dāng)下人工智能大規(guī)模應(yīng)用于產(chǎn)業(yè)的關(guān)鍵。而聯(lián)邦學(xué)習(xí)作為一種新型機(jī)器學(xué)習(xí)技術(shù)范式，因其可兼顧大數(shù)據(jù)合作需求和隱私安全保護(hù)而倍受學(xué)術(shù)界與產(chǎn)業(yè)界關(guān)注，發(fā)展極為迅速，漸漸成為各行各業(yè)大數(shù)據(jù)合作與AI協(xié)作的“標(biāo)配”。

在研究領(lǐng)域，如何更好地支持跨行業(yè)數(shù)據(jù)融合是一個廣受關(guān)注的研究課題，而縱向聯(lián)邦學(xué)習(xí)是常用的技術(shù)范式?？v向聯(lián)邦也稱為跨特征聯(lián)邦，自微眾銀行在2019年提出以來，已逐漸應(yīng)用到越來越多的場景中。例如，銀行可在對自身擁有的客戶資金數(shù)據(jù)特征完成建模后，將中間數(shù)據(jù)上傳至聯(lián)邦，與外部互聯(lián)網(wǎng)平臺上傳的客戶信息中間數(shù)據(jù)進(jìn)行聯(lián)合建模，利用多維度的數(shù)據(jù)提升模型效果，更精準(zhǔn)的完成廣告投放，提升用戶點(diǎn)擊率，同時還能進(jìn)一步跟蹤用戶點(diǎn)擊轉(zhuǎn)化效果。

在技術(shù)范式上，與谷歌所提出的橫向聯(lián)邦學(xué)習(xí)中所有參與方共享一個共有模型不同，縱向聯(lián)邦學(xué)習(xí)體系中，每個參與方都擁有與其數(shù)據(jù)特征相關(guān)聯(lián)的共享模型中的一部分。因此，縱向聯(lián)邦學(xué)習(xí)中各參與方彼此間存在更為緊密的共生關(guān)系。換言之，縱向聯(lián)邦學(xué)習(xí)的各參與方之間的計算具有依賴關(guān)系，需要頻繁地互動與交換模型訓(xùn)練中間結(jié)果。

然而，頻繁互動與模型參數(shù)交換的過程是否安全、參與方行為是否可信是縱向聯(lián)邦所面臨的一大難點(diǎn)。只有所有參與者都遵循安全協(xié)議或算法時，縱向聯(lián)邦才能實現(xiàn)安全可控的跨行業(yè)數(shù)據(jù)融合，發(fā)揮技術(shù)價值。而在產(chǎn)業(yè)上，多個參與方完全互信多為理想狀態(tài)。實際應(yīng)用中，如果參與方存在惡意行為，如發(fā)送惡意控信息或執(zhí)行惡意命令，便會導(dǎo)致縱向聯(lián)邦模型失去準(zhǔn)確性，甚至導(dǎo)致源數(shù)據(jù)泄露。

為了應(yīng)對這一實際應(yīng)用痛點(diǎn)，擴(kuò)展聯(lián)邦學(xué)習(xí)更多應(yīng)用空間，星云Clustar研究團(tuán)隊對縱向聯(lián)邦學(xué)習(xí)系統(tǒng)進(jìn)行了深入研究，創(chuàng)新性構(gòu)建了一個可信的、自動的、準(zhǔn)確的驗證框架。該框架一方面利用區(qū)塊鏈技術(shù)，將多方參與建模訓(xùn)練的加密數(shù)據(jù)存儲于不可篡改的區(qū)塊鏈系統(tǒng)中，以確保收集數(shù)據(jù)的安全性。另一方面，對聯(lián)邦學(xué)習(xí)參與方的通訊、流量進(jìn)行審計，監(jiān)督多方合作建模過程中破壞模型訓(xùn)練、泄露隱私的行為，并且在訓(xùn)練結(jié)束后可再次進(jìn)行事后審計，確保所有的加密數(shù)據(jù)訓(xùn)練都有跡可循，若造成泄漏則方便追責(zé)。

論文作者、星云Clustar算法工程師張曾光在分享中表示：“Aegis 通過對縱向聯(lián)邦學(xué)習(xí)傳輸中間信息的監(jiān)控，可實現(xiàn)對流程和數(shù)據(jù)兩個方面可能存在的惡意攻擊和隱私泄露進(jìn)行檢測。這一成果大幅強(qiáng)化了聯(lián)邦學(xué)習(xí)的可驗證安全性，為解決多方參與的聯(lián)邦學(xué)習(xí)互信問題提供了一個當(dāng)下最佳的技術(shù)解?！?/span>

據(jù)了解，這已經(jīng)是星云Clustar第3次深度參與IJCAI的專項研討會。2019年，星云Clustar敬清賀作者團(tuán)隊的論文《量化評估聯(lián)邦遷移學(xué)習(xí)（Quantifying the Performance of Federated Transfer Learning）》得了會議的最佳學(xué)生論文獎；2020年，星云Clustar提交的論文《FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning)》再次入選，并于會議上展示了星云自主研發(fā)的聯(lián)邦學(xué)習(xí)隱私計算方案。

作為國內(nèi)聯(lián)邦學(xué)習(xí)技術(shù)研究與應(yīng)用的代表企業(yè)，星云Clustar正在通過自身在技術(shù)領(lǐng)域的沉淀與積累，深掘聯(lián)邦學(xué)習(xí)切實落地的可能性與空間，推進(jìn)聯(lián)邦學(xué)習(xí)帶來的技術(shù)紅利在各行各業(yè)的落地，使企業(yè)與機(jī)構(gòu)的多方安全協(xié)作更具可得性。未來，星云Clustar將繼續(xù)在聯(lián)邦學(xué)習(xí)技術(shù)領(lǐng)域深耕，保持開放的心態(tài)，堅持開源的技術(shù)路線，助力聯(lián)邦學(xué)習(xí)技術(shù)與隱私計算產(chǎn)業(yè)的可持續(xù)發(fā)展，使數(shù)據(jù)發(fā)揮出真正的生產(chǎn)要素作用。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。