8月21日，聯(lián)邦學(xué)習(xí)與遷移學(xué)習(xí)國(guó)際研討會(huì)（ 簡(jiǎn)稱(chēng)FTL-IJCAI）順利舉行。

IJCAI（國(guó)際人工智能聯(lián)合會(huì)議）至今已成功舉辦29屆，是人工智能領(lǐng)域歷史最悠久，也是最具影響力的學(xué)術(shù)會(huì)議之一。會(huì)議期間，微眾銀行、京東、第四范式、星云Clustar等企業(yè)聯(lián)合香港科技大學(xué)、南洋理工大學(xué)、匹茲堡大學(xué)、清華大學(xué)等知名高校及科研機(jī)構(gòu)發(fā)起了“IJCAI聯(lián)邦學(xué)習(xí)與遷移學(xué)習(xí)國(guó)際研討會(huì)（FTL-IJCAI’21）”，來(lái)自全球的技術(shù)專(zhuān)家和產(chǎn)業(yè)精英分享了最新研究成果，從技術(shù)效率提升、工業(yè)界應(yīng)用等多維度全方位解開(kāi)聯(lián)邦學(xué)習(xí)生態(tài)影響力提升擴(kuò)大的密碼。

作為本屆研討會(huì)的組織方，同時(shí)也是聯(lián)邦學(xué)習(xí)研究與應(yīng)用的代表企業(yè)之一，星云Clustar在會(huì)上分享了多項(xiàng)最新研究成果。其中，由香港科技大學(xué)副教授、iSING Lab主任陳凱教授指導(dǎo)，星云Clustar CTO張駿雪與星云Clustar算法工程師張?jiān)?、柴迪?lián)合研究并撰寫(xiě)的論文《Aegis: A Trusted, Automatic and Accurate Verification Framework for Vertical Federated Learning 》榮獲FL-IJCAI’21最佳應(yīng)用論文獎(jiǎng)（Best Application Award）。

 

在日益增長(zhǎng)的政策監(jiān)管壓力之下，如何解決用戶(hù)隱私安全、如何合法合規(guī)獲取數(shù)據(jù)等問(wèn)題，成為當(dāng)下人工智能大規(guī)模應(yīng)用于產(chǎn)業(yè)的關(guān)鍵。而聯(lián)邦學(xué)習(xí)作為一種新型機(jī)器學(xué)習(xí)技術(shù)范式，因其可兼顧大數(shù)據(jù)合作需求和隱私安全保護(hù)而倍受學(xué)術(shù)界與產(chǎn)業(yè)界關(guān)注，發(fā)展極為迅速，漸漸成為各行各業(yè)大數(shù)據(jù)合作與AI協(xié)作的“標(biāo)配”。

在研究領(lǐng)域，如何更好地支持跨行業(yè)數(shù)據(jù)融合是一個(gè)廣受關(guān)注的研究課題，而縱向聯(lián)邦學(xué)習(xí)是常用的技術(shù)范式?？v向聯(lián)邦也稱(chēng)為跨特征聯(lián)邦，自微眾銀行在2019年提出以來(lái)，已逐漸應(yīng)用到越來(lái)越多的場(chǎng)景中。例如，銀行可在對(duì)自身?yè)碛械目蛻?hù)資金數(shù)據(jù)特征完成建模后，將中間數(shù)據(jù)上傳至聯(lián)邦，與外部互聯(lián)網(wǎng)平臺(tái)上傳的客戶(hù)信息中間數(shù)據(jù)進(jìn)行聯(lián)合建模，利用多維度的數(shù)據(jù)提升模型效果，更精準(zhǔn)的完成廣告投放，提升用戶(hù)點(diǎn)擊率，同時(shí)還能進(jìn)一步跟蹤用戶(hù)點(diǎn)擊轉(zhuǎn)化效果。

在技術(shù)范式上，與谷歌所提出的橫向聯(lián)邦學(xué)習(xí)中所有參與方共享一個(gè)共有模型不同，縱向聯(lián)邦學(xué)習(xí)體系中，每個(gè)參與方都擁有與其數(shù)據(jù)特征相關(guān)聯(lián)的共享模型中的一部分。因此，縱向聯(lián)邦學(xué)習(xí)中各參與方彼此間存在更為緊密的共生關(guān)系。換言之，縱向聯(lián)邦學(xué)習(xí)的各參與方之間的計(jì)算具有依賴(lài)關(guān)系，需要頻繁地互動(dòng)與交換模型訓(xùn)練中間結(jié)果。

然而，頻繁互動(dòng)與模型參數(shù)交換的過(guò)程是否安全、參與方行為是否可信是縱向聯(lián)邦所面臨的一大難點(diǎn)。只有所有參與者都遵循安全協(xié)議或算法時(shí)，縱向聯(lián)邦才能實(shí)現(xiàn)安全可控的跨行業(yè)數(shù)據(jù)融合，發(fā)揮技術(shù)價(jià)值。而在產(chǎn)業(yè)上，多個(gè)參與方完全互信多為理想狀態(tài)。實(shí)際應(yīng)用中，如果參與方存在惡意行為，如發(fā)送惡意控信息或執(zhí)行惡意命令，便會(huì)導(dǎo)致縱向聯(lián)邦模型失去準(zhǔn)確性，甚至導(dǎo)致源數(shù)據(jù)泄露。

為了應(yīng)對(duì)這一實(shí)際應(yīng)用痛點(diǎn)，擴(kuò)展聯(lián)邦學(xué)習(xí)更多應(yīng)用空間，星云Clustar研究團(tuán)隊(duì)對(duì)縱向聯(lián)邦學(xué)習(xí)系統(tǒng)進(jìn)行了深入研究，創(chuàng)新性構(gòu)建了一個(gè)可信的、自動(dòng)的、準(zhǔn)確的驗(yàn)證框架。該框架一方面利用區(qū)塊鏈技術(shù)，將多方參與建模訓(xùn)練的加密數(shù)據(jù)存儲(chǔ)于不可篡改的區(qū)塊鏈系統(tǒng)中，以確保收集數(shù)據(jù)的安全性。另一方面，對(duì)聯(lián)邦學(xué)習(xí)參與方的通訊、流量進(jìn)行審計(jì)，監(jiān)督多方合作建模過(guò)程中破壞模型訓(xùn)練、泄露隱私的行為，并且在訓(xùn)練結(jié)束后可再次進(jìn)行事后審計(jì)，確保所有的加密數(shù)據(jù)訓(xùn)練都有跡可循，若造成泄漏則方便追責(zé)。

論文作者、星云Clustar算法工程師張?jiān)庠诜窒碇斜硎荆骸癆egis 通過(guò)對(duì)縱向聯(lián)邦學(xué)習(xí)傳輸中間信息的監(jiān)控，可實(shí)現(xiàn)對(duì)流程和數(shù)據(jù)兩個(gè)方面可能存在的惡意攻擊和隱私泄露進(jìn)行檢測(cè)。這一成果大幅強(qiáng)化了聯(lián)邦學(xué)習(xí)的可驗(yàn)證安全性，為解決多方參與的聯(lián)邦學(xué)習(xí)互信問(wèn)題提供了一個(gè)當(dāng)下最佳的技術(shù)解。”

據(jù)了解，這已經(jīng)是星云Clustar第3次深度參與IJCAI的專(zhuān)項(xiàng)研討會(huì)。2019年，星云Clustar敬清賀作者團(tuán)隊(duì)的論文《量化評(píng)估聯(lián)邦遷移學(xué)習(xí)（Quantifying the Performance of Federated Transfer Learning）》得了會(huì)議的最佳學(xué)生論文獎(jiǎng)；2020年，星云Clustar提交的論文《FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning)》再次入選，并于會(huì)議上展示了星云自主研發(fā)的聯(lián)邦學(xué)習(xí)隱私計(jì)算方案。

作為國(guó)內(nèi)聯(lián)邦學(xué)習(xí)技術(shù)研究與應(yīng)用的代表企業(yè)，星云Clustar正在通過(guò)自身在技術(shù)領(lǐng)域的沉淀與積累，深掘聯(lián)邦學(xué)習(xí)切實(shí)落地的可能性與空間，推進(jìn)聯(lián)邦學(xué)習(xí)帶來(lái)的技術(shù)紅利在各行各業(yè)的落地，使企業(yè)與機(jī)構(gòu)的多方安全協(xié)作更具可得性。未來(lái)，星云Clustar將繼續(xù)在聯(lián)邦學(xué)習(xí)技術(shù)領(lǐng)域深耕，保持開(kāi)放的心態(tài)，堅(jiān)持開(kāi)源的技術(shù)路線(xiàn)，助力聯(lián)邦學(xué)習(xí)技術(shù)與隱私計(jì)算產(chǎn)業(yè)的可持續(xù)發(fā)展，使數(shù)據(jù)發(fā)揮出真正的生產(chǎn)要素作用。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。