0
| 本文作者： camel | 2019-09-11 20:22 |
雷鋒網(wǎng)AI科技評(píng)論按：近日，聯(lián)邦學(xué)習(xí)概念的提出者之一 Blaise Agu?ray Arcas 在韓國(guó)針對(duì)全球做了一個(gè)關(guān)于聯(lián)邦學(xué)習(xí)的在線workshop。
Blaise Agu?ray Arcas是2014年加入的谷歌，在此之前在微軟任杰出工程師。加入谷歌后，Blaise領(lǐng)導(dǎo)了谷歌設(shè)備端on-device機(jī)器智能（Machine Intelligence）項(xiàng)目，同時(shí)負(fù)責(zé)基礎(chǔ)研究與新產(chǎn)品研發(fā)工作。
聯(lián)邦學(xué)習(xí)的概念最初是由Blaise等人于2017年在Google AI Blog上發(fā)表的一篇博文中首次提出的。這個(gè)概念提出至今不過兩年時(shí)間，但對(duì)它的研究已然甚囂塵上，幾乎每天都至少會(huì)發(fā)布一篇相關(guān)論文，甚至在18年底在港科大楊強(qiáng)教授等人的推動(dòng)下聯(lián)邦學(xué)習(xí)進(jìn)入了IEEE國(guó)際標(biāo)準(zhǔn)。
聯(lián)邦學(xué)習(xí)之所以能夠在如此短的時(shí)間里迅速由一個(gè)構(gòu)想變?yōu)橐婚T學(xué)科，主要原因在于聯(lián)邦學(xué)習(xí)技術(shù)作為一種學(xué)習(xí)范式，能夠在確保用戶數(shù)據(jù)隱私的同時(shí)解決“數(shù)據(jù)孤島”問題。
不過不同于國(guó)內(nèi)主要關(guān)注企業(yè)之間針對(duì)“數(shù)據(jù)孤島”的聯(lián)邦學(xué)習(xí)，Blaise 等人（或許也在某種程度上代表谷歌）關(guān)注更多的則是設(shè)備上的聯(lián)邦學(xué)習(xí)，這也是聯(lián)邦學(xué)習(xí)概念被提出之初的應(yīng)用場(chǎng)景。
Blaise五年前加入谷歌后不久，便開始了聯(lián)邦學(xué)習(xí)的研究。直到2017年，當(dāng)他們?nèi)〉昧艘欢ǖ某晒?，才在博文中進(jìn)行公布。
一開始，聯(lián)邦學(xué)習(xí)只是一個(gè)概念，但很快它便被開發(fā)成人工智能領(lǐng)域中的一個(gè)學(xué)科?，F(xiàn)在已經(jīng)有數(shù)千篇的文章在討論聯(lián)邦學(xué)習(xí)。在今年12月份在溫哥華舉行的機(jī)器學(xué)習(xí)頂會(huì) NeurIPS上也將會(huì)有一個(gè)專題專門討論聯(lián)邦學(xué)習(xí)。另一方面，現(xiàn)在也有很多公司也在以此為基礎(chǔ)構(gòu)建他們的模型。這說明整個(gè)人工智能社區(qū)已經(jīng)開始重視這種技術(shù)了。
那么為什么聯(lián)邦學(xué)習(xí)能夠如此快速地被整個(gè)社區(qū)重視呢？
大家應(yīng)該知道，目前人工智能已經(jīng)發(fā)展到了這樣一個(gè)節(jié)點(diǎn)：我們希望能夠用少量的數(shù)據(jù)做更多的工作。這也是當(dāng)前人工智能的核心話題之一。
神經(jīng)網(wǎng)絡(luò)可以做很多的認(rèn)知，語言處理、語音合成、圖像識(shí)別，甚至還可以下圍棋，這些都能達(dá)到人類甚至超越人類的水平，這是過去幾年我們?nèi)〉玫某删汀５悄壳暗纳窠?jīng)網(wǎng)絡(luò)相比人類還欠缺一點(diǎn)，就是學(xué)習(xí)的效率，它需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。所以一些大公司，如谷歌、微軟、亞馬遜等開始提供人工智能服務(wù)時(shí)需要收集大量的數(shù)據(jù)，才能去訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)。這也是一直以來，整個(gè)社區(qū)所做的事情。
對(duì)于設(shè)備端（例如手機(jī)）的智能應(yīng)用，通常情況下的模式是，用戶在設(shè)備上產(chǎn)生的數(shù)據(jù)會(huì)被上傳到服務(wù)器中，然后由部署在服務(wù)器上的神經(jīng)網(wǎng)絡(luò)模型根據(jù)收集到的大量數(shù)據(jù)進(jìn)行訓(xùn)練得到一個(gè)模型，服務(wù)商根據(jù)這個(gè)模型來為用戶提供服務(wù)。隨著用戶設(shè)備端數(shù)據(jù)的不斷更新并上傳到服務(wù)器，服務(wù)器將根據(jù)這些更新數(shù)據(jù)來更新模型。很明顯這是一種集中式的模型訓(xùn)練方法。
然而這種方式存在幾個(gè)問題：1）無法保證用戶的數(shù)據(jù)隱私，用戶使用設(shè)備過程中產(chǎn)生的所有數(shù)據(jù)都將被服務(wù)商所收集；2）難以克服網(wǎng)絡(luò)延遲所造成的卡頓，這在需要實(shí)時(shí)性的服務(wù)（例如輸入法）中尤其明顯。
Blaise等人便想，是否可以通過做一個(gè)大型的分布式的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練框架，讓用戶數(shù)據(jù)不出本地（在自己的設(shè)備中進(jìn)行訓(xùn)練）的同時(shí)也能獲得相同的服務(wù)體驗(yàn)。
解決之道便是：上傳權(quán)重，而非數(shù)據(jù)。
我們知道神經(jīng)網(wǎng)絡(luò)模型是由不同層的神經(jīng)元之間連接構(gòu)成的，層與層之間的連接則是通過權(quán)重實(shí)現(xiàn)的，這些權(quán)重決定了神經(jīng)網(wǎng)絡(luò)能夠做什么：一些權(quán)重是用來區(qū)分貓和狗的；另一組則可以區(qū)分桌子和椅子。從視覺識(shí)別到音頻處理都是由權(quán)重來決定的。神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練本質(zhì)上就是在訓(xùn)練這些權(quán)重。
那么Blaise提出的設(shè)備端聯(lián)邦學(xué)習(xí)，不再是讓用戶把數(shù)據(jù)發(fā)送到服務(wù)器，然后在服務(wù)器上進(jìn)行模型訓(xùn)練，而是用戶本地訓(xùn)練，加密上傳訓(xùn)練模型（權(quán)重），服務(wù)器端會(huì)綜合成千上萬的用戶模型后再反饋給用戶模型改進(jìn)方案。
舉例來說，輸入法是典型的智能推薦應(yīng)用。當(dāng)人們使用Google鍵盤Gboard給家人朋友發(fā)信息的時(shí)候，傳統(tǒng)來說你敲擊鍵盤的數(shù)據(jù)會(huì)被上傳到谷歌的服務(wù)器，他們通過收集大量數(shù)據(jù)來訓(xùn)練一個(gè)更加符合用戶習(xí)慣的智能推薦。但在應(yīng)用聯(lián)邦學(xué)習(xí)后，用戶敲擊鍵盤的數(shù)據(jù)將永遠(yuǎn)保留在本地。用戶的手機(jī)中有一個(gè)不斷更新的模型會(huì)根據(jù)這些數(shù)據(jù)進(jìn)行學(xué)習(xí)和更新，并將更新的權(quán)重加密上傳到服務(wù)器。服務(wù)器收到大量用戶的模型后，會(huì)根據(jù)這些模型進(jìn)行綜合訓(xùn)練，并反饋給用戶進(jìn)行模型更新和迭代。
這里或許值得強(qiáng)調(diào)，這種在設(shè)備端上的模型是經(jīng)壓縮過的，而非像服務(wù)器中那種大型神經(jīng)網(wǎng)絡(luò)模型。因此模型訓(xùn)練的耗能是非常小的，幾乎檢測(cè)不到。此外，Blaise講了一個(gè)非常形象的比喻，即人會(huì)在睡覺的時(shí)候通過做夢(mèng)來更新自己的大腦認(rèn)知系統(tǒng)；同樣設(shè)備終端的系統(tǒng)也可以通過閑置時(shí)進(jìn)行模型訓(xùn)練和更新。所以整體上，這并不會(huì)對(duì)用戶的使用體驗(yàn)造成任何影響。
我們將設(shè)備上聯(lián)邦學(xué)習(xí)的過程總結(jié)一下：1）設(shè)備端下載當(dāng)前版本的模型；2）通過學(xué)習(xí)本地?cái)?shù)據(jù)來改進(jìn)模型；3）把對(duì)模型的改進(jìn)，概括成一個(gè)比較小的更新；4）該更新被加密發(fā)送到云端；5）與其他用戶的更新即時(shí)整合，作為對(duì)共享模型的改進(jìn)。
整個(gè)過程有三個(gè)關(guān)鍵環(huán)節(jié)：1）根據(jù)用戶使用情況，每臺(tái)手機(jī)在本地對(duì)模型進(jìn)行個(gè)性化改進(jìn)；2）形成一個(gè)整體的模型修改方案；3）應(yīng)用于共享的模型。該過程會(huì)不斷循環(huán)。
其優(yōu)點(diǎn)是顯而易見的。
首先，我們不必將數(shù)據(jù)上傳到云端，服務(wù)提供商就看不到用戶的數(shù)據(jù)，這可以提高用戶數(shù)據(jù)的隱私性。因此，通過這種方式，我們不必在隱私和功能之間進(jìn)行權(quán)衡，可以兩者兼有。這一點(diǎn)在當(dāng)下數(shù)據(jù)隱私越來越受到重視的情況下特別重要。
其次，是降低了延時(shí)。盡管5G時(shí)代即將到來，但并不是在任何情況下任何地點(diǎn)的網(wǎng)速都能得到保障。如果將用戶所有的數(shù)據(jù)都上傳到云端，且服務(wù)本身也是從云端進(jìn)行的反饋，那么在網(wǎng)速較慢的環(huán)境下，網(wǎng)絡(luò)延時(shí)將會(huì)極大降低用戶體驗(yàn)。而聯(lián)邦學(xué)習(xí)加持下的服務(wù)則不會(huì)出現(xiàn)這種情況，因?yàn)榉?wù)本身就來自于本地。
當(dāng)然，或許還有一個(gè)好處是，在傳統(tǒng)的方法下，用戶只是人工智能的旁觀者——我使用，但我沒參與。而在聯(lián)邦學(xué)習(xí)場(chǎng)景下，每個(gè)人都是“馴龍高手”，每個(gè)人都是人工智能發(fā)展的參與者。
聯(lián)邦學(xué)習(xí)的這種思想，事實(shí)上并不僅僅適用于設(shè)備用戶數(shù)據(jù)的隱私保護(hù)和模型更新。我們將設(shè)備用戶抽象來看，視作數(shù)據(jù)的擁有者，可以是手機(jī)持有者，也可以是公司、醫(yī)院、銀行等；而服務(wù)器或云端視作模型共享綜合平臺(tái)。
因此，聯(lián)邦學(xué)習(xí)更是一種新的學(xué)習(xí)范式，它有以下特點(diǎn)：
· 在聯(lián)邦學(xué)習(xí)的框架下，各參與者地位對(duì)等，能夠?qū)崿F(xiàn)公平合作；
· 數(shù)據(jù)保留在本地，避免數(shù)據(jù)泄露，滿足用戶隱私保護(hù)和數(shù)據(jù)安全的需求；
· 能夠保證參與各方在保持獨(dú)立性的情況下，進(jìn)行信息與模型參數(shù)的加密交換，并同時(shí)獲得成長(zhǎng)；
· 建模效果與傳統(tǒng)深度學(xué)習(xí)算法建模效果相差不大；
· 聯(lián)邦學(xué)習(xí)是一個(gè)「閉環(huán)」的學(xué)習(xí)機(jī)制，模型效果取決于數(shù)據(jù)提供方的貢獻(xiàn)。
這樣的特點(diǎn)正中當(dāng)前人工智能發(fā)展所面臨的困境。
當(dāng)前，大多數(shù)應(yīng)用領(lǐng)域均存在數(shù)據(jù)有限且質(zhì)量較差的問題，在某些專業(yè)性很強(qiáng)的細(xì)分領(lǐng)域（如醫(yī)療診斷）更是難以獲得足以支撐人工智能技術(shù)實(shí)現(xiàn)的標(biāo)注數(shù)據(jù)。
同時(shí)，在不同數(shù)據(jù)源之間存在難以打破的壁壘，除了少數(shù)幾家擁有海量用戶、具備產(chǎn)品和服務(wù)優(yōu)勢(shì)的「巨無霸」公司外，大多數(shù)企業(yè)難以以一種合理合法的方式跨越人工智能落地的數(shù)據(jù)鴻溝，或者對(duì)于他們來說需要付出巨大的成本來解決這一問題。
此外，隨著大數(shù)據(jù)的發(fā)展，重視數(shù)據(jù)隱私和安全已經(jīng)成為一種世界性的趨勢(shì)，而歐盟「數(shù)據(jù)隱私保護(hù)條例」（General Data Protection Regulation，GDPR）等一系列條例的出臺(tái)更是加劇了數(shù)據(jù)獲取的難度，這也給人工智能的落地應(yīng)用帶來了前所未有的挑戰(zhàn)。
從目前的研究進(jìn)展來看，聯(lián)邦學(xué)習(xí)也是解決以上這些問題的唯一選擇。
雷鋒網(wǎng)注：關(guān)于聯(lián)邦學(xué)習(xí)在國(guó)內(nèi)的進(jìn)一步發(fā)展，可以參考雷鋒網(wǎng)之前發(fā)表的文章《從概念到技術(shù)，再到國(guó)際標(biāo)準(zhǔn)和開源社區(qū)，聯(lián)邦學(xué)習(xí)只用兩年時(shí)間》。值得一提的是，關(guān)于「聯(lián)邦學(xué)習(xí)」的名字有一個(gè)故事：在早期國(guó)內(nèi)將「Federated Learning」大多翻譯為「聯(lián)合學(xué)習(xí)」，現(xiàn)多稱為「聯(lián)邦學(xué)習(xí)」。其中的區(qū)別是，如果用戶是個(gè)人，確實(shí)是把他們的模型「聯(lián)合」起來學(xué)習(xí)，正如Blaise 等人所做的工作；而如果用戶是企業(yè)、銀行、醫(yī)院等大數(shù)據(jù)擁有者，這種技術(shù)則更像是將諸多「城邦」結(jié)合起來，「聯(lián)邦」一詞則更為準(zhǔn)確。這一名字的變化，也反映著聯(lián)邦學(xué)習(xí)的研究主體從理論轉(zhuǎn)向?qū)嶋H應(yīng)用的變化趨勢(shì)。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
