???
8月7日-8月9日，2020年全球人工智能和機(jī)器人峰會(huì)（簡(jiǎn)稱“CCF-GAIR 2020”）在深圳如期舉辦！CCF-GAIR由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，香港中文大學(xué)（深圳）、雷鋒網(wǎng)聯(lián)合承辦，鵬城實(shí)驗(yàn)室、深圳市人工智能與機(jī)器人研究院協(xié)辦，以“AI新基建 產(chǎn)業(yè)新機(jī)遇”為大會(huì)主題，致力打造國(guó)內(nèi)人工智能和機(jī)器人領(lǐng)域規(guī)模最大、規(guī)格最高、跨界最廣的學(xué)術(shù)、工業(yè)和投資領(lǐng)域盛會(huì)。雷鋒網(wǎng)8月9日下午，在「聯(lián)邦學(xué)習(xí)與大數(shù)據(jù)隱私專場(chǎng)」上，邏輯匯創(chuàng)始人叢明舒博士進(jìn)行了題為「聯(lián)邦學(xué)習(xí)中的經(jīng)濟(jì)激勵(lì)：從博弈論視角分析聯(lián)邦學(xué)習(xí)商業(yè)化過(guò)程的經(jīng)濟(jì)激勵(lì)機(jī)制」的演講。雷鋒網(wǎng)以下是叢明舒老師在大會(huì)的演講實(shí)錄，AI科技評(píng)論作了不修改原意的整理和編輯：在數(shù)據(jù)隱私日益得到重視的當(dāng)下，聯(lián)邦學(xué)習(xí)具有非常大的現(xiàn)實(shí)意義。但在聯(lián)邦學(xué)習(xí)的商業(yè)落地過(guò)程中，除了數(shù)據(jù)隱私的考慮之外，為聯(lián)邦學(xué)習(xí)的參與者提供充足的經(jīng)濟(jì)激勵(lì)也是必不可少的。為什么要在聯(lián)邦學(xué)習(xí)中引入經(jīng)濟(jì)激勵(lì)機(jī)制？因?yàn)樵诼?lián)邦學(xué)習(xí)的過(guò)程中，非?？赡艽嬖趥€(gè)體利益和集體利益的沖突而導(dǎo)致合作失敗。這幾年在跟進(jìn)聯(lián)邦學(xué)習(xí)項(xiàng)目的過(guò)程中，我們遇到一個(gè)例子：保險(xiǎn)公司之間希望通過(guò)聯(lián)邦學(xué)習(xí)建立一個(gè)模型來(lái)對(duì)保險(xiǎn)的賠付率進(jìn)行更加精確的預(yù)測(cè)，但是在項(xiàng)目落地的過(guò)程中，項(xiàng)目發(fā)起人很快發(fā)現(xiàn)，小的保險(xiǎn)公司特別有興趣參加聯(lián)邦學(xué)習(xí)，但大的保險(xiǎn)公司卻興趣一般。為什么？我們用一個(gè)非常簡(jiǎn)化的經(jīng)濟(jì)學(xué)模型來(lái)解釋這個(gè)問(wèn)題。假設(shè)市場(chǎng)上只有兩家保險(xiǎn)公司，分別是A和B。A有海量數(shù)據(jù)，B只有少量的數(shù)據(jù)。在獨(dú)立建模的情形下，A的模型要遠(yuǎn)好于B的模型，所以A的市場(chǎng)占有率會(huì)非常高。如果A與B合作建模，聯(lián)邦模型的質(zhì)量會(huì)提升，總市場(chǎng)規(guī)模會(huì)擴(kuò)大。但與此同時(shí)，由于A和B使用同樣的模型，A的市場(chǎng)占有率會(huì)下降。在這種情況下，A參與聯(lián)邦之后的收益反而低于它獨(dú)立建模的情形，所以A是沒(méi)有任何動(dòng)力參與聯(lián)邦學(xué)習(xí)的。在這里我們引入了博弈論的一個(gè)概念——“個(gè)體理性”。個(gè)體理性約束指的是，聯(lián)邦學(xué)習(xí)任何參與者的凈收益不能低于他不參與聯(lián)邦學(xué)習(xí)的情形。個(gè)體理性約束在博弈論中是一項(xiàng)非?；A(chǔ)的要求，但在上面所說(shuō)的案例中，違反了參與者A的個(gè)體理性約束。 針對(duì)上述的問(wèn)題，我們認(rèn)為在完全信息的情形下引入一個(gè)聯(lián)邦的組織者即可以解決。這個(gè)聯(lián)邦組織者可以向每個(gè)模型的用戶收取一定的模型使用費(fèi)用。這個(gè)費(fèi)用相當(dāng)于用戶使用模型所獲得的收益。然后聯(lián)邦組織者再將收取的模型使用費(fèi)用轉(zhuǎn)化為聯(lián)邦的收入，按照A和B所貢獻(xiàn)的數(shù)據(jù)量比例將收益分配給A和B。在這種情形下，用戶A和用戶B的凈收益都會(huì)高于他們獨(dú)立建模的情形，因此這次合作是成功的。但這個(gè)機(jī)制發(fā)揮作用的前提是，聯(lián)邦組織者要非常精確地知道這個(gè)模型會(huì)給各個(gè)用戶帶來(lái)多少收益，也非常精確地知道A和B各自貢獻(xiàn)數(shù)據(jù)的成本、擁有的數(shù)據(jù)量。但現(xiàn)實(shí)操作中存在信息不對(duì)稱，聯(lián)邦組織者沒(méi)有辦法掌握這些私有信息，所以聯(lián)邦的參與者可能會(huì)通過(guò)謊報(bào)這些私有信息，和聯(lián)邦組織者討價(jià)還價(jià)，導(dǎo)致合作失敗。聯(lián)邦學(xué)習(xí)組織的參與者謊報(bào)Ta使用聯(lián)邦模型所獲得的收益，稱聯(lián)邦模型作用不大，只能帶來(lái)非常少的收益，所以只付非常少的錢使用這種模型。在這種情況下，聯(lián)邦的收入降低，可用于二次分配的收入也會(huì)很低，這樣會(huì)導(dǎo)致用戶A的收益再次低于獨(dú)立建模的情形，合作失敗。用戶高報(bào)貢獻(xiàn)數(shù)據(jù)的成本，跟組織者抱怨Ta的數(shù)據(jù)成本昂貴，要求組織者分配的收益務(wù)必要覆蓋Ta所付出的成本，不然不愿意參與組織者的聯(lián)邦學(xué)習(xí)。可是，如果聯(lián)邦組織者覆蓋一個(gè)用戶的成本，就必然導(dǎo)致對(duì)其他用戶的支付減少。這種情況會(huì)導(dǎo)致其他用戶參與聯(lián)邦的凈收益低于獨(dú)立建模的情形，合作再次失敗。參與方瞞報(bào)擁有的數(shù)據(jù)量。比如說(shuō)，A一方面使用自己所擁有的海量數(shù)據(jù)獨(dú)立建模，同時(shí)拿出小部分質(zhì)量差的數(shù)據(jù)給聯(lián)邦學(xué)習(xí)和用戶B去一起建一個(gè)聯(lián)邦模型。這時(shí)候聯(lián)邦模型的質(zhì)量還不如私有模型，所以不會(huì)很大地?fù)p害用戶A的市場(chǎng)占有率，A又通過(guò)參與聯(lián)邦學(xué)習(xí)，從聯(lián)邦獲得一定的貢獻(xiàn)數(shù)據(jù)的報(bào)酬。在這個(gè)策略下，用戶A的凈收益要高于Ta誠(chéng)實(shí)貢獻(xiàn)所有數(shù)據(jù)的情形，所以A有很大動(dòng)力去說(shuō)謊。這就要介紹博弈論的第二個(gè)概念：激勵(lì)相容。激勵(lì)相容約束是說(shuō)，每個(gè)用戶誠(chéng)實(shí)報(bào)告私有信息對(duì)Ta而言是最優(yōu)選擇。在這個(gè)情形下，用戶A的激勵(lì)相容約束是被打破的。由于用戶A說(shuō)謊，這時(shí)候用戶B參與聯(lián)邦學(xué)習(xí)的凈收益小于Ta獨(dú)立建模的情形，合作再次失敗。綜上所述，在聯(lián)邦學(xué)習(xí)中可能存在使用模型的收益、貢獻(xiàn)數(shù)據(jù)的成本以及參與者擁有的數(shù)據(jù)量的三重信息不對(duì)稱。這三重信息不對(duì)稱交織在一起，使得每個(gè)參與者追求個(gè)體利益最大化的結(jié)果是：集體利益受到損害，造成合作失敗。聯(lián)邦學(xué)習(xí)的激勵(lì)機(jī)制設(shè)置就是為了解決上述問(wèn)題。克服貢獻(xiàn)數(shù)據(jù)成本的信息不對(duì)稱有一個(gè)簡(jiǎn)單機(jī)制，就是允許用戶隨便報(bào)成本，但是如果你報(bào)的成本太高，我就不再使用你的數(shù)據(jù)。雖然我不用你的數(shù)據(jù)，但我還允許你使用我的模型，我會(huì)向你收取使用模型的費(fèi)用。假設(shè)B報(bào)告的成本非常高，聯(lián)邦就不用B的數(shù)據(jù)，從而也不需要向B支付覆蓋他成本的報(bào)酬。在這種情況下，B會(huì)發(fā)現(xiàn)，他不僅得不到額外的貢獻(xiàn)數(shù)據(jù)報(bào)酬，還需要支付模型使用費(fèi)，相當(dāng)于他的數(shù)據(jù)是沒(méi)辦法變現(xiàn)的，凈收益低于把數(shù)據(jù)貢獻(xiàn)出來(lái)的凈收益，那么B就沒(méi)有動(dòng)力去虛報(bào)成本。如上圖所示，A和B的凈收益隨著他們所報(bào)告的成本變化而變化。大家可以發(fā)現(xiàn)，無(wú)論B做了什么，A誠(chéng)實(shí)報(bào)告成本都是Ta最優(yōu)的策略。無(wú)論A做了什么，B誠(chéng)實(shí)報(bào)告成本也是Ta最優(yōu)的策略。在這個(gè)機(jī)制里，誠(chéng)實(shí)報(bào)告貢獻(xiàn)數(shù)據(jù)的成本形成了占優(yōu)策略均衡。在這種占優(yōu)策略均衡下，沒(méi)有任何用戶愿意偏離均衡情況，大家都會(huì)愿意誠(chéng)實(shí)報(bào)告成本。上面例子給我們的啟示是，我們可以通過(guò)挑選數(shù)據(jù)貢獻(xiàn)者、控制模型的使用，以及合理計(jì)算對(duì)聯(lián)邦學(xué)習(xí)參與方的支付，來(lái)實(shí)現(xiàn)聯(lián)邦集體利益的最大化。聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制的博弈論框架在這個(gè)啟示下，我們提出了研究聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制博弈論的理論框架。聯(lián)邦學(xué)習(xí)之激勵(lì)機(jī)制設(shè)計(jì)是為聯(lián)邦找到最優(yōu)的組織和支付結(jié)構(gòu)，從而實(shí)現(xiàn)一系列優(yōu)化目標(biāo)。組織結(jié)構(gòu)包括使用哪些數(shù)據(jù)提供者的數(shù)據(jù)和如何控制模型的使用，支付結(jié)構(gòu)指的是我們給每個(gè)參與方支付的金額。遵循經(jīng)濟(jì)學(xué)的傳統(tǒng)，我們畫出了聯(lián)邦學(xué)習(xí)經(jīng)濟(jì)資源循環(huán)流向圖（如下）：在聯(lián)邦學(xué)習(xí)中，模型使用者是否貢獻(xiàn)數(shù)據(jù)和是否使用模型應(yīng)該分開(kāi)。在這個(gè)模型中，供給側(cè)和需求側(cè)是分離的。一個(gè)數(shù)據(jù)提供者是否提供數(shù)據(jù)、提供多少數(shù)據(jù)，與Ta能否使用模型和使用模型需要支付多少費(fèi)用是無(wú)關(guān)的。在我們?cè)O(shè)計(jì)的框架下，聯(lián)邦學(xué)習(xí)的參與者可以是數(shù)據(jù)提供者，也可以是模型使用者，或者兩者兼具。在供給側(cè)，數(shù)據(jù)提供者提供數(shù)據(jù)，獲得報(bào)酬。在需求側(cè)，模型使用者使用模型，并支付一定的費(fèi)用。這時(shí)，數(shù)據(jù)提供者和模型使用者都會(huì)遵循Ta的個(gè)體利益最大化的原則去選擇策略。在供給側(cè)，數(shù)據(jù)提供者會(huì)選擇報(bào)告Ta所擁有的數(shù)據(jù)量以及貢獻(xiàn)數(shù)據(jù)的成本。在需求側(cè)，模型使用者會(huì)報(bào)告Ta使用模型得到的收益。在可以預(yù)期參與者上述行為邏輯的情況下，我們的聯(lián)邦學(xué)習(xí)組織者要決定四件事情：1、決定使用哪些數(shù)據(jù)提供者的數(shù)據(jù)，以及從每個(gè)數(shù)據(jù)提供者中使用多少數(shù)據(jù);2、計(jì)算給每個(gè)數(shù)據(jù)提供者的報(bào)酬;3、在需求側(cè)計(jì)算對(duì)不同模型使用者使用模型的權(quán)限控制;4、計(jì)算對(duì)每個(gè)模型使用者收取的費(fèi)用。對(duì)聯(lián)邦學(xué)習(xí)的組織者而言，經(jīng)濟(jì)激勵(lì)計(jì)算可以被設(shè)置成比較標(biāo)準(zhǔn)的計(jì)算機(jī)模塊。這個(gè)模塊的輸入是數(shù)據(jù)提供者報(bào)告擁有的數(shù)據(jù)量、數(shù)據(jù)提供者報(bào)告的成本類型以及模型使用者報(bào)告的價(jià)值類型。模塊的輸出是從每個(gè)數(shù)據(jù)提供者那接收的數(shù)據(jù)、給每個(gè)數(shù)據(jù)提供者提供的報(bào)酬、使用模型的權(quán)限，以及向每個(gè)模型使用者的收費(fèi)。在這樣的框架下，我們遵循激勵(lì)機(jī)制設(shè)計(jì)所需要的兩個(gè)準(zhǔn)則：
正如剛才所提到的，設(shè)計(jì)者面對(duì)的都是追求自身利益最大化的理性人。
設(shè)計(jì)者和理性人之間的信息是不對(duì)稱的。信息不對(duì)稱包括三種情形：1) Unaware，所謂的“黑天鵝事件”，完全不知道某件事會(huì)發(fā)生；2) Uncertain，知道某些事情有可能發(fā)生，不知道事情發(fā)生的概率；3) Unknown，知道事件發(fā)生的概率分布，但不知道具體發(fā)生了哪些事件。此外，我們基于聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制設(shè)計(jì)了一些假設(shè)：擬線性環(huán)境&基于貨幣的機(jī)制設(shè)計(jì)。我們假設(shè)每個(gè)參與者的效用關(guān)于其擁有的金錢是呈線性的。由于有這個(gè)假設(shè)，我們可以通過(guò)調(diào)節(jié)給不同參與者的支付貨幣來(lái)調(diào)節(jié)Ta的效用，激勵(lì)Ta。數(shù)據(jù)供給與模型需求分開(kāi)。存在外生資本市場(chǎng)。所以我們可以跨期調(diào)節(jié)聯(lián)邦學(xué)習(xí)的現(xiàn)金流，因?yàn)橐话愕穆?lián)邦學(xué)習(xí)項(xiàng)目開(kāi)始有巨大現(xiàn)金投入，之后才產(chǎn)生收入，投入和收入在時(shí)間上不一定匹配。在上述的假設(shè)下，我們優(yōu)化了如下的目標(biāo)：非常不幸的是，上述的目標(biāo)之間存在此消彼長(zhǎng)的平衡關(guān)系。所以在實(shí)際應(yīng)用中，我們往往只選擇其中最重要的幾個(gè)目標(biāo)進(jìn)行優(yōu)化。為了說(shuō)明聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制不是一個(gè)抽象的理論概念，我們簡(jiǎn)單介紹兩個(gè)具體的方案：方案一：位于需求側(cè)的Cremer-McLean機(jī)制它是一個(gè)非常著名的博弈論機(jī)制，在需求側(cè)可以最大化聯(lián)邦的收入。Cremer-McLean證明了如果不同模型使用者之間使用模型產(chǎn)生收益存在一定的相關(guān)性，那么我們就一定可以找到一種支付結(jié)構(gòu)使得聯(lián)邦的收入等于所有模型使用者使用模型的收益之和，從而使聯(lián)邦收入最大化?？墒亲裱瓊鹘y(tǒng)的Cremer-McLean的計(jì)算方法是非常昂貴的，所以我們可以通過(guò)用梯度下降算法最小化損失函數(shù)來(lái)求解Cremer-McLean機(jī)制，大大減少了計(jì)算復(fù)雜度。這個(gè)機(jī)制的目的主要是激勵(lì)供給側(cè)提供數(shù)據(jù)。PVCG機(jī)制在著名的VCG機(jī)制的基礎(chǔ)上加了一個(gè)調(diào)整項(xiàng)。VCG機(jī)制是一個(gè)曾經(jīng)獲得諾貝爾獎(jiǎng)的理論成果，可以保證誠(chéng)實(shí)報(bào)告參數(shù)，對(duì)每個(gè)參與者而言都是占優(yōu)策略。我們的貢獻(xiàn)是，通過(guò)優(yōu)化神經(jīng)網(wǎng)絡(luò)加入一個(gè)調(diào)整項(xiàng)之后，PVCG機(jī)制可以同時(shí)滿足個(gè)體理性、激勵(lì)相容、社會(huì)最優(yōu)以及預(yù)算均衡。關(guān)于聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制設(shè)計(jì)的更多內(nèi)容，請(qǐng)大家關(guān)注我們?cè)跅顝?qiáng)教授帶領(lǐng)下將于年底出版的新書《Federated Learning: Privacy and Incentive》。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
專題
