0
| 本文作者： 蔣寶尚 | 2020-01-18 11:52 |
雷鋒網(wǎng)消息：據(jù)南大周志華微博，微眾銀行首席人工智能官楊強(qiáng)教授擔(dān)任國際人工智能大會(huì)AAAI 2021大會(huì)主席。楊強(qiáng)教授的此次任職亦是AAAI大會(huì)歷史上第二位大會(huì)主席，同時(shí)屬華人首次。
周志華教授在微博中提到，2020年前AAAI僅設(shè)程序委員會(huì)主席（Program Committe e chair），沒有大會(huì)主席（ General chair）。由于近來投稿量劇增，為了使程序委員會(huì)主席能把精力集中在稿件學(xué)術(shù)質(zhì)量把控上，2020年起才開始設(shè)置大會(huì)主席。
楊強(qiáng)教授是人工智能業(yè)界的國際專家，在學(xué)術(shù)界和工業(yè)界做出了許多貢獻(xiàn)，尤其近些年為中國人工智能和數(shù)據(jù)挖掘的發(fā)展做出了重要的貢獻(xiàn)。楊強(qiáng)教授是國際人工智能界“遷移學(xué)習(xí)”（transfer learning）領(lǐng)域的發(fā)起人和帶頭人，同時(shí)也是國際“聯(lián)邦學(xué)習(xí)”（Federated Learning）的發(fā)起人之一及帶頭人。
他于2013年7月當(dāng)選為AAAI Fellow，這也使他成為第一位獲此殊榮的華人；之后又于2016年5月當(dāng)選為AAAI執(zhí)行委員會(huì)委員，是首位AAAI華人執(zhí)委，2017年8月當(dāng)選為國際人工智能聯(lián)合會(huì)（IJCAI）理事會(huì)主席，是第一位擔(dān)任IJCAI理事會(huì)主席的華人科學(xué)家。
由此可見，擔(dān)任 AAAI 2021 大會(huì)主席，也是順理成章之事。
比較巧合的是，不久之前，雷鋒網(wǎng) AI 科技評(píng)論恰好聆聽了楊強(qiáng)教授做的一場報(bào)告。1月11日，在《清華-中國工程院知識(shí)智能聯(lián)合研究中心年會(huì)暨認(rèn)知智能高峰論壇》上，楊強(qiáng)教授做了《機(jī)器學(xué)習(xí)的幾個(gè)前沿問題》的報(bào)告，針對(duì)人工智能算法方面的限制，在機(jī)器學(xué)習(xí)層面對(duì)幾個(gè)前沿問題做了總結(jié)。在報(bào)告中，楊教授指出，在機(jī)器學(xué)習(xí)流程中的大多數(shù)環(huán)節(jié)都可以進(jìn)行自動(dòng)化設(shè)計(jì)；面對(duì)小數(shù)據(jù)集的困境，遷移學(xué)習(xí)是很好的解決方案；在隱私保護(hù)越來越重視的今天，聯(lián)邦學(xué)習(xí)可以實(shí)現(xiàn)利用多方數(shù)據(jù)進(jìn)行訓(xùn)練，還能夠很好的保護(hù)每一方的數(shù)據(jù)隱私。
AI 科技評(píng)論藉此機(jī)會(huì)，將楊強(qiáng)教授的觀點(diǎn)分享給大家，如下——雷鋒網(wǎng) AI科技評(píng)論做了有刪改的整理，未經(jīng)楊強(qiáng)教授本人確認(rèn)。
雖然人工智能現(xiàn)在發(fā)展的非常火熱，但是人工智能面臨巨大的挑戰(zhàn)，首先是人才的挑戰(zhàn)，培養(yǎng)一個(gè)人工智能的人才，包括在學(xué)校里的培養(yǎng)，在實(shí)踐當(dāng)中培養(yǎng)，前后加起來需要耗費(fèi)近十年的時(shí)間。那么人工智能技術(shù)本身是不是可以用來設(shè)計(jì)人工智能？在人工智能的具體應(yīng)用環(huán)節(jié)，有的環(huán)節(jié)是否能夠讓人工智能來進(jìn)行？換句話說，AI的算法是不是可以自動(dòng)化的進(jìn)行設(shè)計(jì)？要解決這個(gè)問題需要全面考慮AI算法，尤其是機(jī)器學(xué)習(xí)算法整個(gè)流程的每個(gè)環(huán)節(jié)，哪個(gè)環(huán)節(jié)適宜用自動(dòng)化，哪個(gè)環(huán)節(jié)不能用自動(dòng)化。
機(jī)器學(xué)習(xí)的整個(gè)流程包括問題的定義、收集數(shù)據(jù)、建立特征工程、模型的訓(xùn)練和測試、應(yīng)用，最后再將應(yīng)用的結(jié)果反饋到第一步。所以這個(gè)循環(huán)的過程非常繁雜，有很多的環(huán)節(jié)需要人工智能的專家，這也是為什么一個(gè)人工智能落地的項(xiàng)目非常昂貴的原因。所以哪個(gè)步驟可以用自動(dòng)化來解決？例如從定義問題出發(fā)，定義問題不僅僅是從過去知識(shí)學(xué)習(xí)的問題，還能夠有意識(shí)的提出新穎的想法，甚至有些想法沒有過去的經(jīng)驗(yàn)可參考。
因此我們斷定在定義問題的環(huán)節(jié)很難引入自動(dòng)化，但是后面的環(huán)節(jié)，例如數(shù)據(jù)的收集、數(shù)據(jù)聚合，然后形成特征工程，包括模型的訓(xùn)練其實(shí)都是可以自動(dòng)化。
在數(shù)學(xué)模型的概念上，機(jī)器學(xué)習(xí)目的在于使訓(xùn)練數(shù)據(jù)和模型之間的差別變得越來越小，整個(gè)過程是一個(gè)優(yōu)化的過程，也是一個(gè)概率的過程。我們?cè)趯ふ夷Ｐ偷臅r(shí)候，實(shí)際上是在配置的參數(shù)空間里面尋找。但是參數(shù)的數(shù)量，尤其是在深度學(xué)習(xí)里面的參數(shù)數(shù)量非常多，維度可以達(dá)到上億。這些參數(shù)一般是機(jī)器學(xué)習(xí)專家來調(diào)節(jié)，那么如果使用機(jī)器，效果是不是更好？
第二個(gè)環(huán)節(jié)，是性能的評(píng)估，即評(píng)估模型和訓(xùn)練數(shù)據(jù)差別，這個(gè)環(huán)節(jié)也可以部分的由機(jī)器來解決，雖然這個(gè)差別本身的定義還是由人來解決，即由數(shù)學(xué)家來定義一個(gè)模型和訓(xùn)練數(shù)據(jù)之間到底有多大的差別。所以，最近的一些分析，人工智能的基礎(chǔ)是不是應(yīng)該是數(shù)學(xué)，就體現(xiàn)在：數(shù)學(xué)家對(duì)距離的定義，即各種各樣的在不同的空間，轉(zhuǎn)化空間之間的距離的定義。那么如何高效的求解，在這個(gè)空間里面找到最佳的配置是一個(gè)優(yōu)化的問題，所以總結(jié)起來為：數(shù)據(jù)的預(yù)處理、特征處理和模型訓(xùn)練。這幾個(gè)方面都可以形成一些搜索空間，可以在這樣的空間里面形成優(yōu)化函數(shù)，例如上圖左邊是三個(gè)空間，那么在這三個(gè)空間就包括在右邊的那個(gè)性能的空間里面。
自動(dòng)化的特征工程已經(jīng)有非常好的平臺(tái)，例如第四范式公司推出了AutoCross平臺(tái)，他會(huì)把不同維度的特征自動(dòng)的組合篩選，最后推出最優(yōu)化的組合。同時(shí)現(xiàn)在比較困難的是在自動(dòng)化機(jī)器學(xué)習(xí)里如何找到一個(gè)最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，這也是拓?fù)淇臻g的搜索問題。
上圖的右上角展現(xiàn)的是一個(gè)深度學(xué)習(xí)的拓?fù)浣Y(jié)構(gòu)，也即從一個(gè)神經(jīng)元到另外一個(gè)神經(jīng)元之間的連接，這種連接千變?nèi)f化，而且影響是巨大。那么如何找到一個(gè)最佳的拓?fù)浣Y(jié)構(gòu)？這是比較難的問題，這個(gè)問題現(xiàn)在也在嘗試自動(dòng)化的方式解決，具體來說是引用了強(qiáng)化學(xué)習(xí)的概念，如上圖左側(cè)所示。首先在深度學(xué)習(xí)的過程中，右邊展示的是如何不斷地尋找一個(gè)更好的配值，即網(wǎng)絡(luò)拓?fù)淇臻g的一個(gè)配值參數(shù)，然后再返回到設(shè)計(jì)，由此得到反饋。這就像AlphaGo下棋一樣，不同的是把棋盤定義成網(wǎng)絡(luò)的連接。
現(xiàn)有深度學(xué)習(xí)的各種各樣的算法，都有一個(gè)重要的假設(shè)：存在足夠的數(shù)據(jù)。如果數(shù)據(jù)不夠，可以用遷移學(xué)習(xí)來解決。
具體方法是：先看上圖紅色模型，假設(shè)我們要訓(xùn)練的模型是上圖這種目標(biāo)模型，需要很多的數(shù)據(jù)。如果假設(shè)數(shù)據(jù)有限，就需要在上圖左側(cè)尋找藍(lán)色領(lǐng)域，藍(lán)色區(qū)域的特點(diǎn)為：具有大量的數(shù)據(jù)、有非?？煽康哪Ｐ?、模型效果非常好。那么遷移學(xué)習(xí)是：從上圖藍(lán)色成熟的模型遷移到紅色領(lǐng)域。這類似于人類的類比學(xué)習(xí)，舉一反三。
結(jié)果是：如果原數(shù)據(jù)量非常巨大，把它遷移到一個(gè)小數(shù)據(jù)，效果會(huì)很好。而且當(dāng)原數(shù)據(jù)的數(shù)據(jù)數(shù)量和數(shù)據(jù)質(zhì)量不斷提高的時(shí)候，遷移學(xué)習(xí)的效果也是不斷提高。那么就可以把其落地到一個(gè)深度學(xué)習(xí)的遷移學(xué)習(xí)上。在上圖中紅色可以遷移到藍(lán)色，紅色已經(jīng)有一個(gè)從左到右的流程，從左邊是輸入，右邊是輸出，已經(jīng)可以達(dá)到很好的分類。
但是和領(lǐng)域特別相關(guān)，特別具體的部分，則存在于深度模型的上端，也就是在右邊輸出的那一部分，那部分盡量的讓它不要參與遷移。這便涉及到遷移策略，類似于退火模型。隨著時(shí)間，我們把這個(gè)遷移的重點(diǎn)逐漸推向底層，那么這樣就使得下面的這個(gè)藍(lán)色的模型的遷移效果變得越來越好，
這種遷移方式現(xiàn)在也在業(yè)界大量的實(shí)施，例如汽車金融的風(fēng)險(xiǎn)控制上，大額的汽車貸款往往是很少的，那么就需要遷移學(xué)習(xí)的解決方案，具體做法是是通過小額貸款，大量數(shù)據(jù)，通過在兩個(gè)數(shù)據(jù)之間遷移得到很好的效果。
例如城市計(jì)算，假設(shè)在一個(gè)城市已經(jīng)獲得了很好的交通出行的預(yù)測模型，那么可以把它遷移到一個(gè)新的城市，那么在這個(gè)新的城市不用收集很多的數(shù)據(jù)，就可以獲得很好的結(jié)果。上面提到的自動(dòng)化的遷移學(xué)習(xí)，就是用機(jī)器學(xué)習(xí)來學(xué)習(xí)遷移學(xué)習(xí)的策略。策略的要點(diǎn)是：對(duì)原領(lǐng)域的選擇，對(duì)遷移學(xué)習(xí)算法的選擇。那么在右邊的優(yōu)化空間里面再找最佳的優(yōu)化解，把這個(gè)問題變成數(shù)學(xué)的問題，然后便可解決。
越來越多的聲音告訴我們，在做人工智能的時(shí)候也要做有道德的人工智能。首先一定要保護(hù)人的利益，人的利益最大體現(xiàn)就是隱私。大數(shù)據(jù)一方面可以提高效率，另一方面會(huì)涉及到很多人的隱私?，F(xiàn)在各種法律法規(guī)也頻繁出現(xiàn)，例如歐洲的GDPR的保護(hù)法，中國也有相應(yīng)非常嚴(yán)格的個(gè)人隱私保護(hù)法，并且遍布在游戲、金融、互聯(lián)網(wǎng)各個(gè)方面。過去的情況是：不同的機(jī)構(gòu)把數(shù)據(jù)聚合到一個(gè)大數(shù)據(jù)公司，同時(shí)發(fā)揮大數(shù)據(jù)公司的力量，從而有足夠的樣本和維度；缺點(diǎn)是會(huì)暴露隱私。
現(xiàn)在有沒有別的辦法把模型高質(zhì)量的建立起來呢？聯(lián)邦學(xué)習(xí)（Federated learning）是一種新的做法。意思是：假設(shè)有兩個(gè)數(shù)據(jù)擁有方，A方和B方，A方是上面的矩陣，B方是下面的這個(gè)矩陣，他們之間可能有數(shù)據(jù)上的重疊?，F(xiàn)在的目的是讓A方看不到B方，B方也看不到A方，同時(shí)要建立一個(gè)共有的模型，這個(gè)模型把兩方的數(shù)據(jù)都用上。舉例來說：假設(shè)一個(gè)農(nóng)夫在養(yǎng)一只羊，他需要把各地的草收集到農(nóng)莊來喂羊，類似于把數(shù)據(jù)聚合到中心服務(wù)器。但是假設(shè)草不能移動(dòng)到外地，現(xiàn)在能做的是領(lǐng)著羊到各地吃草。也就是讓模型先到A方來加以訓(xùn)練，再把模型帶到B方加以訓(xùn)練，幾次之后，模型就壯大了，而數(shù)據(jù)不用流出本地，這就是聯(lián)邦學(xué)習(xí)的思想。
聯(lián)邦學(xué)習(xí)需要很多計(jì)算機(jī)領(lǐng)域的跨領(lǐng)域的知識(shí)，例如多方計(jì)算、隱私加密、加密技術(shù)、數(shù)學(xué)、分布式的機(jī)器學(xué)習(xí)、分布式計(jì)算。具體怎么做呢？例如要在兩個(gè)領(lǐng)域之間做遷移學(xué)習(xí)模型，從A遷移到B，不讓A看到B的數(shù)據(jù)的同時(shí)不讓B看到A的數(shù)據(jù)。這可以以通過邏輯回歸的辦法，把數(shù)據(jù)的參數(shù)、權(quán)重等等進(jìn)行加密，然后把加密的包給運(yùn)到B，然后加密包會(huì)參與到B端的模型訓(xùn)練，然后再把模型加密運(yùn)到A，如此循環(huán)往復(fù)多次之，模型也成熟了。上述過程有兩點(diǎn)：第一沒有泄露任何一方面的數(shù)據(jù)，第二個(gè)達(dá)到的效果和用兩邊數(shù)據(jù)之和訓(xùn)練出來的是一樣的。
電商和視頻里大量使用的推薦系統(tǒng)會(huì)產(chǎn)生大量的數(shù)據(jù)，不同的推薦方擁有的數(shù)據(jù)不同，為了保護(hù)隱私，不能粗暴的把所有的手機(jī)點(diǎn)擊產(chǎn)生的數(shù)據(jù)上傳，所以要采用聯(lián)邦學(xué)習(xí)的做法。具體做法如下：
首先認(rèn)識(shí)到數(shù)據(jù)有兩個(gè)部分，一部分是描述用戶，就是上圖右側(cè)U1~UN。另一部分是對(duì)產(chǎn)品的描述，用線性代數(shù)里面的矩陣描述。對(duì)矩陣分解以后，然后認(rèn)識(shí)到雖然有不同的用戶，但是產(chǎn)品本身矩陣是共有的，這個(gè)矩陣可以用聯(lián)邦邦學(xué)習(xí)來學(xué)習(xí)。具體學(xué)習(xí)過程是：
每一部分在迭代的過程中，都在貢獻(xiàn)自己學(xué)到的那一部分的特征值，然后把它傳到服務(wù)器上，在這里面要特別關(guān)注的是上圖右邊紅色加密步驟：在上傳和下傳時(shí)用模塊加密，同時(shí)包裝產(chǎn)品矩陣的參數(shù)包，使每一方都相互看不到彼此的數(shù)據(jù)，同時(shí)模型不斷壯大。
同時(shí)可以把此過程遷移學(xué)習(xí)化，即兩個(gè)數(shù)據(jù)方的用戶和參數(shù)的維度都重疊很少的情況下，可以退一步把其映射到一個(gè)子空間來進(jìn)行學(xué)習(xí)，如此便可得到很魯棒的學(xué)習(xí)效果。在具體的電影推薦數(shù)據(jù)集實(shí)踐結(jié)果如上圖所示，右邊代表錯(cuò)誤率，錯(cuò)誤率隨著訓(xùn)練的次數(shù)急劇的下降。
同時(shí)在新聞推薦方面，在財(cái)新的新聞推薦中使用的就是聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)的推薦引擎。如今此項(xiàng)技術(shù)已經(jīng)開源，并放在了Linux Foundation上，而且最近已經(jīng)有所突破。
金融機(jī)構(gòu)AI的落地應(yīng)用特別關(guān)心的一個(gè)議題是如何做到反欺詐。人工智能的發(fā)展有一種技術(shù)：Deepfake，可以來模擬一個(gè)完全虛擬的人，虛擬和真實(shí)的之間不僅人看不出，現(xiàn)在很多人工智能算法也不能區(qū)分。
當(dāng)前AI造假主要集中于以下幾點(diǎn)：第一個(gè)是對(duì)數(shù)據(jù)的造假；第二是對(duì)模型的造假；第三是對(duì)結(jié)果的造假。針對(duì)上面三個(gè)方面，研究者們展開了針對(duì)性的研究，例如對(duì)于訓(xùn)練的過程，在考慮原本訓(xùn)練目標(biāo)的基礎(chǔ)上，同時(shí)考慮加入對(duì)抗的樣本，來增強(qiáng)模型的魯棒性。不僅要考慮一個(gè)模型，而且我們要考慮多個(gè)模型，從不同的角度來對(duì)樣本進(jìn)行分類。假設(shè)壞人用了兩個(gè)模型，我們要用四個(gè)模型，假設(shè)壞人也學(xué)會(huì)用四個(gè)模型，我們就要用八個(gè)模型。
最后總結(jié)一下，人工智能的成功方面在于：第一能把一個(gè)環(huán)節(jié)給自動(dòng)化，例如剛開始講的自動(dòng)化機(jī)器學(xué)習(xí)。第二分布式的大數(shù)據(jù)，即怎樣能夠在保護(hù)隱私的前提下，讓不同的數(shù)據(jù)擁有方合作。第三則是高性能計(jì)算能力的提升，這一點(diǎn)我沒有太多研究，清華在這方面做了非常多的研究，我就不再贅述。謝謝大家！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
