0
雷鋒網(wǎng)AI科技評論按：7月22-23日，第三屆中國人工智能大會（CCAI 2017）在杭州國際會議中心舉行。其中來自香港科技大學(xué)的計算機(jī)與工程系主任、AAAI Fellow楊強(qiáng)教授發(fā)表了《深度學(xué)習(xí)的遷移模型》主題報告。本文主要闡述了楊強(qiáng)教授在大會中所講的如何將遷移學(xué)習(xí)和深度學(xué)習(xí)相結(jié)合，使深度學(xué)習(xí)模型變得更加可靠，以及具體的實際應(yīng)用案例。
楊強(qiáng)教授從深度學(xué)習(xí)模型的共性問題談起，深度剖析如何使深度學(xué)習(xí)模型變得更加可靠，在數(shù)據(jù)變化的情況下，如何讓模型持續(xù)可用。報告談到，遷移學(xué)習(xí)有小數(shù)據(jù)、可靠性、個性化等優(yōu)點，雖然深度學(xué)習(xí)模型已在語音、圖像、推薦等眾多領(lǐng)域非常有影響力，但是在如醫(yī)療、教育等領(lǐng)域還無法運用，究其原因，主要存在這樣三點：遇到的數(shù)據(jù)往往都是小數(shù)據(jù)，而不是大數(shù)據(jù)；深度學(xué)習(xí)模型非常脆弱，稍微移動、離開現(xiàn)有場景，其效果便會大打折扣；再有就是應(yīng)用問題。由此，楊強(qiáng)教授與學(xué)生一起，將遷移學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合進(jìn)行了探索實踐，在現(xiàn)場通過解決大額消費金融的困境、跨領(lǐng)域輿情分析、互聯(lián)網(wǎng)汽車分類問題等多個實際應(yīng)用案例多角度地展示了遷移學(xué)習(xí)的深度模型所帶來的優(yōu)點。
可參考雷鋒網(wǎng)之前發(fā)表過的另一篇文章：關(guān)于遷移學(xué)習(xí)的本質(zhì)與實際應(yīng)用
以下內(nèi)容為楊強(qiáng)教授的大會現(xiàn)場實錄，雷鋒網(wǎng)做了不改動原意的整理編輯
大家好！今天很高興跟大家分享我和研究生同學(xué)在研究當(dāng)中的一些心得，總結(jié)起來叫深度學(xué)習(xí)的遷移模型。
首先講一下我們的出發(fā)點，我們知道AlphaGo很厲害，但是它還有哪些點不夠呢？它不會舉一反三。你讓它下一盤棋，它不會利用前面的知識來幫助自己很快地學(xué)習(xí)新的棋藝，更不會利用下棋的知識做一些其他事，比如說自動駕駛。我們?nèi)耸怯羞@個能力的，如何能夠賦予計算機(jī)做這件事，這就是我們研究的一條主線。
由此引入我們的研究方向就是遷移學(xué)習(xí)（Transfer Learning），我們知道人能很自然地做這件事，從自行車遷移到摩托車，生活中還有很多的例子。這也從某種程度上解釋了我們看到小孩子在學(xué)習(xí)中并不需要上千萬的正例和負(fù)例幫助他學(xué)習(xí)，他往往用很少的例子就能學(xué)會一個很復(fù)雜的概念。同時學(xué)術(shù)界、工業(yè)界現(xiàn)在也認(rèn)為遷移學(xué)習(xí)是下一個研究和應(yīng)用的重點。去年Andrew Ng（前百度公司首席科學(xué)家 吳恩達(dá)）就講了遷移學(xué)習(xí)下一步將被大量應(yīng)用。
為什么我們做遷移學(xué)習(xí)？我總結(jié)了三條原因：
小數(shù)據(jù)。我們生活當(dāng)中大量遇見的是小數(shù)據(jù)而不是大數(shù)據(jù)，當(dāng)數(shù)據(jù)很稀疏，看到不同的類別我們還是能在當(dāng)中做出很靠譜的模型。這并不是空穴來風(fēng)，而是之前我們有過很多大數(shù)據(jù)的經(jīng)驗可以去借鑒，站在大數(shù)據(jù)的巨人肩膀上，所以人工智能大量地應(yīng)用，遷移學(xué)習(xí)這種模式是必不可少的。
可靠性。即使我們有一個大數(shù)據(jù)模型，我們也很關(guān)心它的可靠性。把一個模型遷移到不同的領(lǐng)域，就會發(fā)現(xiàn)它的準(zhǔn)確率會大量下降，如何防止這一點，我們就需要模型本身具有自適應(yīng)的能力，能夠自帶遷移能力。
個性化。我們整個的社會，我們的應(yīng)用在向一個個性化的方向發(fā)展，有了云端，有了各種各樣的終端，終端的操作者都是我們個性化的人。那么我們讓一個模型、一個服務(wù)來適應(yīng)我們每個人的特性，遷移學(xué)習(xí)是必不可少的。
遷移學(xué)習(xí)的難點
遷移學(xué)習(xí)又是很難的，難在找出不變量。教育學(xué)有一個概念叫“學(xué)習(xí)遷移”，就是說如果一個學(xué)生學(xué)到了很靠譜的知識，怎樣檢測呢，就是看看他有沒有能力遷移到未來的場景，再學(xué)一門新課他就發(fā)現(xiàn)學(xué)得容易，但是這種學(xué)習(xí)遷移能力的傳輸又非常難。
再來看看怎樣找出不變量。在國內(nèi)和世界很多地方，駕駛員都是坐在左邊，但是去香港駕駛員就是在右邊，很多人不會開車了，就會出現(xiàn)危險，但是用遷移學(xué)習(xí)教你一招馬上可以開，而且很安全，就是找出一個不變量。這個不變量就是司機(jī)的位置總是靠路中間最近的，你就保持司機(jī)的位置離中線最近就可以了。
找出不變量很難，但是在其他的領(lǐng)域已經(jīng)大量出現(xiàn)。最近YannLeCun提出一個問題：機(jī)器學(xué)習(xí)的熱力學(xué)模型是什么？我的回答是遷移學(xué)習(xí)，把一個領(lǐng)域里面的知識、也就是“能量”，轉(zhuǎn)化到另外一個領(lǐng)域，這和熱力學(xué)把兩個物質(zhì)放在一起，然后研究熱是如何能量是如何在物質(zhì)間傳播的，是類似的概念。區(qū)別是，在我們這里的知識比物理里的能量復(fù)雜很多倍。所以這個問題在科學(xué)上也是有深遠(yuǎn)意義的。
如何實現(xiàn)遷移學(xué)習(xí)：深度學(xué)習(xí)+遷移學(xué)習(xí)
今天講的是如何實現(xiàn)遷移學(xué)習(xí)中的一個方面。從單層次來看一個東西，把一個領(lǐng)域里的模型和知識通過層次分解，就好比杭州有雷鋒塔，我們可以從一個古典的建筑發(fā)展到像雷鋒塔這樣有層次的建筑，一層一層分析，深度學(xué)習(xí)恰恰為我們提供了分層和層次。
下面我就仔細(xì)地描述一下，深度學(xué)習(xí)如果是從左到右，從輸入到輸出的變化過程，中間是有很多非線性地轉(zhuǎn)化，我們可以忽略不計，但是這些層次我們要遷移到新的領(lǐng)域的話，知識的遷移就相當(dāng)于參數(shù)的遷移，這些參數(shù)就是權(quán)重。
在這個里面我們可以看知識到底有多少可以從藍(lán)色到橘色的，從源領(lǐng)域到目標(biāo)領(lǐng)域，產(chǎn)生這樣的遷移，我們可以看到中間層有很多層參數(shù)可以共享。另外層次越高的話，可能它關(guān)心的高層的概念離得越遠(yuǎn)。我們關(guān)心的是領(lǐng)域之間的距離，我們能否把領(lǐng)域之間的距離刻畫出來，在深度學(xué)習(xí)的初創(chuàng)期，有很多啟發(fā)式的做法，其實很多概念是和遷移學(xué)習(xí)不謀而合的。
下面我們看看這樣一種分層的研究對遷移學(xué)習(xí)到底產(chǎn)生了什么樣的作用呢？我的學(xué)生魏穎就把最近的遷移學(xué)習(xí)和深度學(xué)習(xí)共同的工作畫了表，這里面的名詞像CNN、DDC都是最近發(fā)表的文章里面的系統(tǒng)名。橫軸是年代，從2011年到最近，縱軸是準(zhǔn)確率。左邊是我一些學(xué)生做的工作，把遷移學(xué)習(xí)在不同領(lǐng)域里面的子空間，它們共享的知識找到，但是沒有用到深度學(xué)習(xí)的概念，大概是2010年、2011年做的工作，叫TCA。 右邊上面角是DAN，是深度學(xué)習(xí)加上遷移學(xué)習(xí)。我們看到深度學(xué)習(xí)加上遷移學(xué)習(xí)準(zhǔn)確率大大提高，這不僅僅對理論有幫助，對工程的效率也是有幫助的。這里面用一個距離的表述，使用MMD發(fā)現(xiàn)兩個領(lǐng)域兩個數(shù)據(jù)集之間的距離，這個距離是在網(wǎng)絡(luò)的上層，從左到右，從下到上，更重要的是發(fā)現(xiàn)并且盡量減少這樣的距離。
大家可以看到固定住，從一個領(lǐng)域遷移到另外一個領(lǐng)域，在下層比較容易遷移，在上層我們就關(guān)心領(lǐng)域之間的距離。
也有人把這個工作系統(tǒng)地進(jìn)行了比較，我們可以看到代表遷移能力的紅色是逐層下降的，從左到右逐層加深，如果是以深度學(xué)習(xí)的模型，下層在圖像上比較容易遷移，在上層就不容易。我們在當(dāng)中也可以做各種各樣的演算和變化，比如說我們可以讓遷移過來的參數(shù)，讓它在之后的領(lǐng)域里面再得到重新的訓(xùn)練，這樣就會得到上面的這條線，我們這個線放得越寬遷移能力就會變得越強(qiáng)，如果兩個領(lǐng)域之間相差太大了，那么這個遷移是沒辦法進(jìn)行的，就像下面的這條藍(lán)線直線下降，這個能力就不行。
關(guān)于模型遷移，主要關(guān)心兩點。一是不同模型里面的一個層次，它的遷移量化。二是兩個領(lǐng)域的距離有沒有一個很好的衡量，這也為我們的研究提供了一個很好的指引方向，像這里幾條線就是更進(jìn)一步地說明我剛才表明的觀點，第一個是細(xì)微的調(diào)參，就是目標(biāo)領(lǐng)域幫助我們繼續(xù)調(diào)參是有幫助的。另外從上層到下層是通用到個體的一種演化，大家看這些曲線是下降的。另外我們關(guān)心兩個領(lǐng)域之間的距離。
下面我們就可以利用這個觀點，對于不同的知識遷移的場景進(jìn)行總結(jié)。
第一個是說我們在兩個領(lǐng)域完全都沒有標(biāo)注的，目標(biāo)和源數(shù)據(jù)都沒有標(biāo)注，這個時候我們就可以利用剛才的知識把下層固定住，直接遷移。在比較靠上層就可以放開，利用的方法是可以來減少兩個領(lǐng)域之間的距離，這個距離雖然我們沒有標(biāo)注，我們還是可以把它衡量出來的，就像用剛才MMD的方法。
還有一個方法是就用一個Loss描述，這也有所不同，比如說兩個領(lǐng)域之間的直接衡量，還有我們同時做兩件事，第一件事是說利用兩個領(lǐng)域之間的距離，我們要把這個距離盡量減少，同時我們讓每個領(lǐng)域自己能夠更好地表達(dá)它自己。
將這些概念加起來，就可以總結(jié)出三個不同的遷移方法。
基于差異的方法
在哪里做遷移的轉(zhuǎn)換、自適應(yīng)?？梢栽谀硞€層次來做，也可以在多個層次來做，如何來衡量兩個領(lǐng)域之間的距離，可以用鮮艷的這種概率、模型，也可以用聯(lián)合概率、模型，另外還可以將源領(lǐng)域的信息加進(jìn)來，建立一個更準(zhǔn)確的Loss。這都是圖像領(lǐng)域獲得的知識，那自然語言會不會有類似的方式呢？
下面一篇描述NLP的文章也證明了這一點，假設(shè)我們把自然語言的深度處理分成三個層次，即E、H、O，如果我們鎖定不變，而其他的層次有可能變化，也有可能不變化，這樣可以發(fā)現(xiàn)，先遷移，后微調(diào)的效果最好。還有，在目標(biāo)領(lǐng)域我們能夠讓它的再生后期做自適應(yīng)的學(xué)習(xí)，就是開鎖的這種，效果是最好的。
這個模型也可以發(fā)展到多模態(tài)，上面的源領(lǐng)域是圖像，下面的可以是文字，可以讓他們之間有一些層次可以分享。最后得到的系統(tǒng)就是既可以理解一個源領(lǐng)域，比如說圖像可以轉(zhuǎn)化為文字，又可以把文字轉(zhuǎn)化成圖像。另外還可以加入正則化，我們可以變化各種各樣的正則，使得靠上層的層次之間互相靠攏。
傳遞式遷移學(xué)習(xí)
有了剛才的這些層次概念，可以將遷移學(xué)習(xí)進(jìn)一步地發(fā)展，過去的遷移學(xué)習(xí)都是給一個源領(lǐng)域，一個目標(biāo)領(lǐng)域，從源到遷移目標(biāo)，現(xiàn)在我們可以多步遷移，從A到B，然后從B到C，就像石頭過河一樣的，這是我們最近做的工作，傳遞式的遷移學(xué)習(xí)。
傳遞式的遷移學(xué)習(xí)也可以利用深度學(xué)習(xí)的分層這個概念進(jìn)行。我們右邊這里有三類數(shù)據(jù)，有一個是源領(lǐng)域的數(shù)據(jù)，比如圖像，有一個是目標(biāo)領(lǐng)域的數(shù)據(jù)，比如說文字，中間有很多文字和圖像混雜在一起的領(lǐng)域。我們一個做法就是在中間領(lǐng)域挑一些樣本，讓它更好地幫助源領(lǐng)域遷移到目標(biāo)領(lǐng)域，這些就像中間石頭過河一樣的。
如何得到這個，在訓(xùn)練目標(biāo)模型的時候我們就有兩個數(shù)據(jù)，一個是不斷地檢測在目標(biāo)領(lǐng)域的分類效果，另外一個是不斷地嘗試新的樣本，這些樣本來自于中間領(lǐng)域和源領(lǐng)域，最后使整個不同的數(shù)據(jù)集之間形成一個新的數(shù)據(jù)集。
這樣的一個理念在應(yīng)用當(dāng)中也非常有用，這是斯坦福大學(xué)最近做的一項工作，是從一個圖像到衛(wèi)星圖像區(qū)分在非洲大陸上的貧困情況，最后就發(fā)現(xiàn)這種傳遞式的遷移方法效果確實和人為地去采樣、標(biāo)注效果差不多，一個是0.776，一個是0.761，而它中間人為的參與大大減少，因為它用了傳遞的過程。
生成對抗網(wǎng)絡(luò)GAN
還有一種最近比較火的思想就是叫生成對抗網(wǎng)絡(luò)GAN，它的思想來自兩個模型交互，一個是生成模型，可以生成樣板，就是右邊的G模塊，它一開始是非常粗糙的。還有是D模型，比較生成和真實的樣本，它可以告訴你有沒有被發(fā)現(xiàn)，你生成模型生成的樣本夠不夠好，經(jīng)過他們兩者之間的博弈，最后就產(chǎn)生了學(xué)習(xí)的躍進(jìn)，使得G和D兩者都得到了改進(jìn)。
很多學(xué)者也用這個方法來做遷移學(xué)習(xí)，比如說給兩個數(shù)據(jù)集，我們一開始并沒有一個數(shù)據(jù)，并不知道這個包對應(yīng)這個鞋，系統(tǒng)通過深度網(wǎng)絡(luò)，可以把這個Alignment模型生成出來，根據(jù)這個模型找到一個最匹配的鞋的模型，而且是完全生成的，在原數(shù)據(jù)，鞋的數(shù)據(jù)集是沒有的，就像右邊這里展示的。這種也是遷移學(xué)習(xí)的概念。
CycleGAN的思想也非常有趣，一個源領(lǐng)域可以遷移到一個目標(biāo)領(lǐng)域的話，我們同樣也應(yīng)該讓一個目標(biāo)領(lǐng)域的數(shù)據(jù)、知識遷移到源領(lǐng)域。如果是回來的話，如果還能返回原來的樣本，那么就是說明遷移已經(jīng)學(xué)得靠譜了。就像我們拿一首唐詩到機(jī)器翻譯的軟件翻譯成英文，然后再拿同樣的軟件再翻譯回中文，我們大家知道往往得到像亂碼一樣的東西，完全回不到原來的一首詩，如果能夠回到原來的詩，那翻譯就靠譜了，概念也是類似的。
GAN的模型確實帶來了遷移的新意，讓兩個領(lǐng)域同時做兩件事，這個圖表示做的兩件事。綠色部分是兩者共享的深度學(xué)習(xí)的層次空間。我們?nèi)绾握业竭@樣的層次呢？就依靠第二件事，就是我們盡量地找到一個區(qū)分領(lǐng)域的模型，我們有源領(lǐng)域A和目標(biāo)領(lǐng)域B，如果有一天模型發(fā)展到我們區(qū)分不了數(shù)據(jù)來自于哪個模型，那就說明共享的模型靠譜了，它就是抓住了兩個領(lǐng)域之間的不變量，那就回到了左右開車的場景，那個不變量就找到了，這就可以用這部分做遷移了。最后得到的領(lǐng)域，準(zhǔn)確率最高的就是通過剛才的模型得到的。
遷移學(xué)習(xí)應(yīng)用案例
下面說一下我和我學(xué)生一起做的遷移學(xué)習(xí)的工作，尤其是跟深度學(xué)習(xí)結(jié)合。一個叫戴文淵的學(xué)生，在第四范式這個公司做的工作就很有意義，他們?yōu)殂y行做一個大額產(chǎn)品的營銷，比如說車貸，比較貴的車貸的樣本非常少，少于一百個，這么少的數(shù)據(jù)是沒辦法建模型的，怎么辦？去借助小微貸款的數(shù)據(jù)，比如說上億的客戶的交流，然后發(fā)現(xiàn)兩個領(lǐng)域，一個是小微貸款，一個是大額貸款，他們之間的共性，把這個模型遷移過來，這就使得它的響應(yīng)率提高了2倍以上。
另外是我們要去發(fā)表的一篇文章，做輿情分析。我們知道輿情分析是非常有用的，不管是在商業(yè)上還是在政府的服務(wù)上，大家都希望了解那么多的留言，是正向還是負(fù)向的？為什么是這樣的？對哪些產(chǎn)品有興趣？大家對哪個服務(wù)滿意等。我這里給出兩個不同的領(lǐng)域，如果我們在一個領(lǐng)域已經(jīng)有像最左邊這里給出的標(biāo)注，比如說Great，這就是一個贊，說這個是Owfulbook，就給出一個差。我們的問題是能否借助相同領(lǐng)域的數(shù)據(jù)來減少我們的分量，使得我們建立一個靠譜的模型，在新的領(lǐng)域、目標(biāo)領(lǐng)域。這是一個非常好的遷移學(xué)習(xí)的場景。
但是過去做遷移工作的時候，需要有一個概念叫Pivot，兩個領(lǐng)域之間共享的關(guān)鍵詞，這個關(guān)鍵詞對于指出這個是正向和負(fù)向也是非常有用的，像Great這個詞，Boring和Awful，以前完全是靠人找到這兩個詞，我們知道這是不靠譜的。
我們通過遷移學(xué)習(xí)把這個詞找出來，在這里用的工具是Adversarial模型，在一堆摹本里面找出關(guān)注量比較大的詞和詞組，有了這一Adversarial模型，我們就可以自動打分，我們打的分?jǐn)?shù)是否靠譜，可以用另外一個Domain Label的詞告訴我們，什么樣的詞才有這樣的特性呢？首先兩個領(lǐng)域共享，能夠幫助我們在新領(lǐng)域共同地指出輿情的趨向。同時希望模型越少越好，就是這三件事翻譯成目標(biāo)函數(shù)里面，就能建立模型。左邊是輿情的Classifier，右邊是領(lǐng)域的，我們同時希望領(lǐng)域的混淆度越大越好，同時我們希望Sentiment（輿情）的準(zhǔn)確率越高越好，這兩個之間形成博弈，就形成了GAN（生成網(wǎng)絡(luò)）的概念，另外是多任務(wù)學(xué)習(xí)，就是兩個任務(wù)共同進(jìn)行，共同有一些共享。
最后我們在正確設(shè)定了一些距離函數(shù)和Loss以后，就可以學(xué)出來，效果非常好。
最后一個應(yīng)用是和上海汽車做的研究，汽車在跑的時候能否根據(jù)它的路況分析車到底做什么？是共享還是私用的？我們很榮幸得到了一些數(shù)據(jù)，在這些數(shù)據(jù)里面我們可以同時進(jìn)行兩種分析，一種是圖像分析，雖然我們本領(lǐng)域沒有太多的標(biāo)注數(shù)據(jù)，但是可以借用出租車來學(xué)習(xí)。左邊的是同時做兩個任務(wù)的學(xué)習(xí)，第一個是根據(jù)現(xiàn)在出租車的數(shù)據(jù)，來幫助我們標(biāo)注互聯(lián)網(wǎng)汽車的數(shù)據(jù)，但是這個當(dāng)中可能會有錯誤，所以我們在本領(lǐng)域可以用一些圖像分析來矯正這些錯誤，校正完再拿回來拓展這樣的一個樣本集。在這兩個之間進(jìn)行多次往返以后，我們就會得到一個很靠譜的模型，最后這樣的一個算法我們就可以得到一個很不錯的遷移效果。
最后總結(jié)一下，遷移學(xué)習(xí)和深度學(xué)習(xí)可以非常有機(jī)地結(jié)合，兩個是可以互補(bǔ)的，深度學(xué)習(xí)幫助我們分非常細(xì)地層次，每一層我們可以進(jìn)行量化的分析，遷移學(xué)習(xí)可以幫助深度學(xué)習(xí)變得更加靠譜，得到的一個結(jié)果就是深度學(xué)習(xí)的遷移模型，同時也應(yīng)該說是遷移學(xué)習(xí)的一個深度模型。
參考閱讀 楊強(qiáng)：遷移學(xué)習(xí)的本質(zhì)與實際應(yīng)用
雷鋒網(wǎng)整理編輯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
