0
| 本文作者： 楊曉凡 | 2017-08-24 14:35 |
雷鋒網(wǎng) AI 科技評(píng)論按：近日，香港科技大學(xué)楊強(qiáng)教授團(tuán)隊(duì)發(fā)表了一篇關(guān)于遷移學(xué)習(xí)的論文。在論文中，他們提出了一種新穎的遷移學(xué)習(xí)范式 Learning to Transfer (L2T)，用系統(tǒng)化、自動(dòng)化的方法解決目前遷移學(xué)習(xí)中可選算法多、但實(shí)際應(yīng)用中難以找到最佳算法的問(wèn)題。
雷鋒網(wǎng) AI 科技評(píng)論對(duì)論文中方法的重點(diǎn)思想介紹如下，涉及具體公式及推導(dǎo)過(guò)程請(qǐng)參見(jiàn)原論文。
遷移學(xué)習(xí)（Transfer Learning）的想法來(lái)自于人類在不同的任務(wù)間轉(zhuǎn)換知識(shí)的能力，在機(jī)器學(xué)習(xí)領(lǐng)域使用遷移學(xué)習(xí)的目的是為了運(yùn)用現(xiàn)有領(lǐng)域內(nèi)的知識(shí)，提高模型在新的領(lǐng)域內(nèi)的表現(xiàn)，又或者訓(xùn)練一個(gè)用于新的領(lǐng)域的模型時(shí)減少所需要的標(biāo)記數(shù)據(jù)數(shù)目。在所能獲得的標(biāo)記數(shù)據(jù)有限的情況下，遷移學(xué)習(xí)有著重要的意義。
遷移學(xué)習(xí)研究的關(guān)鍵問(wèn)題是何時(shí)遷移、如何遷移和遷移什么。如果從現(xiàn)有領(lǐng)域進(jìn)行遷移之后能夠有助于新領(lǐng)域的表現(xiàn)，那么就適合遷移（“何時(shí)遷移”）；要遷移的對(duì)象是兩個(gè)領(lǐng)域內(nèi)共享的那部分知識(shí)（“遷移什么”）；算法發(fā)揮的作用就是找到這部分知識(shí)，然后進(jìn)行遷移（“如何遷移”）。不同的算法很可能會(huì)找到可遷移的知識(shí)里不同的部分，就會(huì)導(dǎo)致不同的遷移學(xué)習(xí)效果，在遷移學(xué)習(xí)完成后對(duì)表現(xiàn)進(jìn)行測(cè)量就能夠看到這些差別。
要達(dá)到源領(lǐng)域和目標(biāo)領(lǐng)域之間的最優(yōu)遷移效果，需要研究者們對(duì)基于實(shí)體、參數(shù)、特征的數(shù)百種遷移學(xué)習(xí)算法逐一嘗試。由于這樣暴力嘗試的代價(jià)過(guò)于高，實(shí)際中研究者往往只能在有限的嘗試中找到一個(gè)次優(yōu)的算法，而這樣的做法則需要對(duì)點(diǎn)對(duì)點(diǎn)遷移有相當(dāng)?shù)慕?jīng)驗(yàn)，思考方法也不系統(tǒng)。
楊強(qiáng)教授團(tuán)隊(duì)認(rèn)為，逐一嘗試現(xiàn)有的不同遷移學(xué)習(xí)算法不應(yīng)成為唯一一種確定要遷移哪些知識(shí)并提高遷移學(xué)習(xí)效果的方法。所以他們?cè)谡撐闹刑岢隽艘环N新的遷移學(xué)習(xí)范式，名為 Learning to Transfer（L2T）。受到人類能夠根據(jù)隨著經(jīng)驗(yàn)增加越來(lái)越輕松地判斷如何轉(zhuǎn)移知識(shí)的啟發(fā)，L2T 的核心思想就是利用以往的遷移學(xué)習(xí)經(jīng)驗(yàn)自動(dòng)決定在源領(lǐng)域和目標(biāo)領(lǐng)域之間如何遷移以及遷移什么，從而提高遷移學(xué)習(xí)的效果；其中對(duì)以往經(jīng)驗(yàn)的利用也是在所有遷移學(xué)習(xí)算法中首次出現(xiàn)。
為了達(dá)到這樣的目標(biāo)，L2T 的過(guò)程分為兩個(gè)階段。
第一個(gè)階段是“積累經(jīng)驗(yàn)”。首先，L2T 智能體進(jìn)行若干次遷移學(xué)習(xí)，并對(duì)這些遷移學(xué)習(xí)過(guò)程做記錄。每一次學(xué)習(xí)的記錄分成三部分：一對(duì)源領(lǐng)域 S 和目標(biāo)領(lǐng)域 T，參數(shù)化為共享潛特征因子（latent feature factor）格式的被遷移知識(shí) W，以及表現(xiàn)提升比 l（論文中定義這個(gè)值為有無(wú)遷移學(xué)習(xí)的狀況下表現(xiàn)之比，越高說(shuō)明遷移學(xué)習(xí)效果越好）。記錄格式類似這樣（S，T，W，l）。
接下來(lái) L2T 智能體就需要根據(jù)這些遷移經(jīng)驗(yàn)，學(xué)習(xí)如何遷移。這個(gè)過(guò)程是學(xué)習(xí)一個(gè)反射函數(shù) f =（S，T，W），函數(shù)值就是剛才的表現(xiàn)提升比 l 。這個(gè)反射函數(shù)的目標(biāo)就是通過(guò) S、T、W 預(yù)計(jì)表現(xiàn)提升比 l ，學(xué)到的反射函數(shù)內(nèi)部就隱含了元認(rèn)知遷移學(xué)習(xí)的技能，即遷移什么、如何遷移才能夠讓給定的源領(lǐng)域和目標(biāo)領(lǐng)域之間的表現(xiàn)提升比最高。源領(lǐng)域和目標(biāo)領(lǐng)域的特性也參與構(gòu)成了 f 的一部分。
第二階段就是真正進(jìn)行遷移。對(duì)于之后再提供的新的一對(duì)源領(lǐng)域和目標(biāo)領(lǐng)域和已經(jīng)學(xué)到的 f，L2T 智能體就可以通過(guò)求 f 最大值的方式找到最優(yōu)的遷移知識(shí)，以參數(shù)的形式體現(xiàn)在W中。遷移學(xué)習(xí)算法按照參數(shù)W執(zhí)行，就可以達(dá)到設(shè)定的遷移學(xué)習(xí)效果。
L2T 這種新穎的遷移學(xué)習(xí)范式為有效地遷移學(xué)習(xí)開(kāi)啟了新的大門。通過(guò)對(duì)以往的遷移學(xué)習(xí)經(jīng)驗(yàn)的利用，L2T 能夠以系統(tǒng)化、自動(dòng)化的方式在領(lǐng)域間發(fā)現(xiàn)更多的可遷移知識(shí)，而無(wú)需研究者自己具備豐富的經(jīng)驗(yàn)。
顯然，在這樣的范式下，反射函數(shù) f 具體形式的構(gòu)造是重中之重。目前作者們選定的 L2T 研究領(lǐng)域?yàn)獒槍?duì)一階潛特征因子的遷移學(xué)習(xí)，即源領(lǐng)域和目標(biāo)領(lǐng)域的特征空間相同，而標(biāo)簽不同。在構(gòu)造 f 的過(guò)程中，作者們討論并解決了以下幾個(gè)問(wèn)題。
把“學(xué)習(xí)什么”參數(shù)化：對(duì)所有算法中的要遷移的內(nèi)容做統(tǒng)一的參數(shù)化。這樣的潛特征因子的遷移學(xué)習(xí)的目標(biāo)就是學(xué)到不同領(lǐng)域間的與領(lǐng)域無(wú)關(guān)的特征因子。比如從識(shí)別狗遷移到識(shí)別貓，其中眼睛、嘴、尾巴等共有的特征就是不同領(lǐng)域間可以共享的特征因子。
從經(jīng)驗(yàn)學(xué)習(xí)：作者們認(rèn)為有兩個(gè)因素對(duì)表現(xiàn)提升比 l 有很大影響，在構(gòu)建 f 的時(shí)候這兩個(gè)方面都要考慮到。因素一是源領(lǐng)域和目標(biāo)領(lǐng)域在共享潛空間的區(qū)別。更小的區(qū)別就是更大的重疊空間，這意味著有更多的潛特征因子可供遷移，提升比例也會(huì)更高。
對(duì)于源領(lǐng)域和目標(biāo)領(lǐng)域在共享潛空間的區(qū)別，作者們首先用了最大平均差異（maximum mean discrepancy，MMD）來(lái)衡量。不過(guò)MMD的問(wèn)題是只能衡量?jī)蓚€(gè)空間的平均值之間的距離，而不足以衡量?jī)蓚€(gè)空間的區(qū)別大?。ㄈ缦聢D）；所以作者們考慮到這一點(diǎn)，也加入了空間分布的集中性的因素在公式中。
因素二是目標(biāo)領(lǐng)域在潛空間的鑒別能力。目標(biāo)領(lǐng)域在潛空間的鑒別能力越強(qiáng)，表現(xiàn)的提升也會(huì)越明顯。由于遷移學(xué)習(xí)的主要應(yīng)用場(chǎng)景就是在有標(biāo)簽數(shù)據(jù)不足時(shí)，所以作者們也就直接選擇基于無(wú)標(biāo)簽數(shù)據(jù)做計(jì)算。無(wú)標(biāo)簽數(shù)據(jù)的鑒別性可以從兩個(gè)方面評(píng)價(jià)：類似的實(shí)體在嵌入潛空間后也應(yīng)該距離相近；差別很大的實(shí)體在嵌入潛空間后也應(yīng)該距離較遠(yuǎn)。從而提出了鑒別性的評(píng)價(jià)公式。
這樣，明確了 f 的具體形式后，就可以先學(xué)習(xí)以往的若干次遷移學(xué)習(xí)經(jīng)驗(yàn)，然后根據(jù)學(xué)到的 f 求遷移方式（參數(shù)W）的最優(yōu)解。（相關(guān)公式參見(jiàn)論文原文）
由于不同領(lǐng)域內(nèi)的任務(wù)難度不同，不好直接對(duì)比，論文中選擇了繼續(xù)使用前文定義過(guò)的表現(xiàn)提升比 l（有無(wú)遷移學(xué)習(xí)的狀況下表現(xiàn)之比，越高說(shuō)明遷移學(xué)習(xí)效果越好），讓 L2T 與其它許多常用的遷移學(xué)習(xí)算法進(jìn)行了對(duì)比。
從上圖可以看到，當(dāng)目標(biāo)領(lǐng)域內(nèi)的有標(biāo)簽樣本數(shù)目很少的時(shí)候，L2T 的表現(xiàn)遙遙領(lǐng)先，這說(shuō)明 L2T 最為有效地遷移了兩個(gè)領(lǐng)域內(nèi)共有的知識(shí)，而且在樣本很多時(shí)依然保持著優(yōu)勢(shì)。
為了驗(yàn)證“從經(jīng)驗(yàn)學(xué)習(xí)”的有效性，作者們還設(shè)計(jì)了另一個(gè)實(shí)驗(yàn)。首先設(shè)定 L2T 要學(xué)習(xí)的遷移經(jīng)驗(yàn)數(shù)目是1000條，然后用不同的以往算法生成這1000條經(jīng)驗(yàn)供它學(xué)習(xí)，看看 L2T 的表現(xiàn)受經(jīng)驗(yàn)影響情況如何。結(jié)果如下表。（表中內(nèi)容有刪減，原表格參見(jiàn)論文原文）
可以看到，隨著使用的算法增多，L2T 的學(xué)習(xí)效果也越好（學(xué)到了更多情況，學(xué)到的反射函數(shù) f 更強(qiáng)，遷移學(xué)習(xí)得更有效）。而且即便只用一種現(xiàn)有算法為 L2T 生成經(jīng)驗(yàn)（ITL 與 DIP 兩行）時(shí)，L2T 的學(xué)習(xí)效果也有大幅度提高（3個(gè)標(biāo)記樣本時(shí)，ITL 和 DIP 本身的表現(xiàn)分別為 1.0188 和 1.0875）。這有力地說(shuō)明了“從經(jīng)驗(yàn)學(xué)習(xí)”的巨大作用。
論文地址：https://arxiv.org/abs/1708.05629
雷鋒網(wǎng) AI 科技評(píng)論編譯
相關(guān)文章：
華人第一位！楊強(qiáng)教授當(dāng)選 IJCAI 理事會(huì)主席
SIGKDD 三大核心獎(jiǎng)項(xiàng)出爐，裴健、楊強(qiáng)分獲創(chuàng)新獎(jiǎng)及杰出服務(wù)獎(jiǎng)
香港科技大學(xué)楊強(qiáng)教授：深度學(xué)習(xí)如何才能更靠譜？
香港科技大學(xué)楊強(qiáng)教授：AI學(xué)術(shù)的前沿工作，也要從工業(yè)界獲得靈感｜CCF－GAIR 2017
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
