0
| 本文作者： 楊曉凡 | 2017-08-24 14:35 |
雷鋒網(wǎng) AI 科技評論按：近日，香港科技大學(xué)楊強教授團隊發(fā)表了一篇關(guān)于遷移學(xué)習(xí)的論文。在論文中，他們提出了一種新穎的遷移學(xué)習(xí)范式 Learning to Transfer (L2T)，用系統(tǒng)化、自動化的方法解決目前遷移學(xué)習(xí)中可選算法多、但實際應(yīng)用中難以找到最佳算法的問題。
雷鋒網(wǎng) AI 科技評論對論文中方法的重點思想介紹如下，涉及具體公式及推導(dǎo)過程請參見原論文。
遷移學(xué)習(xí)（Transfer Learning）的想法來自于人類在不同的任務(wù)間轉(zhuǎn)換知識的能力，在機器學(xué)習(xí)領(lǐng)域使用遷移學(xué)習(xí)的目的是為了運用現(xiàn)有領(lǐng)域內(nèi)的知識，提高模型在新的領(lǐng)域內(nèi)的表現(xiàn)，又或者訓(xùn)練一個用于新的領(lǐng)域的模型時減少所需要的標(biāo)記數(shù)據(jù)數(shù)目。在所能獲得的標(biāo)記數(shù)據(jù)有限的情況下，遷移學(xué)習(xí)有著重要的意義。
遷移學(xué)習(xí)研究的關(guān)鍵問題是何時遷移、如何遷移和遷移什么。如果從現(xiàn)有領(lǐng)域進行遷移之后能夠有助于新領(lǐng)域的表現(xiàn)，那么就適合遷移（“何時遷移”）；要遷移的對象是兩個領(lǐng)域內(nèi)共享的那部分知識（“遷移什么”）；算法發(fā)揮的作用就是找到這部分知識，然后進行遷移（“如何遷移”）。不同的算法很可能會找到可遷移的知識里不同的部分，就會導(dǎo)致不同的遷移學(xué)習(xí)效果，在遷移學(xué)習(xí)完成后對表現(xiàn)進行測量就能夠看到這些差別。
要達到源領(lǐng)域和目標(biāo)領(lǐng)域之間的最優(yōu)遷移效果，需要研究者們對基于實體、參數(shù)、特征的數(shù)百種遷移學(xué)習(xí)算法逐一嘗試。由于這樣暴力嘗試的代價過于高，實際中研究者往往只能在有限的嘗試中找到一個次優(yōu)的算法，而這樣的做法則需要對點對點遷移有相當(dāng)?shù)慕?jīng)驗，思考方法也不系統(tǒng)。
楊強教授團隊認(rèn)為，逐一嘗試現(xiàn)有的不同遷移學(xué)習(xí)算法不應(yīng)成為唯一一種確定要遷移哪些知識并提高遷移學(xué)習(xí)效果的方法。所以他們在論文中提出了一種新的遷移學(xué)習(xí)范式，名為 Learning to Transfer（L2T）。受到人類能夠根據(jù)隨著經(jīng)驗增加越來越輕松地判斷如何轉(zhuǎn)移知識的啟發(fā)，L2T 的核心思想就是利用以往的遷移學(xué)習(xí)經(jīng)驗自動決定在源領(lǐng)域和目標(biāo)領(lǐng)域之間如何遷移以及遷移什么，從而提高遷移學(xué)習(xí)的效果；其中對以往經(jīng)驗的利用也是在所有遷移學(xué)習(xí)算法中首次出現(xiàn)。
為了達到這樣的目標(biāo)，L2T 的過程分為兩個階段。
第一個階段是“積累經(jīng)驗”。首先，L2T 智能體進行若干次遷移學(xué)習(xí)，并對這些遷移學(xué)習(xí)過程做記錄。每一次學(xué)習(xí)的記錄分成三部分：一對源領(lǐng)域 S 和目標(biāo)領(lǐng)域 T，參數(shù)化為共享潛特征因子（latent feature factor）格式的被遷移知識 W，以及表現(xiàn)提升比 l（論文中定義這個值為有無遷移學(xué)習(xí)的狀況下表現(xiàn)之比，越高說明遷移學(xué)習(xí)效果越好）。記錄格式類似這樣（S，T，W，l）。
接下來 L2T 智能體就需要根據(jù)這些遷移經(jīng)驗，學(xué)習(xí)如何遷移。這個過程是學(xué)習(xí)一個反射函數(shù) f =（S，T，W），函數(shù)值就是剛才的表現(xiàn)提升比 l 。這個反射函數(shù)的目標(biāo)就是通過 S、T、W 預(yù)計表現(xiàn)提升比 l ，學(xué)到的反射函數(shù)內(nèi)部就隱含了元認(rèn)知遷移學(xué)習(xí)的技能，即遷移什么、如何遷移才能夠讓給定的源領(lǐng)域和目標(biāo)領(lǐng)域之間的表現(xiàn)提升比最高。源領(lǐng)域和目標(biāo)領(lǐng)域的特性也參與構(gòu)成了 f 的一部分。
第二階段就是真正進行遷移。對于之后再提供的新的一對源領(lǐng)域和目標(biāo)領(lǐng)域和已經(jīng)學(xué)到的 f，L2T 智能體就可以通過求 f 最大值的方式找到最優(yōu)的遷移知識，以參數(shù)的形式體現(xiàn)在W中。遷移學(xué)習(xí)算法按照參數(shù)W執(zhí)行，就可以達到設(shè)定的遷移學(xué)習(xí)效果。
L2T 這種新穎的遷移學(xué)習(xí)范式為有效地遷移學(xué)習(xí)開啟了新的大門。通過對以往的遷移學(xué)習(xí)經(jīng)驗的利用，L2T 能夠以系統(tǒng)化、自動化的方式在領(lǐng)域間發(fā)現(xiàn)更多的可遷移知識，而無需研究者自己具備豐富的經(jīng)驗。
顯然，在這樣的范式下，反射函數(shù) f 具體形式的構(gòu)造是重中之重。目前作者們選定的 L2T 研究領(lǐng)域為針對一階潛特征因子的遷移學(xué)習(xí)，即源領(lǐng)域和目標(biāo)領(lǐng)域的特征空間相同，而標(biāo)簽不同。在構(gòu)造 f 的過程中，作者們討論并解決了以下幾個問題。
把“學(xué)習(xí)什么”參數(shù)化：對所有算法中的要遷移的內(nèi)容做統(tǒng)一的參數(shù)化。這樣的潛特征因子的遷移學(xué)習(xí)的目標(biāo)就是學(xué)到不同領(lǐng)域間的與領(lǐng)域無關(guān)的特征因子。比如從識別狗遷移到識別貓，其中眼睛、嘴、尾巴等共有的特征就是不同領(lǐng)域間可以共享的特征因子。
從經(jīng)驗學(xué)習(xí)：作者們認(rèn)為有兩個因素對表現(xiàn)提升比 l 有很大影響，在構(gòu)建 f 的時候這兩個方面都要考慮到。因素一是源領(lǐng)域和目標(biāo)領(lǐng)域在共享潛空間的區(qū)別。更小的區(qū)別就是更大的重疊空間，這意味著有更多的潛特征因子可供遷移，提升比例也會更高。
對于源領(lǐng)域和目標(biāo)領(lǐng)域在共享潛空間的區(qū)別，作者們首先用了最大平均差異（maximum mean discrepancy，MMD）來衡量。不過MMD的問題是只能衡量兩個空間的平均值之間的距離，而不足以衡量兩個空間的區(qū)別大?。ㄈ缦聢D）；所以作者們考慮到這一點，也加入了空間分布的集中性的因素在公式中。
因素二是目標(biāo)領(lǐng)域在潛空間的鑒別能力。目標(biāo)領(lǐng)域在潛空間的鑒別能力越強，表現(xiàn)的提升也會越明顯。由于遷移學(xué)習(xí)的主要應(yīng)用場景就是在有標(biāo)簽數(shù)據(jù)不足時，所以作者們也就直接選擇基于無標(biāo)簽數(shù)據(jù)做計算。無標(biāo)簽數(shù)據(jù)的鑒別性可以從兩個方面評價：類似的實體在嵌入潛空間后也應(yīng)該距離相近；差別很大的實體在嵌入潛空間后也應(yīng)該距離較遠(yuǎn)。從而提出了鑒別性的評價公式。
這樣，明確了 f 的具體形式后，就可以先學(xué)習(xí)以往的若干次遷移學(xué)習(xí)經(jīng)驗，然后根據(jù)學(xué)到的 f 求遷移方式（參數(shù)W）的最優(yōu)解。（相關(guān)公式參見論文原文）
由于不同領(lǐng)域內(nèi)的任務(wù)難度不同，不好直接對比，論文中選擇了繼續(xù)使用前文定義過的表現(xiàn)提升比 l（有無遷移學(xué)習(xí)的狀況下表現(xiàn)之比，越高說明遷移學(xué)習(xí)效果越好），讓 L2T 與其它許多常用的遷移學(xué)習(xí)算法進行了對比。
從上圖可以看到，當(dāng)目標(biāo)領(lǐng)域內(nèi)的有標(biāo)簽樣本數(shù)目很少的時候，L2T 的表現(xiàn)遙遙領(lǐng)先，這說明 L2T 最為有效地遷移了兩個領(lǐng)域內(nèi)共有的知識，而且在樣本很多時依然保持著優(yōu)勢。
為了驗證“從經(jīng)驗學(xué)習(xí)”的有效性，作者們還設(shè)計了另一個實驗。首先設(shè)定 L2T 要學(xué)習(xí)的遷移經(jīng)驗數(shù)目是1000條，然后用不同的以往算法生成這1000條經(jīng)驗供它學(xué)習(xí)，看看 L2T 的表現(xiàn)受經(jīng)驗影響情況如何。結(jié)果如下表。（表中內(nèi)容有刪減，原表格參見論文原文）
可以看到，隨著使用的算法增多，L2T 的學(xué)習(xí)效果也越好（學(xué)到了更多情況，學(xué)到的反射函數(shù) f 更強，遷移學(xué)習(xí)得更有效）。而且即便只用一種現(xiàn)有算法為 L2T 生成經(jīng)驗（ITL 與 DIP 兩行）時，L2T 的學(xué)習(xí)效果也有大幅度提高（3個標(biāo)記樣本時，ITL 和 DIP 本身的表現(xiàn)分別為 1.0188 和 1.0875）。這有力地說明了“從經(jīng)驗學(xué)習(xí)”的巨大作用。
論文地址：https://arxiv.org/abs/1708.05629
雷鋒網(wǎng) AI 科技評論編譯
相關(guān)文章：
華人第一位！楊強教授當(dāng)選 IJCAI 理事會主席
SIGKDD 三大核心獎項出爐，裴健、楊強分獲創(chuàng)新獎及杰出服務(wù)獎
香港科技大學(xué)楊強教授：深度學(xué)習(xí)如何才能更靠譜？
香港科技大學(xué)楊強教授：AI學(xué)術(shù)的前沿工作，也要從工業(yè)界獲得靈感｜CCF－GAIR 2017
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
