0
| 本文作者： 楊曉凡 | 2017-08-24 14:35 |
雷鋒網(wǎng) AI 科技評論按：近日，香港科技大學楊強教授團隊發(fā)表了一篇關于遷移學習的論文。在論文中，他們提出了一種新穎的遷移學習范式 Learning to Transfer (L2T)，用系統(tǒng)化、自動化的方法解決目前遷移學習中可選算法多、但實際應用中難以找到最佳算法的問題。
雷鋒網(wǎng) AI 科技評論對論文中方法的重點思想介紹如下，涉及具體公式及推導過程請參見原論文。
遷移學習（Transfer Learning）的想法來自于人類在不同的任務間轉換知識的能力，在機器學習領域使用遷移學習的目的是為了運用現(xiàn)有領域內的知識，提高模型在新的領域內的表現(xiàn)，又或者訓練一個用于新的領域的模型時減少所需要的標記數(shù)據(jù)數(shù)目。在所能獲得的標記數(shù)據(jù)有限的情況下，遷移學習有著重要的意義。
遷移學習研究的關鍵問題是何時遷移、如何遷移和遷移什么。如果從現(xiàn)有領域進行遷移之后能夠有助于新領域的表現(xiàn)，那么就適合遷移（“何時遷移”）；要遷移的對象是兩個領域內共享的那部分知識（“遷移什么”）；算法發(fā)揮的作用就是找到這部分知識，然后進行遷移（“如何遷移”）。不同的算法很可能會找到可遷移的知識里不同的部分，就會導致不同的遷移學習效果，在遷移學習完成后對表現(xiàn)進行測量就能夠看到這些差別。
要達到源領域和目標領域之間的最優(yōu)遷移效果，需要研究者們對基于實體、參數(shù)、特征的數(shù)百種遷移學習算法逐一嘗試。由于這樣暴力嘗試的代價過于高，實際中研究者往往只能在有限的嘗試中找到一個次優(yōu)的算法，而這樣的做法則需要對點對點遷移有相當?shù)慕?jīng)驗，思考方法也不系統(tǒng)。
楊強教授團隊認為，逐一嘗試現(xiàn)有的不同遷移學習算法不應成為唯一一種確定要遷移哪些知識并提高遷移學習效果的方法。所以他們在論文中提出了一種新的遷移學習范式，名為 Learning to Transfer（L2T）。受到人類能夠根據(jù)隨著經(jīng)驗增加越來越輕松地判斷如何轉移知識的啟發(fā)，L2T 的核心思想就是利用以往的遷移學習經(jīng)驗自動決定在源領域和目標領域之間如何遷移以及遷移什么，從而提高遷移學習的效果；其中對以往經(jīng)驗的利用也是在所有遷移學習算法中首次出現(xiàn)。
為了達到這樣的目標，L2T 的過程分為兩個階段。
第一個階段是“積累經(jīng)驗”。首先，L2T 智能體進行若干次遷移學習，并對這些遷移學習過程做記錄。每一次學習的記錄分成三部分：一對源領域 S 和目標領域 T，參數(shù)化為共享潛特征因子（latent feature factor）格式的被遷移知識 W，以及表現(xiàn)提升比 l（論文中定義這個值為有無遷移學習的狀況下表現(xiàn)之比，越高說明遷移學習效果越好）。記錄格式類似這樣（S，T，W，l）。
接下來 L2T 智能體就需要根據(jù)這些遷移經(jīng)驗，學習如何遷移。這個過程是學習一個反射函數(shù) f =（S，T，W），函數(shù)值就是剛才的表現(xiàn)提升比 l 。這個反射函數(shù)的目標就是通過 S、T、W 預計表現(xiàn)提升比 l ，學到的反射函數(shù)內部就隱含了元認知遷移學習的技能，即遷移什么、如何遷移才能夠讓給定的源領域和目標領域之間的表現(xiàn)提升比最高。源領域和目標領域的特性也參與構成了 f 的一部分。
第二階段就是真正進行遷移。對于之后再提供的新的一對源領域和目標領域和已經(jīng)學到的 f，L2T 智能體就可以通過求 f 最大值的方式找到最優(yōu)的遷移知識，以參數(shù)的形式體現(xiàn)在W中。遷移學習算法按照參數(shù)W執(zhí)行，就可以達到設定的遷移學習效果。
L2T 這種新穎的遷移學習范式為有效地遷移學習開啟了新的大門。通過對以往的遷移學習經(jīng)驗的利用，L2T 能夠以系統(tǒng)化、自動化的方式在領域間發(fā)現(xiàn)更多的可遷移知識，而無需研究者自己具備豐富的經(jīng)驗。
顯然，在這樣的范式下，反射函數(shù) f 具體形式的構造是重中之重。目前作者們選定的 L2T 研究領域為針對一階潛特征因子的遷移學習，即源領域和目標領域的特征空間相同，而標簽不同。在構造 f 的過程中，作者們討論并解決了以下幾個問題。
把“學習什么”參數(shù)化：對所有算法中的要遷移的內容做統(tǒng)一的參數(shù)化。這樣的潛特征因子的遷移學習的目標就是學到不同領域間的與領域無關的特征因子。比如從識別狗遷移到識別貓，其中眼睛、嘴、尾巴等共有的特征就是不同領域間可以共享的特征因子。
從經(jīng)驗學習：作者們認為有兩個因素對表現(xiàn)提升比 l 有很大影響，在構建 f 的時候這兩個方面都要考慮到。因素一是源領域和目標領域在共享潛空間的區(qū)別。更小的區(qū)別就是更大的重疊空間，這意味著有更多的潛特征因子可供遷移，提升比例也會更高。
對于源領域和目標領域在共享潛空間的區(qū)別，作者們首先用了最大平均差異（maximum mean discrepancy，MMD）來衡量。不過MMD的問題是只能衡量兩個空間的平均值之間的距離，而不足以衡量兩個空間的區(qū)別大?。ㄈ缦聢D）；所以作者們考慮到這一點，也加入了空間分布的集中性的因素在公式中。
因素二是目標領域在潛空間的鑒別能力。目標領域在潛空間的鑒別能力越強，表現(xiàn)的提升也會越明顯。由于遷移學習的主要應用場景就是在有標簽數(shù)據(jù)不足時，所以作者們也就直接選擇基于無標簽數(shù)據(jù)做計算。無標簽數(shù)據(jù)的鑒別性可以從兩個方面評價：類似的實體在嵌入潛空間后也應該距離相近；差別很大的實體在嵌入潛空間后也應該距離較遠。從而提出了鑒別性的評價公式。
這樣，明確了 f 的具體形式后，就可以先學習以往的若干次遷移學習經(jīng)驗，然后根據(jù)學到的 f 求遷移方式（參數(shù)W）的最優(yōu)解。（相關公式參見論文原文）
由于不同領域內的任務難度不同，不好直接對比，論文中選擇了繼續(xù)使用前文定義過的表現(xiàn)提升比 l（有無遷移學習的狀況下表現(xiàn)之比，越高說明遷移學習效果越好），讓 L2T 與其它許多常用的遷移學習算法進行了對比。
從上圖可以看到，當目標領域內的有標簽樣本數(shù)目很少的時候，L2T 的表現(xiàn)遙遙領先，這說明 L2T 最為有效地遷移了兩個領域內共有的知識，而且在樣本很多時依然保持著優(yōu)勢。
為了驗證“從經(jīng)驗學習”的有效性，作者們還設計了另一個實驗。首先設定 L2T 要學習的遷移經(jīng)驗數(shù)目是1000條，然后用不同的以往算法生成這1000條經(jīng)驗供它學習，看看 L2T 的表現(xiàn)受經(jīng)驗影響情況如何。結果如下表。（表中內容有刪減，原表格參見論文原文）
可以看到，隨著使用的算法增多，L2T 的學習效果也越好（學到了更多情況，學到的反射函數(shù) f 更強，遷移學習得更有效）。而且即便只用一種現(xiàn)有算法為 L2T 生成經(jīng)驗（ITL 與 DIP 兩行）時，L2T 的學習效果也有大幅度提高（3個標記樣本時，ITL 和 DIP 本身的表現(xiàn)分別為 1.0188 和 1.0875）。這有力地說明了“從經(jīng)驗學習”的巨大作用。
論文地址：https://arxiv.org/abs/1708.05629
雷鋒網(wǎng) AI 科技評論編譯
相關文章：
SIGKDD 三大核心獎項出爐，裴健、楊強分獲創(chuàng)新獎及杰出服務獎
香港科技大學楊強教授：AI學術的前沿工作，也要從工業(yè)界獲得靈感｜CCF－GAIR 2017
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
