0
遷移學習，簡單的說，就是能讓現有的模型算法稍加調整即可應用于一個新的領域和功能的一項技術。這個概念目前在機器學習中其實比較少見，但其實它的潛力可以相當巨大。楊強教授在剛剛結束的CCF-GAIR上的演講中曾提到一個愿景——利用遷移學習，即使是自身沒有條件獲得大量訓練數據的小公司也可以按照自己的需要應用大公司訓練出來的模型，從而普及AI的應用。
在目前大家都在努力提高人工智能應用通用性的大背景下，遷移學習的崛起之勢已經比較明顯。不過楊強教授其實早在2009年之前就開始研究遷移學習了——那時他是國內為數不多的研究遷移學習的學者之一。2010年，楊強教授參與在IEEE Transactions on knowledge and data engineering上發(fā)表了一篇詳細解釋了遷移學習的論文：A Survey on Transfer Learning，其中對遷移學習的概念、與機器學習幾個傳統方法的區(qū)別以及一些常用的遷移學習方法都做出了解釋。讓我們選取論文中一些比較有代表性的部分（節(jié)選+精編），為大家展示這個機器學習新趨勢的方法與傳統方法到底有什么區(qū)別。
摘要
許多機器學習和數據挖掘算法都會基于一個假設：訓練數據和未來將要處理的數據都處在相同的特征空間，并且有著相同的分布規(guī)律。但是，在現實世界的很多應用中，這個假設很可能是不成立的。比如，我們經常面臨需要在一個領域內完成一項分類任務，卻只在另一個領域中有足夠的訓練數據的情況。兩者的數據可能有著不同的特征空間或者遵從不同的數據分布規(guī)律。在這種情況下，進行一次成功的知識遷移能極大的提升學習效果，從而避免大量繁重的數據標記的勞動。在最近幾年中，遷移學習作為一種新的學習框架被提出來用于解決這個問題。這篇文章聚焦于分類回顧現有的用于解決分類、回歸和聚類問題的遷移學習項目的研究進程。在這篇文章中，我們還會討論遷移學習和其他相關的機器學習技術比如領域適應、多任務學習和樣本選擇偏差，以及協變量轉換。我們也會探索一些未來在遷移學習研究上比較有潛力的方法。
介紹：
數據挖掘和機器學習技術已經在知識工程領域包括分類、回歸和聚類等取得了相當大的成功。但是，當數據分布規(guī)律改變的時候，大多數統計模型需要使用新的訓練數據來重建。在現實世界的許多應用中，這樣做付出的代價是非常大的，甚至是不可能的。所以，減小重新收集訓練數據的必要性和工作量就成了非常有必要的一件事。也就是說，在不同任務領域間的知識轉換或遷移學習能取得令人滿意的成效。
在許多知識工程案例中，遷移學習確實是很有用的，比如在網頁分類任務中，新創(chuàng)建的網頁的數據特征和分布可能同之前用來訓練的網頁不同，因此這時就會需要用到遷移學習技術來轉移模型。
如果訓練數據很容易過期，即數據的分布規(guī)律在不同的時間段可能會不同，這時也會需要遷移學習來使模型不會失效。比如在室內WiFi定位問題——一種根據收集到的使用者的WiFi使用數據來檢測使用者當前位置的技術上，但是，由于WiFi的信號強度完全可能隨時間、使用者的設備和一些其他因素的變化而變化，一個靜態(tài)的模型顯然也無法應對這個問題。
第三個例子是：情感分類的問題。在這個問題中收集數據的方法是收集大量設備使用者的敘述并將其分類，但是由于不同產品產生的數據分布結果可能會非常不同，如果想要使用傳統方法有足夠好的分類結果，可能需要針對不同的設備建立不同的模型，然而這樣做的代價顯然太大了。所以最好有一種能建立通用于各設備間的模型的方法。
遷移學習歷史簡介、以及與傳統方法的比較：
傳統數據挖掘和機器學習算法可以使用用之前的標記過或未標記過的數據訓練出來的統計學模型做出對未來數據的預測。半監(jiān)督學習可以通過使用少量標記的數據和大量未標記的數據訓練的方法解決可用來建立可用分類器的數據量過少的問題。用來處理不完美的訓練數據的監(jiān)督學習和半監(jiān)督學習的變種方法已經被詳細研究過了。也得出了許多不錯的成果，但是它們中的很多都基于標記和未標記的數據都有相同的分布規(guī)律。而與之相比，遷移學習則允許用來訓練和測試的數據集的領域、任務和分布規(guī)律有所不同。在現實世界中，我們觀察到了許多遷移學習的案例。比如，我們認知蘋果的過程可能對我們認知梨子也有幫助。類似的，學習彈電子琴可能會對學習彈鋼琴也有很大幫助。展開對遷移學習的研究，是因為我們發(fā)現了人類擁有這種使用之前學到的知識來更快或更好的解決新問題的能力的事實。機器學習中研究遷移學習的根本動力來源于一次在研討會上主題為“學會學習”的，以開發(fā)一種可以保持并重新利用現有知識的“終極”機器學習方法的討論。
對遷移學習的研究從1995年開始興起，在換了一個又一個名字的同時也開始吸引越來越多的注意力：學會學習（learning to learn）、終身學習（life-long learning）、知識轉移（knowledge transfer）、歸納轉移（inductive transfer）、多任務學習（multi-task learning）、知識鞏固（knowledge consolidation）、上下文學習（context-sensitive learning），基于知識的歸納偏差（knowledge-based inductive bias），元學習（meta learning）以及增值/累積學習。在這其中，一個與遷移學習密切相關的技術是多任務學習框架，這個框架的目標是同時學習多個任務，哪怕它們之間是互不相同的。一個典型的多任務學習的實現方法是發(fā)現這些各自獨立的任務之間的一些（潛在的）共同規(guī)律。
2005年，美國國防部高級研究計劃局（DARPA）的信息處理技術辦公室（IPTO）發(fā)布的通告（BAA）讓遷移學習有了一個新的使命：一個能認知并且將在之前的任務中學習到的知識應用到新的任務中去的系統。在這個定義下，遷移學習的目標即為從一個或多個任務中提取出知識并應用到另一個目標任務中去。與多任務學習更注重于同時學習所有來源相比，遷移學習更關注于目標任務。在遷移學習中源和目標的關系不再對等了。
圖1展示了傳統技術和遷移學習之間的處理過程的區(qū)別。我們可以看到，在高質量訓練數據不夠的時候，傳統機器學習技術更多是通過隨機測試來從任務中學習，而遷移學習則是通過從之前的任務中學習來訓練。
如今，遷移學習方法已經在幾個高端領域中得到了應用。尤其是在數據挖掘、機器學習和其應用中。
幾個遷移學習的分類表格、圖表
結論：
在這篇文章中，我們回顧了幾種目前遷移學習領域的趨勢：遷移學習有三種不同的類型：歸納遷移學習、轉導遷移學習和無監(jiān)督遷移學習，之前的工作大多數聚焦于前兩類。不過在未來無監(jiān)督遷移學習可能會得到越來越多的注意。不僅如此，具體實現的遷移學習的方法還能按照“遷移了什么”來分為四類：立即遷移、代表特征遷移、參數遷移和相關知識遷移。前三種的環(huán)境中的數據滿足i.i.d假設，而最后一種則關注與遷移學習中的相關數據。這些方法大多數都假設選定的源領域和目標領域是有關聯的。
在未來，仍有幾個重要的問題需要在研究中加以解決。第一：如何避免消極轉移仍然是個懸而未決的問題，目前的許多遷移學習算法都假設源領域和目標領域有著某種程度的關聯。但是如果這個假設不成立的話，就有可能會發(fā)生消極轉移的問題。著可能會導致轉移后的算法會表現得比轉移前還差。因此這是遷移學習中非常有必要解決的一個問題。目前要避免這種情況的發(fā)生，我們要先對源領域到目標領域的可轉移性進行評估。要定義兩個領域間的可轉移性，我們可以用相應的方法進行測量，也需要一個測量源領域和任務之間相似性的方法。而一個與之相關的問題是：如果一個領域的整體不能用于遷移學習，我們是否仍然有機會轉移領域中的一部分用來幫助新領域中的學習？
另外，大部分現有的遷移學習算法都聚焦于提升不同源和目標領域或任務的分布之間的一般化遷移方法。為了做到這一點，他們會假設源領域和目標領域的特征空間是相同的。但是在很多實際應用中，我們都可能會需要在擁有不同特征空間的源領域和目標領域間進行轉移，而且有可能需要從多個這樣的源領域中同時轉移。我們管這種遷移學習叫做“多相遷移學習”（heterogeneous transfer learning）。
最終，目前的遷移學習技術主要在變量有限的小規(guī)模應用中使用，比如說像基于傳感器網絡的定位，文字分類和圖像分類問題等，在未來遷移學習將被廣泛應用于解決其他有挑戰(zhàn)性的應用中，比如視頻分類、社交網絡分析和邏輯推理等。
正如前文所說，目前的AI的研究，大多數都是以讓AI具備更強大的適應能力、乃至具備真正的學習能力為目的而進行的。而遷移學習正是一種能在很大程度上達到這個目的技術。想象一下，如果一個AI具備了同人一樣的學習能力，能將在舊事物上學到的經驗完美應用于新事物，那即使這個AI一開始很笨，它應該也能通過不斷的學習變得越來越聰明。這是否也是一種智能呢？
不過無論怎么說，遷移學習看起來都是一種極具潛力的方法。相信能在不遠的將來大放異彩。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
