雷鋒網(wǎng)按：本文為雷鋒字幕組編譯的技術(shù)博客，原標題 Transfer Learning vs Multitask Learning，作者為 Ibrahim Sobh。

翻譯 | 李晶    編輯 | 吳璇 

訓練深度神經(jīng)網(wǎng)絡(luò)是一個乏味的過程。更實際的方法，如重新使用訓練好的網(wǎng)絡(luò)解決其他任務(wù)，或針對許多任務(wù)使用相同的網(wǎng)絡(luò)。這篇文章中，我們會討論兩個重要的方法：遷移學習和多任務(wù)學習。

遷移學習

在遷移學習中，我們希望利用源任務(wù)學到的知識幫助學習目標任務(wù)。例如，一個訓練好的圖像分類網(wǎng)絡(luò)能夠被用于另一個圖像相關(guān)的任務(wù)。再比如，一個網(wǎng)絡(luò)在仿真環(huán)境學習的知識可以被遷移到真實環(huán)境的網(wǎng)絡(luò)。

總的來說，神經(jīng)網(wǎng)絡(luò)遷移學習有兩種方案：特征提取和微調(diào)。遷移學習一個典型的例子就是載入訓練好VGG網(wǎng)絡(luò)，這個大規(guī)模分類網(wǎng)絡(luò)能將圖像分到1000個類別，然后把這個網(wǎng)絡(luò)用于另一個任務(wù)，如醫(yī)學圖像分類。

1特征提?。?/strong>

特征提取是針對目標任務(wù)把一個簡單的分類器加在源任務(wù)上預訓練的網(wǎng)絡(luò)上，將預訓練的網(wǎng)絡(luò)作為特征提取器。僅有添加的分類器的參數(shù)需要更新，預訓練的網(wǎng)絡(luò)的參數(shù)不變。這能使新任務(wù)從源任務(wù)中學習到的特征中受益。但是，這些特征更加適合源任務(wù)。

2微調(diào)：

微調(diào)允許學習目標任務(wù)時修改預訓練的網(wǎng)絡(luò)參數(shù)。通常，在預訓練的網(wǎng)絡(luò)之上加一個新的隨機初始化的層。預訓練網(wǎng)絡(luò)的參數(shù)使用很小的學習率更新防止大的改變。通常會凍結(jié)網(wǎng)絡(luò)底層的參數(shù)，這些層學到更通用的特征，微調(diào)頂部的層，這些層學到更具體的特征。同時，凍結(jié)一些層能夠減少需要訓練的參數(shù)的數(shù)量，避免過擬合問題，尤其時在目標任務(wù)數(shù)據(jù)量不夠大的情況下。實踐中，微調(diào)勝過特征提取因為他針對新的任務(wù)優(yōu)化了預訓練的網(wǎng)絡(luò)。

遷移學習的基本情形：

遷移學習可以分為4種情形基于以下兩個因素：1）目標任務(wù)數(shù)據(jù)集的大小，2）源任務(wù)與目標任務(wù)的相似度：

情形1：目標數(shù)據(jù)集很小，目標任務(wù)與源任務(wù)相似：這種情況使用特征提取，因為目標數(shù)據(jù)集小容易造成過擬合。

情形2：目標數(shù)據(jù)集很小，目標任務(wù)與源任務(wù)不同：這時我們微調(diào)底層網(wǎng)絡(luò)，并移除高層網(wǎng)絡(luò)。換句話說，我們使用較早的特征提取。

情形3：目標數(shù)據(jù)集很大，目標任務(wù)與源任務(wù)相似：我們有了大量的數(shù)據(jù)，我們可以隨機初始化參數(shù)，從頭開始訓練網(wǎng)絡(luò)。然而，最好還是使用預訓練的網(wǎng)絡(luò)初始化參數(shù)并微調(diào)幾層。

情形4：目標數(shù)據(jù)集很大，目標任務(wù)與源任務(wù)不同。這時，我們微調(diào)大部分層甚至整個網(wǎng)絡(luò)。

多任務(wù)學習

多任務(wù)學習的主要目標是通過使用多個任務(wù)的樣本優(yōu)化網(wǎng)絡(luò)的參數(shù)改進任務(wù)的性能。例如，我們希望有一個網(wǎng)絡(luò)可以根據(jù)輸入的臉部圖像區(qū)分是男性還是女性，同時可以預測這個人的年齡。這時，我們有兩個相關(guān)的任務(wù)，一個是二分類，一個是回歸任務(wù)。顯然兩個任務(wù)是相關(guān)的，對一個任務(wù)的學習可以改進另外一個任務(wù)。

一個簡單的網(wǎng)絡(luò)設(shè)計實例，可以在任務(wù)和任務(wù)之間共享一部分網(wǎng)絡(luò)。共享部分學習任務(wù)通用的中間表達，有助于這些共同的學習任務(wù)。另一方面，針對特定的學習任務(wù)，特定的頭部會學習如何使用這些共享表達。

博客原址：https://www.linkedin.com/pulse/transfer-learning-vs-multitask-ibrahim-sobh/

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。