導(dǎo)讀：2016國際人工智能聯(lián)合會議（IJCAI2016）于7月9日至7月15日舉行，今年會議聚焦于人類意識的人工智能，本文是IJCAI2016杰出學(xué)生論文（Distinguished Student Paper）。除了論文詳解之外，我們另外邀請到哈爾濱工業(yè)大學(xué)李衍杰副教授進(jìn)行點(diǎn)評。

在長期學(xué)習(xí)中使用任務(wù)特征做 Zero-Shot 知識遷移

聯(lián)合編譯：Blake、章敏、陳圳

摘要

任務(wù)間的知識遷移可以提升學(xué)習(xí)模型的表現(xiàn)，但是需要對任務(wù)間關(guān)系進(jìn)行準(zhǔn)確評估，從而識別遷移的相關(guān)知識。這些任務(wù)間的關(guān)系一般是基于每個任務(wù)的訓(xùn)練數(shù)據(jù)而進(jìn)行評估的，對于從少量數(shù)據(jù)中快速學(xué)習(xí)每個連續(xù)任務(wù)為目標(biāo)的終身學(xué)習(xí)來說，這個設(shè)定是效率低下的。為了減輕負(fù)擔(dān)，我們基于耦合詞典學(xué)習(xí)開發(fā)了一個終身強(qiáng)化學(xué)習(xí)方法，該耦合詞典學(xué)習(xí)將高階任務(wù)描述符合并到了任務(wù)間關(guān)系建模中。我們的結(jié)果表明，使用任務(wù)描述符能改善學(xué)習(xí)到的任務(wù)策略性能，既提供了我們方法有效的理論證明，又證明展示了在一系列動態(tài)控制問題上的進(jìn)步。在只給描述符一個新任務(wù)的情況下，這一終身學(xué)習(xí)器也能夠通過 zero-shot 學(xué)習(xí)使用耦合詞典準(zhǔn)確預(yù)測任務(wù)策略，不再需要在解決任務(wù)之前暫停收集訓(xùn)練數(shù)據(jù)了。

1.引言

通過重新使用其他相關(guān)任務(wù)的知識，轉(zhuǎn)移和多任務(wù)學(xué)習(xí)（MTL）方法減少了獨(dú)立任務(wù)模型訓(xùn)練所需要的經(jīng)驗(yàn)量。

基于每個任務(wù)的訓(xùn)練數(shù)據(jù)，這些技術(shù)一般通過對任務(wù)間關(guān)系建模來選擇相關(guān)遷移知識。然而，在知識成功遷移之前，這個過程要求針對每個識別關(guān)系的任務(wù)有足夠的訓(xùn)練數(shù)據(jù)。只要有一個高階任務(wù)描述，人類能夠針對一個新任務(wù)快速創(chuàng)立引導(dǎo)程序，在真正的任務(wù)執(zhí)行之前調(diào)用以往的經(jīng)驗(yàn)。例如在看到一款新的宜家椅子盒子圖片時，我們能馬上聯(lián)想到之前的組裝椅子的經(jīng)驗(yàn)，然后開始思考該如何組裝這款椅子。同樣的，在給定質(zhì)量和長度的情況下，一個有經(jīng)驗(yàn)的反轉(zhuǎn)極平衡agent可以能夠?qū)刂破鬟M(jìn)行預(yù)測，且發(fā)生與物理系統(tǒng)交互之前。

受這個觀點(diǎn)啟發(fā)，我們探索利用高階的任務(wù)描述來提升多重機(jī)器學(xué)習(xí)任務(wù)中間的遷移效率。我們主要關(guān)注終身學(xué)習(xí)的場景，在這些場景中多重任務(wù)不斷進(jìn)行且目標(biāo)是通過前序知識快速學(xué)會新的任務(wù)。雖然我們在本文中重點(diǎn)關(guān)注的是強(qiáng)化學(xué)習(xí)（RL）任務(wù)，但是我們的方法也能容易擴(kuò)展到回歸和分類問題上。

我們的算法——終身學(xué)習(xí)任務(wù)描述符（TaDeLL），將任務(wù)描述符編碼成特征矢量來識別每個任務(wù)，將這些矢量作為輔助信息來進(jìn)一步對獨(dú)立任務(wù)進(jìn)行數(shù)據(jù)訓(xùn)練。這種使用任務(wù)特征來進(jìn)行知識遷移在之前也有學(xué)者使用過。為了與他們的工作進(jìn)行對比，我們的方法都是針對連續(xù)任務(wù)在線運(yùn)行的，并且我們的方法計算效率更高。

我們使用耦合字典學(xué)習(xí)來對任務(wù)間的聯(lián)系進(jìn)行建模，不僅有任務(wù)描述符，還有終身學(xué)習(xí)中的獨(dú)立任務(wù)政策。耦合字典學(xué)習(xí)執(zhí)行這樣的政策描述符相似的任務(wù)應(yīng)該有相似的政策，但是仍然允許字字典元素的自由準(zhǔn)確地反映不同任務(wù)的政策。我們將字典耦合到互相關(guān)的稀疏編碼概念連接，提供了為什么任務(wù)描述符能提高性能的原因，并實(shí)證檢驗(yàn)了這一改進(jìn)理論依據(jù)。

為了進(jìn)一步提升任務(wù)政策，我們提出任務(wù)標(biāo)識符允許學(xué)習(xí)者在只給出它們的描述的情況下準(zhǔn)確預(yù)測不明任務(wù)的政策，這個沒有數(shù)據(jù)的學(xué)習(xí)過程稱為zero-shot學(xué)習(xí)。在終身學(xué)習(xí)設(shè)定上這種能力十分重要，它允許系統(tǒng)通過遷移準(zhǔn)確預(yù)測新任務(wù)政策，不需要在每個任務(wù)上暫停來收集數(shù)據(jù)。

2.相關(guān)工作

Batch MTL方法經(jīng)常在任務(wù)間對關(guān)系進(jìn)行建模，來檢測知識的遷移。這些技術(shù)包括對任務(wù)距離度量進(jìn)行建模，使用相關(guān)性來檢測遷移是否恰當(dāng)，或者基于最近的領(lǐng)域來進(jìn)行建模。最近，MTL已經(jīng)擴(kuò)張到終身學(xué)習(xí)設(shè)定中，在這個范圍中衰減、分類與強(qiáng)化學(xué)習(xí)任務(wù)不斷進(jìn)行。然而，所有的這些方法都需要針對每個任務(wù)的訓(xùn)練數(shù)據(jù)，為了讀取他們的聯(lián)系然后檢測遷移的知識。

與僅僅單獨(dú)倚靠任務(wù)訓(xùn)練數(shù)據(jù)不同，好幾個研究工作都已經(jīng)探索了在MTL中利用高階任務(wù)描述符來對任務(wù)間關(guān)系進(jìn)行建模并遷移學(xué)習(xí)設(shè)定。結(jié)合神經(jīng)網(wǎng)絡(luò)任務(wù)標(biāo)識符已經(jīng)被用來定義具體任務(wù)的前序或者控制獨(dú)立任務(wù)叢中間的門控網(wǎng)絡(luò)。本文主要關(guān)注批量設(shè)定下多重任務(wù)的分類和衰減，其中系統(tǒng)能夠訪問所有任務(wù)的數(shù)據(jù)和特征，將我們對于終身學(xué)習(xí)任務(wù)描述符的研究與連續(xù)RL任務(wù)進(jìn)行對比。

與我們的工作相似，Sinapov等人使用任務(wù)描述符來預(yù)估每組遷移學(xué)習(xí)任務(wù)中的可遷移性。給定描述符一個新任務(wù)，他們識別出最有可能遷移的原始任務(wù)，然后在RL中使用原始任務(wù)。雖他們的方式有效，但是因?yàn)樗麄冃枰ㄟ^重復(fù)模擬來計算每組任務(wù)的遷移性，所以計算起來太過昂貴。他們的評估也只限制在遷移學(xué)習(xí)設(shè)定中，沒有考慮到連續(xù)任務(wù)遷移的影響，也沒有想我們在終身學(xué)習(xí)設(shè)定中一樣更新遷移模型。

我們的工作也與Romera-Paredes和Tor提出的簡單Zero-Shot學(xué)習(xí)（簡單ZSL）有關(guān)，它學(xué)會一個多類線性模型、分解線性模型參數(shù)、假設(shè)描述符是重構(gòu)模型的潛在基礎(chǔ)參數(shù)。

我們的方法假設(shè)了一個更加靈活的聯(lián)系：模型參數(shù)和任務(wù)描述符都能通過分來的潛在基礎(chǔ)參數(shù)進(jìn)行重構(gòu)。與我們的終身學(xué)習(xí)方法相比，簡單的ZSL是在離線多類設(shè)定下操作的。

3.背景

3.1 強(qiáng)化學(xué)習(xí)

一個強(qiáng)化學(xué)習(xí)（RL）的agent必須在環(huán)境中選取序列行動來最大化預(yù)期回報。一個RL任務(wù)基本是按照Markov決策過程（MDP）來規(guī)劃的，即<X，A，P，R，r>。X是一系列狀態(tài)集，A是agent可能執(zhí)行的動作集，P：XxAxX?[0,1]是描述系統(tǒng)動態(tài)的狀態(tài)轉(zhuǎn)移可能性。R：XxAxX?R是回報函數(shù)，r? [0, 1)是隨著時間分配的回報。在事件步h上，agent在狀態(tài)xh?X通過政策π：XxA?[0,1]選擇行動a?A，通過矢量控制參數(shù)定義函數(shù)。強(qiáng)化學(xué)習(xí)的目的是發(fā)現(xiàn)最佳的政策π*和θ*來最大化預(yù)估回報。然而，學(xué)習(xí)一個獨(dú)立任務(wù)仍然需要大量的軌跡，這也激勵遷移來減少環(huán)境交流的數(shù)量。

政策梯度（PG）方法是我們的基礎(chǔ)學(xué)習(xí)方法，作為一系列RL算法被用來解決像機(jī)器控制等連續(xù)狀態(tài)和行動步高維問題。PG方法的目標(biāo)是優(yōu)化預(yù)期平均回報：

 

3.2 終身機(jī)器學(xué)習(xí)

在終身學(xué)習(xí)設(shè)定中，學(xué)習(xí)者面臨多重、連續(xù)任務(wù)，且必須基于前序經(jīng)驗(yàn)來快速學(xué)習(xí)每個任務(wù)。學(xué)習(xí)者可能會在任何時候遇到之前的任務(wù)，因此必須基于先前的任務(wù)優(yōu)化表現(xiàn)。Agent并不知道任務(wù)Tmax的總數(shù)、任務(wù)分布或者任務(wù)順序。

在時間t上，終身學(xué)習(xí)者會遇到任務(wù)Z(t)。在本文中，每個任務(wù)Zt由MDP<X^(t)，A^(t)，P^(t)，R^(t)，r^(t)>來定義，但是終身學(xué)習(xí)設(shè)定以及我們的方法能夠同等處理分類或者衰減任務(wù)。Agent將會連續(xù)學(xué)習(xí)每個任務(wù)，在轉(zhuǎn)至到下一個任務(wù)前獲取訓(xùn)練數(shù)據(jù)。Agent的目標(biāo)是學(xué)會相應(yīng)參數(shù)下的最佳政策。理想狀態(tài)下，從之前任務(wù)學(xué)習(xí)到的知識應(yīng)該能加速并提高每個新任務(wù)Z(t)的表現(xiàn)。同樣，終身學(xué)習(xí)者應(yīng)該能有效擴(kuò)展到大量的任務(wù)上去，同時從最小的數(shù)據(jù)中快速學(xué)習(xí)每個任務(wù)。

有效終身學(xué)習(xí)算法（ELLA）和PG-ELLA是分別針對在終身學(xué)習(xí)設(shè)定中分類/衰減任務(wù)和RL任務(wù)設(shè)計的。

對于每個任務(wù)模型，兩種方法都假設(shè)了可以用共享知識庫L進(jìn)行因式分解的參數(shù)，從而促進(jìn)任務(wù)之間的傳遞。具體來說，任務(wù)Z (t)的模型參數(shù)由θ（t）=LS（t）給出，其中L Rdxk是整個模型空間的共享基準(zhǔn)，且S（t） Rk是整個基準(zhǔn)的稀疏系數(shù)。這種因式分解對于終身學(xué)習(xí)和多任務(wù)學(xué)習(xí)都是非常有效的。在這種設(shè)想下，PG的MTL目標(biāo)是：

為了達(dá)到終身學(xué)習(xí)設(shè)置中的目標(biāo)，Bou Ammar等人近似多任務(wù)目標(biāo)，首先替代PG目標(biāo)的下邊界，然后，使用second-order Taylor擴(kuò)展到近似目標(biāo)，評估每一個任務(wù)Z（t）中α（t）Rd的單任務(wù)策略參數(shù)，并且只在當(dāng)前時間點(diǎn)更新系數(shù)s（t）。該進(jìn)程減少了MTL對于稀疏編碼共享基準(zhǔn)L上單任務(wù)策略問題的注意力，并確保通過下面組成PG-ELLA的在線更新規(guī)則，能夠有效的解決S和L。

盡管這對終身學(xué)習(xí)是非常的有效，但在學(xué)者解決它之前，該方法需要大量的訓(xùn)練數(shù)據(jù)去評估每一個新方法的策略。我們通過將任務(wù)描述納入終身學(xué)習(xí)來消除這種限制，以確保 zero-shot 轉(zhuǎn)移到新的任務(wù)。

4.任務(wù)描述符

盡管大多數(shù)的MTL和終身學(xué)習(xí)方法使用了任務(wù)訓(xùn)練數(shù)據(jù)模型的內(nèi)在任務(wù)關(guān)系，但高級描述能以完全不同的方式描述任務(wù)。例如，在多任務(wù)醫(yī)學(xué)領(lǐng)域，病人通常通過人口數(shù)據(jù)和疾病表現(xiàn)分配到任務(wù)中。在控制問題方面，動態(tài)系統(tǒng)參數(shù)（例如，彈簧-質(zhì)量阻尼器系統(tǒng)中的彈簧，質(zhì)量和阻尼常數(shù)）進(jìn)行任務(wù)描述。描述也可以來自外部的來源，例如Wikipedia。這種任務(wù)描述已被廣泛的應(yīng)用于zero-shot學(xué)習(xí)。

通常，我們假設(shè)每一個任務(wù)Z（t）都有一個相關(guān)的描述符m（t）（在第一次介紹任務(wù)時給到了學(xué)者）。學(xué)者并不清楚未來的任務(wù)，或任務(wù)描述符的分配。描述符由特征向量?（m（t）Rdm表示，其中?（·）進(jìn)行特征提取和（可能的）特征上的非線性基準(zhǔn)變換。盡管在普遍的任務(wù)中都有不同的描述符，但我們沒有對?（m（t）的唯一性做任何假設(shè)。此外，每一個任務(wù)都有相關(guān)的訓(xùn)練數(shù)據(jù)X（t）去學(xué)習(xí)模型；以防RL任務(wù)，數(shù)據(jù)由軌跡（通過代理在環(huán)境中的經(jīng)驗(yàn)動態(tài)獲得）組成。

5.任務(wù)描述符的終身學(xué)習(xí)

我們通過耦合字典將任務(wù)描述符組合到終身學(xué)習(xí)中，確保描述符和學(xué)習(xí)策略去增強(qiáng)彼此。盡管集中于RL任務(wù)，但我們的方法可以很容易地適應(yīng)分類或回歸，如附錄中所述。

5.1耦合字典優(yōu)化

如上文所述，大多數(shù)的多任務(wù)和終身學(xué)習(xí)方法都有成功的案列——用因式分解每個任務(wù)的策略參數(shù)θ（t）來作為共享基準(zhǔn)：θ（t）=Ls（t）的稀疏線性組合。在效率上，每一列共享基準(zhǔn)L作為一個可重復(fù)使用的策略組件，代表一個銜接知識塊。在終身學(xué)習(xí)中，當(dāng)系統(tǒng)學(xué)習(xí)到更多任務(wù)時，基準(zhǔn)L隨著時間的推移而被精煉。系數(shù)向量S=[s（1）。。。。S（T）]在共享基準(zhǔn)上編碼任務(wù)策略，并基于他們的策略如何分享知識，提供一個嵌入任務(wù)。

我們對于描述符任務(wù)做了相似的假設(shè)——描述符特征?（m（r））能夠通過使用描述符空間一個潛在的基準(zhǔn)D Rdm×k進(jìn)行線性分解。 系數(shù)是描述符基準(zhǔn)的捕獲關(guān)系（基于他們描述符中的共性相似的嵌入任務(wù)）。從co-view視角看，兩種策略和描述符都提供了任務(wù)的信息，因此他們能夠互相交流學(xué)習(xí)。對于兩種觀點(diǎn)每一個基本的任務(wù)都是共同的，所以我們的任務(wù)是尋找嵌入策略和相應(yīng)的任務(wù)描述符。我們可以通過耦合兩個基準(zhǔn)L和D來實(shí)現(xiàn)，共享相同的系數(shù)向量S重建策略和描述符。因此對于任務(wù)Z（t）

為了在終身學(xué)習(xí)過程中優(yōu)化耦合基準(zhǔn)L和D，我們采用了來自稀疏編碼文獻(xiàn)中的耦合字典優(yōu)化技術(shù)，它用于優(yōu)化多特征空間（共享一個聯(lián)合稀疏代表）的字典。耦合字典學(xué)習(xí)的概念，引出了高性能的圖像超分辨率算法，允許高分辨率圖像從低分辨率的樣品中重建，并用于多模態(tài)檢索，和跨域檢索。

 

等式6中給出了因式分解，我們可以重新制定對于耦合詞典的多任務(wù)目標(biāo)（公式1）如：

隨著算法1中給出一系列前期-任務(wù)的更新結(jié)果，該目標(biāo)現(xiàn)在可以有效地在網(wǎng)上解決。伴著基于特征值分解的遞歸構(gòu)造，L和D使用等式3-5獨(dú)自更新。我們完整實(shí)現(xiàn)的方法，在第三方網(wǎng)站上面是可用的。

5.2 Zero-shot轉(zhuǎn)移學(xué)習(xí)

在終身設(shè)置中，面對新任務(wù)時，代理的目標(biāo)是盡快的學(xué)習(xí)針對任務(wù)有效的策略。在這個階段，前期的多任務(wù)和終身學(xué)者，在他們能產(chǎn)生一個恰當(dāng)?shù)牟呗灾鞍l(fā)生了延遲，因?yàn)樗麄冃枰獜男氯蝿?wù)中獲得數(shù)據(jù)，以便識別相關(guān)的知識和訓(xùn)練新的策略。

結(jié)合任務(wù)描述符，僅給出描述符，以確保我們的方法快速預(yù)測針對新任務(wù)的策略。進(jìn)行zero-shot轉(zhuǎn)移的操作是通過使用耦合字典學(xué)習(xí)來確保的，它允許我們在一個特征空間（例如任務(wù)描述符）觀察數(shù)據(jù)實(shí)例，并利用字典和稀疏編碼，在其它的特征空間中（例如策略參數(shù)）恢復(fù)其潛在的信號。

對于新任務(wù)Z（tnew）給出唯一的描述符m（tnew），我們可以在學(xué)習(xí)字典D中潛在的描述符空間路徑 LASSO上評估任務(wù)的嵌入：

由于S（tnew）給出的評估同樣也作為潛在策略空間L的系數(shù)，我們可以快速預(yù)測新任務(wù)的策略如：

                               

算法2中給出了該zero-shot轉(zhuǎn)移學(xué)習(xí)的過程。

5.3理論分析

本節(jié)討論了為什么通過耦合字典組合任務(wù)描述符可以提升學(xué)習(xí)策略的性能，并確保zero-shot轉(zhuǎn)移到新任務(wù)。在附錄2中，我們提供了TaDeLL的集合。全樣本的復(fù)雜性分析超出了論文的范圍，事實(shí)上，對于zero-shot學(xué)習(xí)，它仍然是一個開放的問題。

為了分析策略的改善程度，從策略參數(shù)分解成θ（t）=Ls（t）時，我們就通過展示用耦合字典組合描述符可以提高L和S兩者的性能而繼續(xù)實(shí)驗(yàn)。在本分析中，我們使用了互相關(guān)（mutual coherence）的概念，它在稀疏恢復(fù)文學(xué)中早已被廣泛研究?；ハ嚓P(guān)測量字典元素的相關(guān)性如：

如果M（Q）=0，那么Q是可逆的正交矩陣，且稀疏恢復(fù)可以直接通過反演解決；如果M（Q）=1意味著Q不是滿秩，是一個低劣的字典。直觀的說，低互相關(guān)意味著字典的縱列非常的不同，因此這樣一個“優(yōu)良”的字典可以代表很多不同的策略，有可能得到更多的知識轉(zhuǎn)移。這種直覺在下面被展示出：

因此，相互一致性較低的L會引出更穩(wěn)定的方法用于解決不準(zhǔn)確的單項(xiàng)任務(wù)評估策略。接下來我們會運(yùn)用方法降低L的相互一致性。

TaDeLL改變了從訓(xùn)練L到訓(xùn)練L和D的聯(lián)合（包括在K中）的問題。在稀疏修復(fù)理論中，s*(t)是任務(wù)Z(t)中公式1的解決策略，所以s*(t)在所有的任務(wù)中都保持不變。定理5.1暗示，如果M(K) ＜M(L)，那么聯(lián)合模式學(xué)習(xí)能幫助解決更準(zhǔn)確地修復(fù)問題。為進(jìn)一步證明，從貝葉斯定理（Bayesian）的角度來看，公式7也一樣是MAP評估的衍生，加強(qiáng)了拉普拉斯算子(Laplacian)在s(t)’s和分布和假設(shè)L是一個高斯矩陣并且其原素都是獨(dú)立分布的。使用此類公式作為M(L)和M(K)的評價標(biāo)準(zhǔn)，因?yàn)樾录拥娜蝿?wù)描述增加了d，大部分可能是M(K) ＜M(L)，這也暗示TdDeLL學(xué)會了較高級的自編代碼。而且，如果M(D) ≤M(L)，定義表明我們可以通過零射門遷移單獨(dú)使用D去修復(fù)任務(wù)政策。

為表示任務(wù)特征能提高稀疏修復(fù)，我們通過以下關(guān)于LASSO的定理5.2進(jìn)行證明。讓s*是θ=Qs系統(tǒng)的一個特殊解決方法。

這一定理表明LASSO的錯誤重建是與1/d是成正比的。當(dāng)我們通過β（t）包含描述器時，RHS的共同特性會從d變成（d+dm）,但與此同時K和k保持不變，由此產(chǎn)生了緊密的配合。因此任務(wù)描述能提高已學(xué)習(xí)過的代碼編碼的質(zhì)量和稀疏修復(fù)的準(zhǔn)確度。通過使用策略或是描述器保證是s(t)相等的緊密配合，定理5.2建議應(yīng)該dm≥d，以保證零樣本學(xué)習(xí)同樣也能生產(chǎn)出對于s(t)相同的評價。

6.實(shí)驗(yàn)

我們基于3個基準(zhǔn)系統(tǒng)對我們的方法和學(xué)習(xí)控制策略進(jìn)行評估。

6.1 基準(zhǔn)動力系統(tǒng)

彈簧質(zhì)量減震器（SM）。這一系統(tǒng)通過3個參數(shù)來進(jìn)行描述：彈簧常數(shù)，質(zhì)量，和減幅常數(shù)。系統(tǒng)的狀態(tài)是由物體的位置和速率決定的。控制器會通過對物體施加一個力量，試圖把它放到一個指定的位置。

車桿（BM）。這一系統(tǒng)專注于在水平面上以固定的速率移動時，要保持自行車的平穩(wěn)。系統(tǒng)的特點(diǎn)在于自行車的質(zhì)量，x和z坐標(biāo)的質(zhì)量中心，有關(guān)自行車的形狀參數(shù)（軸距，步道，和頭上的角）。其狀態(tài)是自行車的傾斜程度以及其他衍生狀態(tài)。

6.2 方法

在每一個域名我們會產(chǎn)生40個任務(wù)，每一個的動力都不一樣，系統(tǒng)參數(shù)也不一樣。每一個任務(wù)的回饋是當(dāng)前狀態(tài)和目標(biāo)之間的差距。對于終身學(xué)習(xí)，任務(wù)會不斷遇見重復(fù)，學(xué)習(xí)也會不斷進(jìn)行直到每一個任務(wù)至少遇見過一次。在不同的方法之間我們使用相同順序的隨機(jī)任務(wù)，以保證比較的公正。學(xué)習(xí)者會取樣100個步驟軌跡，而且每一個任務(wù)展示之中其學(xué)習(xí)過程限制在30次迭代之內(nèi)。MTL之中，所有的任務(wù)都是同時進(jìn)行呈現(xiàn)的。我們使用自然策略梯度估計NAC（Natural Actor Critic）作為基礎(chǔ)，學(xué)習(xí)標(biāo)準(zhǔn)系統(tǒng)和情節(jié)加強(qiáng)。為在每一個域名之內(nèi)優(yōu)化所有方法在20個任務(wù)上的聯(lián)合表現(xiàn)并平衡描述器和策略之間，我們分別選擇了k和規(guī)定化參數(shù)參數(shù)?；?0個任務(wù)的最終策略，我們會對學(xué)習(xí)曲線進(jìn)行評價，會把7個測試的結(jié)果進(jìn)行平均。每一個任務(wù)的系統(tǒng)參數(shù)會看做是任務(wù)描述器的特征；我們同時也會試著把一些非線性轉(zhuǎn)變，但發(fā)現(xiàn)使用線性特征也運(yùn)作良好。

6.3 基于標(biāo)準(zhǔn)系統(tǒng)的結(jié)果

圖1比較了我們用于終身學(xué)習(xí)的TaDeLL方法并帶有任務(wù)描述器。1.PG-ELLA并未使用任務(wù)特征。2.GO-MTL，其中MTL對公式1有進(jìn)行優(yōu)化。3.單一任務(wù)學(xué)習(xí)使用PG。為進(jìn)行比較，我們通過改變優(yōu)化，使用MTL對公式7進(jìn)行優(yōu)化，并把結(jié)果描述為TaDeMTL。在圖中陰影暗示著標(biāo)準(zhǔn)錯誤。

我們發(fā)現(xiàn)在每一個系統(tǒng)中任務(wù)描述器都能改進(jìn)終身學(xué)習(xí)，即使是在SM和BK域名內(nèi)通過GO-MTL僅從經(jīng)驗(yàn)中無法獲得訓(xùn)練策略情況下，也能提高學(xué)習(xí)。

圖1：基于標(biāo)準(zhǔn)動力系統(tǒng)多任務(wù)（實(shí)心線）                                                圖2：運(yùn)行時間比較

終身（虛線），和單一任務(wù)學(xué)習(xí)（點(diǎn)線）的表現(xiàn)。

圖3：新任務(wù)的零樣本遷移。圖（a）顯示的是在每一個域名的最初“強(qiáng)力啟動”的提高；圖（b）-（d）描述了零樣本策略作為用于PG啟動熱身地初始化的結(jié)果。

在所有的域名內(nèi)TaDeMTL和TaDeLL 之間的區(qū)別幾乎可以忽略，除CD之外（其任務(wù)十分復(fù)雜），這也暗示我們在線優(yōu)化的有效性。

圖3展示了任務(wù)描述器對用于新任務(wù)的零樣本遷移十分有效。在每一個域名內(nèi)為檢測零樣本的表現(xiàn)，另外生成了40個任務(wù)，并對這些任務(wù)的結(jié)果進(jìn)行平均。圖3a顯示了我們的方法改進(jìn)了在新任務(wù)中的最初表現(xiàn)（例如，“強(qiáng)力啟動”），而這也超越了Sinapov等人的方法表現(xiàn)以及單一任務(wù)的PG，但這一方法允許在任務(wù)中進(jìn)行訓(xùn)練。我們把Sinapov等人的方法在CP上的差表現(xiàn)歸因于CP策略本質(zhì)上相差很大；在域名內(nèi)，源策略與目標(biāo)策略相差很大，Sinapov等人的算法不能較好地將其源策略進(jìn)行遷移。此外此方法的計算費(fèi)用與我們的方法（與任務(wù)數(shù)一致）相比也十分的昂貴（是任務(wù)數(shù)的兩倍），如圖2；運(yùn)行時間的試驗(yàn)細(xì)節(jié)可見附錄。圖3b-3d顯示了零樣本策略用于PG學(xué)習(xí)的最初啟動熱身十分的有效，緊接著這也會改進(jìn)其策略。

6.4 四旋翼的應(yīng)用

我們也會把這一方法運(yùn)用于更具挑戰(zhàn)性的四旋翼控制域名，關(guān)注重點(diǎn)在于把零樣本遷移運(yùn)用于新的任務(wù)。為確?，F(xiàn)實(shí)的動力，我們使用Bouadallah和Siegwart模式，此類模式都是經(jīng)過物理系統(tǒng)證實(shí)的。四旋翼是由3個慣性常數(shù)和機(jī)翼長度決定的，且其狀態(tài)包括橫搖、俯仰和偏航以及其他衍生狀態(tài)。

圖4：在四旋翼控制上的啟動熱身

圖4顯示的我們運(yùn)用的結(jié)果，展示了TaDeLL能通過零樣本學(xué)習(xí)預(yù)測新四旋翼控制器，且其準(zhǔn)確度與PG相似，但PG必須在系統(tǒng)中進(jìn)行訓(xùn)練。作為基準(zhǔn)，TaDeLL對于PG的熱身啟動十分有效。

7.結(jié)論

在把任務(wù)描述器融入終身學(xué)習(xí)中建議使用聯(lián)合代碼字典的方法，因?yàn)槭褂妹枋銎髂芴岣咭褜W(xué)的策略表現(xiàn)，同時也能讓我們在觀察訓(xùn)練數(shù)據(jù)之前就能預(yù)測用于新任務(wù)的策略。在動力控制問題上，試驗(yàn)顯示我們的方法比其他方法表現(xiàn)更為出色，并且要求的運(yùn)行時間也比類似模式的要少。

點(diǎn)評：

人類組裝一款新的椅子時，通常借助以往的組裝經(jīng)驗(yàn)完成新椅子的組裝，因而，在學(xué)習(xí)新任務(wù)的控制策略時，往往希望借鑒其他任務(wù)的學(xué)習(xí)經(jīng)驗(yàn)，即任務(wù)間的信息傳遞，來改進(jìn)學(xué)習(xí)效果。任務(wù)之間的信息傳遞有助于改善學(xué)習(xí)的性能，但通常需要對任務(wù)間的聯(lián)系進(jìn)行精確估計，才能識別要傳遞的相關(guān)信息，而這些精確估計一般要基于每個任務(wù)的訓(xùn)練數(shù)據(jù)，而長期學(xué)習(xí)（lifelong learning）的目標(biāo)是利用盡可能少的數(shù)據(jù)來快速地學(xué)習(xí)連續(xù)的不同任務(wù)的策略，這種情況下，這種依靠精確估計任務(wù)間的聯(lián)系的方法就不可取了，因?yàn)槊總€任務(wù)沒有那么多訓(xùn)練數(shù)據(jù)，為此，該文利用任務(wù)描述符（task descriptor）來建模任務(wù)間的聯(lián)系，并利用耦合字典優(yōu)化的方法改進(jìn)相繼任務(wù)策略的學(xué)習(xí)效果；此外，該方法在沒有任何新任務(wù)訓(xùn)練數(shù)據(jù)的情況下也可以預(yù)測新任務(wù)的策略。

via IJCAI 2016

PS : 本文由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。