1
雷鋒網(wǎng) AI 科技評(píng)論按：OpenAI 今天發(fā)表了一篇博客介紹了自己新設(shè)計(jì)的元學(xué)習(xí)算法「Reptile」。算法的結(jié)構(gòu)簡(jiǎn)單，但卻可以同時(shí)兼顧單個(gè)樣本和大規(guī)模樣本的精確學(xué)習(xí)。OpenAI 甚至還在博客頁(yè)面上做了一個(gè)互動(dòng)界面，可以直接在四個(gè)方框里畫出訓(xùn)練樣本和要分類的樣本，算法可以立即學(xué)習(xí)、實(shí)時(shí)更新分類結(jié)果。
用 Reptile 實(shí)時(shí)小樣本學(xué)習(xí)，分類手繪圖案。訓(xùn)練數(shù)據(jù)和要分類的圖案都可以任意繪制。歡迎到博客頁(yè)面 https://blog.openai.com/reptile/ 自行嘗試一下。
根據(jù) OpenAI 的介紹，這個(gè)新的元學(xué)習(xí)（meta-learning）算法 Reptile 的運(yùn)作原理是反復(fù)對(duì)任務(wù)采樣、在其上運(yùn)用梯度下降，并從初始參數(shù)開始持續(xù)地向著任務(wù)上學(xué)到的參數(shù)更新。Reptile 可以和應(yīng)用廣泛的元學(xué)習(xí)算法 MAML （model-agnostic meta-learning）達(dá)到同樣的表現(xiàn)，同時(shí)還更易于實(shí)現(xiàn)、計(jì)算效率更高。雷鋒網(wǎng) AI 科技評(píng)論把這篇介紹博客全文翻譯如下。
元學(xué)習(xí)是一個(gè)學(xué)習(xí)「如何學(xué)習(xí)」的過(guò)程。一個(gè)元學(xué)習(xí)算法要面對(duì)一組任務(wù)，其中每一個(gè)任務(wù)都是一個(gè)學(xué)習(xí)問(wèn)題；然后算法會(huì)產(chǎn)生一個(gè)快速學(xué)習(xí)器，這個(gè)學(xué)習(xí)器有能力從很小數(shù)目的一組樣本中泛化。小樣本分類（few-shot classification）就是一個(gè)得到了充分研究的元學(xué)習(xí)問(wèn)題，其中的每個(gè)任務(wù)都是一個(gè)分類問(wèn)題，這里的學(xué)習(xí)器只能看到每個(gè)類別的 1 個(gè)到 5 個(gè)輸入-輸出樣本，然后它就要開始對(duì)新的輸入樣本進(jìn)行分類。
和 MAML 類似，Reptile 首先會(huì)為神經(jīng)網(wǎng)絡(luò)尋找一組初始參數(shù)，以便網(wǎng)絡(luò)稍后可以根據(jù)來(lái)自新任務(wù)的數(shù)量不多的幾個(gè)樣本進(jìn)行精細(xì)調(diào)節(jié)（fine-tune）。不過(guò)，相比于 MAML 需要在梯度下降算法的計(jì)算圖中展開并求導(dǎo)，Reptile 只需要簡(jiǎn)單地在每個(gè)任務(wù)中以標(biāo)準(zhǔn)方法執(zhí)行隨機(jī)梯度下降（SGD），并不需要展開一個(gè)計(jì)算圖以及計(jì)算任何二階導(dǎo)數(shù)。這樣的設(shè)計(jì)讓 Reptile 所需的計(jì)算資源和存儲(chǔ)資源都比 MAML 更小。Reptile 的偽碼如下所示：
這里的最后一步也有另一種做法，可以把 Φ?W 整體作為梯度，然后把它嵌入進(jìn) Adam 之類的更復(fù)雜的優(yōu)化器中。
OpenAI 的研究人員們從一開始就感到驚訝，驚訝的是這個(gè)算法居然能運(yùn)行出結(jié)果。當(dāng) k =1 的時(shí)候，這個(gè)算法就相當(dāng)于是「聯(lián)合訓(xùn)練」，在所有任務(wù)的混合體中做隨機(jī)梯度下降。雖然聯(lián)合訓(xùn)練在某些狀況下可以作為一種有用的初始化手段，但是零樣本學(xué)習(xí)（zero-shot learning）不可用的時(shí)候（比如當(dāng)輸出標(biāo)簽被隨機(jī)替換了），它所能學(xué)到的東西就非常有限。Reptile 算法中需要 k >1，也就是說(shuō)，參數(shù)更新依靠的是損失函數(shù)的更高階導(dǎo)數(shù)。正如論文中所示的，此時(shí)算法的表現(xiàn)和 k =1 時(shí)相比有很大不同。
為了分析為什么 Reptile 會(huì)奏效，OpenAI 的研究人員們用泰勒級(jí)數(shù)逼近了參數(shù)更新。他們發(fā)現(xiàn) Reptile 的更新可以讓在同一個(gè)任務(wù)中不同 minibatch 的梯度的內(nèi)積最大化，這就對(duì)應(yīng)了模型的更強(qiáng)的泛化能力。這一發(fā)現(xiàn)也有超出了元學(xué)習(xí)研究領(lǐng)域的指導(dǎo)意義，可能可以用來(lái)解釋隨機(jī)梯度下降的泛化性質(zhì)。OpenAI 的研究表明 Reptile 和 MAML 執(zhí)行的參數(shù)更新非常詳細(xì)，包括其中有兩個(gè)相同的項(xiàng)，不過(guò)權(quán)重不一樣。
在 OpenAI 的實(shí)驗(yàn)中，Reptile 和 MAML 在 Omniglot 和 Mini-ImageNet 的兩項(xiàng)小樣本學(xué)習(xí) benchmark 中取得了近似的表現(xiàn)。Reptile 收斂到最終解決方案的速度也更快，因?yàn)樗母碌姆讲罡 ?/p>
OpenAI 對(duì) Reptile 的分析也表明，通過(guò)對(duì)隨機(jī)梯度下降的梯度做不同的組合，我們可以得到許多中不同的算法。假設(shè)每個(gè)任務(wù)中使用不同的 minibatch 進(jìn)行 k 步隨機(jī)梯度下降，得到的梯度分別為 g1、g2、……、gk。下圖就展示了在 Omniglot benchmark 中把每種不同的梯度和作為元學(xué)習(xí)的梯度的算法的學(xué)習(xí)曲線。g2 對(duì)應(yīng)的是一階 MAML，也就是最初的 MAML 論文中表述的算法。包括的梯度越多，算法學(xué)習(xí)得就越快，因?yàn)槠渲械姆讲顣?huì)隨之減小?？梢宰⒁獾絻H僅使用 g1（也就是 k =1 時(shí)）并不會(huì)給這個(gè)任務(wù)帶來(lái)什么改進(jìn)，因?yàn)榱銟颖緦W(xué)習(xí)無(wú)法被改進(jìn)。
OpenAI 已經(jīng)把 Reptile 的算法實(shí)現(xiàn)開源在了 GitHub 上。它的計(jì)算借助 TensorFlow 完成，而且開源中也包括了復(fù)現(xiàn) Omniglot 和 Mini-ImageNet 的兩項(xiàng)小樣本學(xué)習(xí) benchmark 的代碼。他們也編寫了一個(gè) JavaScript 的實(shí)現(xiàn)，模型預(yù)訓(xùn)練仍然由 TensorFlow 完成，然后 JavaScript 根據(jù)樣本做精細(xì)調(diào)節(jié)。OpenAI 博客中的算法樣例（也就是本文的開頭動(dòng)圖）就是借助 JavaScript 實(shí)現(xiàn)完成的。PyTorch 實(shí)現(xiàn)的完整代碼也一并在博客頁(yè)面上給出。
論文地址：https://d4mucfpksywv.cloudfront.net/research-covers/reptile/reptile_update.pdf
開源地址：https://github.com/openai/supervised-reptile
via OpenAI Blog，雷鋒網(wǎng) AI 科技評(píng)論編譯
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
