雷鋒網(wǎng)AI科技評論按：ICLR 2017 于4月24-26日在法國土倫舉行，雷鋒網(wǎng)AI科技評論的編輯們在法國帶來一線報道。在這個深度學(xué)習(xí)會議舉辦之際，雷鋒網(wǎng)也將圍繞會議議程及論文介紹展開一系列的覆蓋和專題報道，敬請期待。

據(jù)雷鋒網(wǎng)了解，這是一篇來自Twitter的研究員給ICLR 2017投遞的論文。目前論文已經(jīng)被錄用而且還獲得了ICLR委員會的高度評價。想知道研究員在論文中又提出了什么新的研究思路？或者ICLR委員會對這項工作的評價如何？那就趕緊跟隨小編來看看吧。

以下內(nèi)容是AI科技評論根據(jù)論文內(nèi)容進行的部分編譯。

論文摘要

雖然當(dāng)下深度神經(jīng)網(wǎng)絡(luò)算法在大規(guī)模數(shù)據(jù)集上取得了巨大的成功，但是這類算法在少量學(xué)習(xí)（Few-shot Learning）任務(wù)中的表現(xiàn)卻往往不如人意，這是因為在少量學(xué)習(xí)任務(wù)中要求分類器能夠在經(jīng)過每個類別的少量樣本訓(xùn)練之后快速具備泛化能力。

現(xiàn)在大家通常都認為，要使得一個基于梯度下降優(yōu)化算法的分類器能具備較好的表現(xiàn)就需要在大量訓(xùn)練樣本上進行多次訓(xùn)練迭代。而在本次的論文工作中，來自Twitter的研究員推出了基于LSTM的元學(xué)習(xí)模型（LSTM-based meta-learner model），該模型可以學(xué)習(xí)到精確的優(yōu)化算法來訓(xùn)練另外一個用于少量學(xué)習(xí)任務(wù)的神經(jīng)網(wǎng)絡(luò)分類器。

• 圖1：該圖展示了元學(xué)習(xí)（Meta-learning）過程的一個示例。圖片分為兩大部分，上半部分的表示元訓(xùn)練集（Meta-train set），記為D_meta-train，其中包含有若干個灰色矩形框分別表示每一條樣本，而矩形框內(nèi)部又被虛線劃分為左右兩個部分，虛線左側(cè)的包含有訓(xùn)練集D_train，而虛線的右側(cè)包含有測試集D_test。該示例所展示的是一個5種分類別的類任務(wù)，其中在每一條樣本的訓(xùn)練集上都包含有5個類別的樣例（每一類分別被標(biāo)注為1-5），然后測試集中則包含有2個樣例用于評估模型。圖片下半部分的表示元測試集（Meta-train set），記為D_meta-test，它的定義方式與D_meta-train完全一致，但是D_meta-test包含有D_meta-train中沒有覆蓋到的類別。此外，上圖中雖然沒有展示出來，但是數(shù)據(jù)集中還劃分了元驗證集（Meta-validation set）用于確定模型中的超參數(shù)。

基于LSTM的元學(xué)習(xí)模型的參數(shù)化特性允許它針對在需要一定量更新的特定場景下學(xué)習(xí)合適的參數(shù)更新方式，同時也可以學(xué)習(xí)到那些分類器網(wǎng)絡(luò)參數(shù)的通用初始化方式，從而加速分類器的訓(xùn)練和擬合過程。

并且在論文中，研究員們還證明了這種元學(xué)習(xí)模式與用于少量學(xué)習(xí)的深度度量學(xué)習(xí)技術(shù)相比具有很強的競爭力。

ICLR 委員會的定稿意見

該論文的作者提出了一種元學(xué)習(xí)模式來解決少量學(xué)習(xí)的問題。論文中提到的算法非常有趣并且實驗結(jié)果也非常具有說服力。這是篇非常適合時宜的文章，它將在社區(qū)中受到廣泛的關(guān)注。三位評審員都給出了一致的意見——接受，而且其中兩位還顯得特別熱情。論文的作者也回復(fù)了其他一些對該論文持負面態(tài)度的審稿人所提出的疑問。不過該論文還需要繼續(xù)完善以便把其中的更多細節(jié)闡述清楚。總的來說，這篇論文已經(jīng)被接受了。

匿名審稿人3

這項工作提出了一個基于LSTM的元學(xué)習(xí)框架，該框架可以學(xué)習(xí)到優(yōu)化算法以用于訓(xùn)練其它的學(xué)習(xí)算法（這里是神經(jīng)網(wǎng)絡(luò)算法）。本文通篇都寫得很好，并且主要材料的介紹也寫得很清楚。本文的核心：繪制Robbins Monroe更新規(guī)則和LSTM更新規(guī)則之間的并行，并利用它來滿足少量學(xué)習(xí)的兩個主要目標(biāo)這一點非常有趣。

匿名審稿人2

這篇論文通過將隨機梯度下降法（SGD）的更新規(guī)則解釋為具有可訓(xùn)練參數(shù)的門控循環(huán)模型（Gated recurrent model），從而提出了一種全新的元學(xué)習(xí)方法。這個創(chuàng)意對于遷移學(xué)習(xí)（Transfer learning）的研究具有重要意義。論文的結(jié)構(gòu)清晰，但是在某些細節(jié)方面的描述還可以提升。

via Optimization as a Model for Few-Shot Learning

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。