0
| 本文作者： AI研習(xí)社-譯站 | 2019-07-29 10:59 | 專題：CVPR 2019 |
來源：https://pixabay.com/
本文將介紹今年于美國(guó)長(zhǎng)灘舉辦的CVPR2019會(huì)議上展示的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）領(lǐng)域的研究成果。原標(biāo)題：Neural Architecture Search at CVPR 2019
作者 | Vladimir Nekrasov
編譯 | 林肯二百一十三（西安交通大學(xué)）
我相信，每個(gè)深度學(xué)習(xí)研究者和從業(yè)者都多多少少地考慮過在他們處理的具體問題上應(yīng)該使用什么樣的神經(jīng)網(wǎng)絡(luò)架構(gòu)。很多人都?xì)椌邞]地嘗試提出像AlexNet、VGG以及ResNet那樣的有效架構(gòu)。因此，“博士生下降”也成了一個(gè)紅極一時(shí)的梗。（注：“博士生下降”英文為Grad Student Descent，簡(jiǎn)單而言就是“找一個(gè)博士生，讓他不斷調(diào)參，直到算法工作”。這種說法歪曲自深度學(xué)習(xí)的Gradient Descent算法，僅作調(diào)侃）
現(xiàn)在呢，我很想驕傲地宣布——“天天調(diào)參的鬼日子結(jié)束了！”——但是還為時(shí)過早。手動(dòng)調(diào)參尋找神經(jīng)網(wǎng)絡(luò)架構(gòu)依然是個(gè)有趣的工作，尤其是對(duì)于那些帶了很多學(xué)生的導(dǎo)師而言（開玩笑啦~）。
那么問題來了，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）究竟是什么？為什么我們要了解NAS呢？（這一部分是為了去年完全沒有跟進(jìn)領(lǐng)域內(nèi)進(jìn)展的人準(zhǔn)備的）
NAS的核心思想是使用搜索算法來發(fā)現(xiàn)用于解決我們的問題所需要的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。回到“博士生下降”的話題：假設(shè)你是個(gè)希望解決問題A的導(dǎo)師，你會(huì)讓你的學(xué)生來想一種該問題的最優(yōu)架構(gòu)——那么，你的學(xué)生就是你的搜索算法（聽起來似乎更像奴隸？）。
如果你并不是那種泯滅人性的導(dǎo)師（當(dāng)然也可能你就是那個(gè)學(xué)生），你可能會(huì)首先定義一種搜索空間，這種搜索空間包含定義神經(jīng)網(wǎng)絡(luò)架構(gòu)的基本構(gòu)建模塊（block）。通常地，每一種配置字符串（configuration string）描述一種架構(gòu)——比如說，給定三個(gè)層（分別用0、1、2表示）和兩種block（分別為A：1x1卷積和B：3x3卷積），那么字符串“0A1A2B”表示“x->1x1卷積->1x1卷積->3x3卷積”的網(wǎng)絡(luò)結(jié)構(gòu)。你可以天馬行空地憑想象定義這個(gè)搜索空間，但別忘了，搜索空間越大，你的搜索算法需要運(yùn)行的迭代次數(shù)就越多，用到的GPU算力也就越多。
搜索算法有哪些可供我們選擇呢？早期的一種算法是進(jìn)化搜索——網(wǎng)絡(luò)架構(gòu)的種群（population，比如可以是隨機(jī)初始化的一些架構(gòu)）基于適應(yīng)度（或“收益”，通常即給定架構(gòu)在特定問題上的驗(yàn)證指標(biāo)）不斷地被訓(xùn)練和突變（mutate，比如對(duì)架構(gòu)的某些部分進(jìn)行混合）以達(dá)到好的驗(yàn)證指標(biāo)。另一種方案是基于強(qiáng)化學(xué)習(xí)，讓智能體（有時(shí)候稱作“控制器”）去發(fā)現(xiàn)網(wǎng)絡(luò)架構(gòu)的最優(yōu)配置。這種智能體通常是用循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的，它的目標(biāo)是尋找能夠獲得更高收益的神經(jīng)架構(gòu)。其他的搜索算法還包括基于梯度的優(yōu)化（所有可能的架構(gòu)組成一個(gè)巨大的圖，每條邊有一個(gè)可學(xué)習(xí)的實(shí)值，代表每個(gè)block被使用的概率）、貝葉斯優(yōu)化（搜索空間由某種啟發(fā)函數(shù)貫穿，這種啟發(fā)函數(shù)可以是用于預(yù)測(cè)采樣模型準(zhǔn)度的代理?yè)p失函數(shù)）等等。
圖注：NAS的高層表示。圖片來源：Elsken et. al
如果你對(duì)上述算法感興趣，我推薦閱讀Elsken等人的這篇綜述。他們還建立維護(hù)了一個(gè)網(wǎng)站，你可以在這里找到最近的相關(guān)文章。
下面本文將目光轉(zhuǎn)向在CVPR 2019會(huì)議上登場(chǎng)的NAS相關(guān)工作。如果你只想看大體的總結(jié)，下表包含了這些工作的論文和代碼地址（前提是它開源）、它們使用的搜索算法、領(lǐng)域和需要的資源。如果這里沒有涉及您的文章，可能是我的疏忽導(dǎo)致它被忽略了——請(qǐng)您及時(shí)指正。CVPR 2019的所有論文都可以在這里找到。
熟悉語(yǔ)義分割領(lǐng)域的研究者應(yīng)該對(duì)DeepLab團(tuán)隊(duì)都不陌生吧？他們不斷提出新的思路、新的模型，不斷推進(jìn)語(yǔ)義分割模型的性能提升。這次，作者使用NAS來尋找語(yǔ)義分割問題的最佳模型。Auto-DeepLab：語(yǔ)義分割的分層神經(jīng)架構(gòu)搜索
本質(zhì)上講，這篇工作是對(duì)DARTS的一種適應(yīng)性改進(jìn)。如果你不了解DARTS，下面是對(duì)它的一點(diǎn)簡(jiǎn)單說明：DARTS（可微架構(gòu)搜索，Differentiable Architecture Search）是一種基于梯度的隨機(jī)優(yōu)化方法，它將所有可能的架構(gòu)一次性初始化，并且在優(yōu)化網(wǎng)絡(luò)權(quán)重參數(shù)的同時(shí)還優(yōu)化混合概率（即模型選擇每一條邊的概率）。Auto-DeepLab的作者則更進(jìn)一步：為了搜索適合語(yǔ)義分割的模型，作者還讓NAS算法去優(yōu)化stride運(yùn)算——也就是在網(wǎng)絡(luò)架構(gòu)圖中的各處是要下采樣特征圖，或是保持尺度不變，還是進(jìn)行上采樣。使用一塊P100 GPU，作者運(yùn)行神經(jīng)架構(gòu)搜索3天后得到了與DeepLab-v3+性能大致相當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)。
圖注：AutoDeepLab發(fā)現(xiàn)的一種架構(gòu)。圖片來源：Liu et. al
有意思的是，作者并沒有將搜索到的網(wǎng)絡(luò)在ImageNet上進(jìn)行預(yù)訓(xùn)練，而是直接從零開始在CityScapes和ADE20K數(shù)據(jù)集上進(jìn)行訓(xùn)練的，只有對(duì)PASCAL VOC數(shù)據(jù)集使用了MS COCO進(jìn)行訓(xùn)練。作者在原文中提到：“我們認(rèn)為PASCAL VOC 2012數(shù)據(jù)集太小了，用來從零開始訓(xùn)練模型實(shí)在不夠。這種情況下，還是用ImageNet進(jìn)行預(yù)訓(xùn)練會(huì)更有效”。說實(shí)在的，要是能看到ImageNet預(yù)訓(xùn)練對(duì)作者用的所有數(shù)據(jù)集上的效果就好了，比如說進(jìn)行預(yù)訓(xùn)練會(huì)不會(huì)讓模型在CityScapes數(shù)據(jù)集上也獲得更好的效果呢？
這篇論文中，作者結(jié)合了ENAS和DARTS二者的最佳實(shí)踐，從而提出了GDAS（Gradient-based search using Differentiable Architecture Sampler）方法。DARTS的定義上文已經(jīng)提到；ENAS是Pham et. al提出的一種基于強(qiáng)化學(xué)習(xí)的神經(jīng)架構(gòu)搜索方法，它在一開始同樣初始化了一個(gè)巨大的圖——但與DARTS在每個(gè)邊上添加權(quán)重的方式不同，ENAS使用基于強(qiáng)化學(xué)習(xí)的控制器來決定選擇哪一條路徑。
這里，作者顯式地采取了一些路徑并進(jìn)行優(yōu)化。因?yàn)檫@個(gè)采樣是離散的，作者借助了Gunbel采樣技巧來實(shí)現(xiàn)反向傳播。作者原文寫道：“我們?cè)谇跋騻鞑r(shí)使用argmax函數(shù)……而在反向傳播時(shí)使用了softmax函數(shù)……”。總體上，該方法在用于圖像分類的CIFAR-10數(shù)據(jù)集和上用于語(yǔ)言建模的Penn Tree Bank (PTB)數(shù)據(jù)集上實(shí)現(xiàn)了快速搜索。
圖注：GDAS發(fā)現(xiàn)的網(wǎng)絡(luò)單元。圖片來源：Dong and Yang
GDAS的另一個(gè)加速訓(xùn)練、節(jié)省內(nèi)存的技巧是在前向傳播中直接使用argmax函數(shù)——使用了in-place后，只有被argmax選擇的一個(gè)索引處生成的梯度需要回傳。作者聲稱，使用batch訓(xùn)練的其它層還是會(huì)得到梯度，因?yàn)槊總€(gè)batch中的樣本經(jīng)過的路徑是不同的。
這篇論文中，作者考慮的是NAS的一種重要應(yīng)用——搜索適合移動(dòng)設(shè)備快速推斷場(chǎng)景的網(wǎng)絡(luò)架構(gòu)。為此，作者提出一種多目標(biāo)的優(yōu)化方法——基于強(qiáng)化學(xué)習(xí)的控制器被訓(xùn)練搜索一種不僅能得到高分、而且能夠在Google Pixel 1的CPU上短時(shí)間內(nèi)響應(yīng)的模型架構(gòu)。作者遵循帕累托優(yōu)化準(zhǔn)則，即“如果模型能在不花費(fèi)額外時(shí)間的條件下達(dá)到高準(zhǔn)確率，或者在不降低準(zhǔn)確率的條件下花費(fèi)更少的時(shí)間，則該模型是帕累托最優(yōu)的”。
圖注：MnasNet神經(jīng)架構(gòu)搜索方法概觀。圖片來源：Tan et. al
另外，為了保證模型在搜索空間中高效且可用，作者定義了一種多個(gè)層的“block”。每個(gè)“block”中，同一個(gè)層被重復(fù)N次——層的類型和重復(fù)次數(shù)是由強(qiáng)化學(xué)習(xí)控制器預(yù)測(cè)的。總體而言，MnasNet架構(gòu)設(shè)計(jì)是受MobileNet-v2啟發(fā)的，因此也可以認(rèn)為：MnasNet是使用強(qiáng)化學(xué)習(xí)對(duì)MobileNet-v2的微調(diào)。（不過這個(gè)“微調(diào)”有點(diǎn)太耗費(fèi)計(jì)算資源啦！MnasNet花費(fèi)了整整6912個(gè)"TPU×小時(shí)"！）
RENAS的主要思路在于：使用可微的強(qiáng)化學(xué)習(xí)控制器來增強(qiáng)錦標(biāo)賽選擇法的變異機(jī)制。
錦標(biāo)賽選擇法首先會(huì)初始化一個(gè)由神經(jīng)架構(gòu)（即進(jìn)化算法中的個(gè)體，individual）組成的種群（population）。每個(gè)神經(jīng)架構(gòu)個(gè)體被訓(xùn)練之后，通過在驗(yàn)證集上進(jìn)行評(píng)估來確定它們的適應(yīng)度（fitness）。之后，種群中適應(yīng)度最強(qiáng)的個(gè)體被變異（mutate）——比如改變它的一些層或者運(yùn)算——從而產(chǎn)生子代（child）。在RENAS論文中，作者添加的強(qiáng)化學(xué)習(xí)控制器定義了給定網(wǎng)絡(luò)如何進(jìn)行變異。為了加速訓(xùn)練過程，子代模型直接繼承了父代的模型參數(shù)。
圖注：使用強(qiáng)化學(xué)習(xí)變異的進(jìn)化算法搜索。圖片來源：Chen et. al
這一篇論文則關(guān)注了NAS的另一種應(yīng)用——自動(dòng)化地改進(jìn)目標(biāo)檢測(cè)網(wǎng)絡(luò)。在過去的幾年里，特征金字塔網(wǎng)絡(luò)（FPN）幾乎成了所有高性能目標(biāo)檢測(cè)網(wǎng)絡(luò)的標(biāo)配。本質(zhì)上講，F(xiàn)PN起到了對(duì)網(wǎng)絡(luò)主干（編碼器）提取的特征的逐步解碼的作用。NAS-FPN這篇論文的動(dòng)機(jī)就是尋找一些方法來從原始的網(wǎng)絡(luò)主干結(jié)構(gòu)的各層上更好地結(jié)合多種尺度的信息。
為此，作者定義了”合并單元“（merging cell）的搜索空間——以多種尺度的特征作為輸入，將這些特征進(jìn)行精化后作為輸出。在合并單元中，基于強(qiáng)化學(xué)習(xí)的控制器對(duì)兩個(gè)輸入層（可能尺度并不相同）、輸出尺度和融合方式（可以是求和，或是基于注意力的全局池化等）進(jìn)行選擇。合并單元的輸出被添加到下采樣的池化層中，作為下一步選擇的選項(xiàng)之一。
圖注：合并單元的結(jié)構(gòu)。圖片來源：Ghiasi et. al
作者表示，合并單元的設(shè)計(jì)使得“anytime detection”成為可能，因?yàn)槎鄠€(gè)模塊化的單元可以被堆疊在一起，前向傳播可能在其中任何一個(gè)之后停止。這樣，即便我們提前結(jié)束前向傳播（early exit）并用此時(shí)網(wǎng)絡(luò)的輸出層進(jìn)行目標(biāo)邊框回歸，該特征圖依然能足夠使邊框回歸能夠有效地檢測(cè)出物體邊框。為了加速網(wǎng)絡(luò)搜索，作者使用了輸入尺度為512x512的、較輕量級(jí)的ResNet-10作為網(wǎng)絡(luò)主干。
IRLAS的作者觀察發(fā)現(xiàn)：人們自行設(shè)計(jì)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)往往比自動(dòng)化生成的那些結(jié)構(gòu)更優(yōu)雅，而這些結(jié)構(gòu)同時(shí)定義著網(wǎng)絡(luò)的響應(yīng)時(shí)間和內(nèi)存消耗。因此，作者沒有顯式地設(shè)定資源消耗的約束，而是試圖促使生成的網(wǎng)絡(luò)拓?fù)浔M可能地模仿某種經(jīng)典網(wǎng)絡(luò)模型（如ResNet）?！澳７隆边@一部分是通過一個(gè)獎(jiǎng)勵(lì)函數(shù)中的一個(gè)附加項(xiàng)來實(shí)現(xiàn)的。
圖注：IRLAS概觀。圖片來源：Guo et. al
我本人非常喜歡這種“提取已有網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)的精華從而更好地訓(xùn)練NAS模型”的思想。如果作者能進(jìn)一步得出一種方案使得NAS模型能夠借鑒多種經(jīng)典模型（而不止一個(gè)），或許會(huì)更有意思呢。
王婆警告：我（原博文作者）也是這篇論文的合著作者之一，所以以下觀點(diǎn)可能有所偏頗哦～
傳統(tǒng)上，基于強(qiáng)化學(xué)習(xí)的NAS算法需要大量的運(yùn)算（通常以“GPUx小時(shí)”計(jì)，或者“TPU-小時(shí)”）。盡管這些NAS算法在分類任務(wù)上對(duì)較小的“代理”數(shù)據(jù)集（比如CIFAR-10）還是有不錯(cuò)的性能，但是在輸出較為“密集”的任務(wù)（如語(yǔ)義分割）上，暫時(shí)還沒有這種“代理”數(shù)據(jù)集可用。況且，訓(xùn)練一個(gè)分割模型可比訓(xùn)練分類模型耗費(fèi)的時(shí)間和資源多多了。
正因如此，我們這篇文章專注于加速基于強(qiáng)化學(xué)習(xí)的語(yǔ)義分割神經(jīng)架構(gòu)搜索的內(nèi)層循環(huán)——也就是對(duì)于采樣的網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練與評(píng)估。我們以一個(gè)預(yù)訓(xùn)練的圖像分類器為基礎(chǔ)（這里使用的是MobileNet-v2），只對(duì)它的解碼器部分進(jìn)行搜索。為此，我們?cè)O(shè)計(jì)了一些加速收斂的技巧：1）兩階段訓(xùn)練與早停（early stopping）。第一階段中，我們提前計(jì)算出編碼器的輸出，并只訓(xùn)練解碼器。如果這一階段后的獎(jiǎng)勵(lì)值比平均的獎(jiǎng)勵(lì)低的話，就干脆終止這次訓(xùn)練；否則進(jìn)入第二階段，以端到端的方式訓(xùn)練整個(gè)網(wǎng)絡(luò)。2）我們借助知識(shí)蒸餾和Polyak權(quán)重平均來加速解碼器部分的收斂。3）另外，我們還運(yùn)用中繼監(jiān)督優(yōu)化——但不是簡(jiǎn)單地使用單個(gè)網(wǎng)絡(luò)層來進(jìn)行分割，而是使用強(qiáng)化學(xué)習(xí)控制器產(chǎn)生的模型結(jié)構(gòu)對(duì)中繼分割器進(jìn)行過參數(shù)化。我們推測(cè)，這種過參數(shù)化對(duì)于小型語(yǔ)義分割模型有以下幫助：a）它可以使網(wǎng)絡(luò)主干的梯度更平滑，b）它使得對(duì)較淺的中間層的任務(wù)要求不那么嚴(yán)苛。
圖注：作者發(fā)現(xiàn)的一種用于語(yǔ)義分割的模型。圖片來源：Nekrasov et. al
像上邊提到的一些工作一樣，F(xiàn)BNet的作者也是把搜索空間初始化為一個(gè)由不同的層組成的巨大的圖，并采用可微的隨機(jī)優(yōu)化方法，輔以Gumbel采樣技巧進(jìn)行搜索。除此之外，作者用了一個(gè)查詢表來估計(jì)生成的網(wǎng)絡(luò)通路上每一個(gè)塊運(yùn)算花費(fèi)的時(shí)間。與那些只搜索一兩種塊（單元）的NAS文章不同，作者在這里定義了整個(gè)網(wǎng)絡(luò)的宏觀架構(gòu)（宏觀結(jié)構(gòu)空間）和每一層的候選塊（微觀結(jié)構(gòu)空間），并對(duì)它們分別進(jìn)行搜索。
圖注：FBNet搜索到的一些網(wǎng)絡(luò)架構(gòu)。K代表卷積核大小，E代表放大倍率，G代表卷積分組的參數(shù)圖片來源：Wu et. al
FBNet的作者以Samsung Galaxy S8為目標(biāo)設(shè)備，使用int8數(shù)據(jù)類型進(jìn)行推斷。作者認(rèn)為，以多種不同的設(shè)備為目標(biāo)是不現(xiàn)實(shí)的，畢竟我們要搜索的是更好的針對(duì)特定設(shè)備的網(wǎng)絡(luò)（上文提到的查詢表也是針對(duì)特定設(shè)備的）。
這篇文章的作者將DARTS面向語(yǔ)義分割進(jìn)行了適應(yīng)，并將搜索空間設(shè)計(jì)為三種單元——圖片分類里常見的普通單元、縮小單元，以及受ASPP啟發(fā)而設(shè)計(jì)的多尺度單元。除了特定任務(wù)的損失函數(shù)外，算法的優(yōu)化目標(biāo)還加入了一個(gè)新的目標(biāo)函數(shù)——“選擇特定操作的代價(jià)”。為了定義給定操作的這個(gè)“代價(jià)”值，作者提出了對(duì)“僅使用給定操作建立的單元”和“僅使用單一操作建立的單元”之間響應(yīng)時(shí)間、參數(shù)數(shù)量或FLOP數(shù)的差距進(jìn)行比較、衡量的方法。
圖注：基于資源的語(yǔ)義分割神經(jīng)架構(gòu)搜索。圖片來源：Zhang et. al
作者在搜索多尺度單元之前，首先搜索了包含普通單元和縮小單元的語(yǔ)義分割網(wǎng)絡(luò)主干，再使用ImageNet對(duì)他們進(jìn)行微調(diào)。意外的是，作者使用這樣簡(jiǎn)單粗暴的估計(jì)方式依然能有效地找到小而準(zhǔn)確的網(wǎng)絡(luò)架構(gòu)。
下邊還有兩篇文章，雖然這兩篇并非與NAS緊密相關(guān)，但或許對(duì)某些人來講還是有點(diǎn)意思的。
這篇文章的作者試圖解決的是多模態(tài)融合問題——也就是說，給定多個(gè)固定模態(tài)的網(wǎng)絡(luò)，去尋找連接他們的隱藏層的最佳方式，從而對(duì)于特定的任務(wù)達(dá)到最佳的性能。舉例而言，一種常見的策略是晚融合（late-fusion）——只有每個(gè)網(wǎng)絡(luò)最后一層的輸出被融合在一起（比如求和，連接等等）。作者將多模態(tài)融合問題也定義為神經(jīng)架構(gòu)搜索，它不是從零開始對(duì)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行的搜索，而是僅僅尋找已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)的連接方式。
為此，作者使用了基于序列模型的優(yōu)化方法（SMBO）。在SMBO中，往往會(huì)用一個(gè)單獨(dú)的、稱作“surrogate”的函數(shù)來估計(jì)采樣到的架構(gòu)的準(zhǔn)確率。不一樣的是，搜索空間是從一個(gè)比較小的架構(gòu)集合開始的，“surrogate”函數(shù)被預(yù)訓(xùn)練后，網(wǎng)絡(luò)架構(gòu)的尺寸才被逐漸變大。傳統(tǒng)NAS框架中這種方法的一個(gè)經(jīng)典案例是漸進(jìn)式NAS。
通過上述方法，作者找到了一些在MM-IMDB數(shù)據(jù)集上用于預(yù)測(cè)電影流派和電影簡(jiǎn)介的多模態(tài)融合架構(gòu)，以及在NTU RGB-D數(shù)據(jù)集上用于根據(jù)姿態(tài)和RGB信息進(jìn)行行為識(shí)別的架構(gòu)。
在神經(jīng)生物學(xué)中有這樣一種理論：對(duì)于相似的物體，人腦會(huì)產(chǎn)生相似的神經(jīng)響應(yīng)?；谶@種理論，作者推測(cè)：具有與人腦相似的激活機(jī)制的神經(jīng)網(wǎng)絡(luò)，也應(yīng)該有更強(qiáng)的泛化能力。因此，作者提出了一種“與人腦模型的相似度”（HMS）的評(píng)價(jià)指標(biāo)，并用這種指標(biāo)來對(duì)人體的功能性磁共振成像（fMRI）和神經(jīng)網(wǎng)絡(luò)的激活行為進(jìn)行比對(duì)。在這里，作者考慮的網(wǎng)絡(luò)稱作PredNet，可用于非監(jiān)督視頻預(yù)測(cè)，即給定當(dāng)前幀、預(yù)測(cè)之后可能發(fā)生的內(nèi)容。
為了定義HMS，作者建立了一種“表示性不相似程度矩陣”（RDM，representational dissimilarity matrix）來量化兩個(gè)系統(tǒng)（這里是網(wǎng)絡(luò)與人腦）對(duì)一對(duì)刺激的響應(yīng)。給定兩個(gè)RDM，HMS被定義為二者的斯皮爾曼等級(jí)相關(guān)系數(shù)。
圖注：HMS指標(biāo)的計(jì)算流。圖片來源：Blanchard et. al
值得關(guān)注的一點(diǎn)是，作者發(fā)現(xiàn)HMS與驗(yàn)證集精確度有很強(qiáng)的相關(guān)性——也就是說，HMS也許能夠作為用于尋找具有較強(qiáng)泛化性能的網(wǎng)絡(luò)并提早停止的指標(biāo)。另外，要計(jì)算HMS，該方法只需要92次刺激。如果能看到這一研究方向能讓生物學(xué)理論與人工神經(jīng)網(wǎng)絡(luò)碰撞產(chǎn)生怎樣的火花，那就有意思啦！
該論文的實(shí)現(xiàn)代碼已開源：
https://github.com/CVRL/human-model-similarity
盡管說“CVPR 2019是NAS重大突破的一場(chǎng)盛會(huì)”有點(diǎn)言過其實(shí)，但能見識(shí)到這么多工作在克服了對(duì)大量GPU/TPU算力的依賴的同時(shí)又能達(dá)到與之相當(dāng)?shù)男阅?，?shí)在是激(yi)動(dòng)(ke)人(sai)心(ting)呀！我很期待看到NAS的研究將會(huì)取得怎樣的進(jìn)展，以及NAS的眾多研究者能夠想到怎樣的技巧呢。
總結(jié)了這么多，我還想提及一點(diǎn)：從零開始搜索用于圖像以外的分類任務(wù)的網(wǎng)絡(luò)架構(gòu)依然是個(gè)巨大的挑戰(zhàn)。今年我們見識(shí)到了一些神經(jīng)架構(gòu)搜索方法有基于強(qiáng)化學(xué)習(xí)改進(jìn)的（如NAS-FPN、FastDenseNAS）、基于可微優(yōu)化改進(jìn)的（如AutoDeepLab、CAS）和從一開始就預(yù)定義巨大的網(wǎng)絡(luò)結(jié)構(gòu)的（類似于DARTS的那些），而這些都或多或少地做出了一些讓步——比如將搜索空間限定在有限數(shù)量的一些層（基于強(qiáng)化學(xué)習(xí)的那些），或在搜索開始時(shí)預(yù)定義巨大的結(jié)構(gòu)（基于DARTS的）。我不禁想到了我們?cè)?015年左右見到的語(yǔ)義分割的進(jìn)展——那時(shí)候的那些工作，大多數(shù)都是基于圖像分類器的改進(jìn)的（見Long et. al的開創(chuàng)性工作——FCN）。而從那之后，針對(duì)各種具體任務(wù)的各種模型逐漸變得越來越成熟、多樣化（如ASPP、PSP、RefineNet等等），進(jìn)而推動(dòng)了這個(gè)領(lǐng)域的蓬勃發(fā)展。我相信，不久之后，我們也會(huì)見識(shí)到更多為具體任務(wù)量身定做的NAS模型，而不只是圖像分類和語(yǔ)言建模這些基本任務(wù)。
非常感謝Chen Hao閱讀本文初版草稿并提出建設(shè)性的意見和建議。
本文撰寫于2019年7月5日。
本文編輯：Pita
英語(yǔ)原文：https://drsleep.github.io/NAS-at-CVPR-2019/
想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？
點(diǎn)擊【CVPR 2019 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索進(jìn)展綜述】即可訪問!
福利大放送——滿滿的干貨課程免費(fèi)送！
「好玩的Python：從數(shù)據(jù)挖掘到深度學(xué)習(xí)」該課程涵蓋了從Python入門到CV、NLP實(shí)踐等內(nèi)容，是非常不錯(cuò)的深度學(xué)習(xí)入門課程，共計(jì)9節(jié)32課時(shí)，總長(zhǎng)度約為13個(gè)小時(shí)。。
課程頁(yè)面：https://ai.yanxishe.com/page/domesticCourse/37
「計(jì)算機(jī)視覺基礎(chǔ)入門課程」本課程主要介紹深度學(xué)習(xí)在計(jì)算機(jī)視覺方向的算法與應(yīng)用，涵蓋了計(jì)算機(jī)視覺的歷史與整個(gè)課程規(guī)劃、CNN的模型原理與訓(xùn)練技巧、計(jì)算機(jī)視覺的應(yīng)用案例等，適合對(duì)計(jì)算機(jī)視覺感興趣的新人。
課程頁(yè)面：https://ai.yanxishe.com/page/domesticCourse/46
現(xiàn)AI研習(xí)社將兩門課程免費(fèi)開放給社區(qū)認(rèn)證用戶，只要您在認(rèn)證時(shí)在備注框里填寫「Python」，待認(rèn)證通過后，即可獲得該課程全部解鎖權(quán)限。心動(dòng)不如行動(dòng)噢~
認(rèn)證方式：https://ai.yanxishe.com/page/blogDetail/13999
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
