雷鋒網(wǎng) AI 科技評論按：進化算法和生成式對抗性網(wǎng)絡(luò)GANs類似，提出時大家都覺得是很好的想法，可以幫人類極大地拓展行為和想象空間，然而找到好的、可控的實現(xiàn)方法卻沒那么簡單。GANs方面現(xiàn)在已經(jīng)有了許多的成果，但是進化算法仍然停留在較為初期的狀態(tài)，無法生成大規(guī)模、復雜的網(wǎng)絡(luò)，需要的計算資源也是在計算集群的級別上。

不過，進化算法的研究也是一步步在“進化”的，最近這項來自南非開普敦大學的研究就帶來了新的發(fā)現(xiàn)，只用單塊GPU的資源就進化出了理想的網(wǎng)絡(luò)結(jié)構(gòu)，還刷新了三項測試的結(jié)果。雷鋒網(wǎng) AI 科技評論把背景和這篇論文的成果簡單介紹如下。

深度神經(jīng)網(wǎng)絡(luò)是強大但是反直覺的野獸，要有豐富的經(jīng)驗、反復試錯，才能駕馭它們得到好的表現(xiàn)。也有許多例子證明，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)會隨著深度的增加不斷提高。這些特性加上深度學習在各個領(lǐng)域內(nèi)越來越強的影響力都表明，能自動找到最優(yōu)或者接近最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)的方法越來越重要。

不過顯然，網(wǎng)絡(luò)中每一層的特性、層與層的順序、激活函數(shù)、全連接層里的單元數(shù)量、卷積層里卷積核的數(shù)量等等建立深度學習網(wǎng)絡(luò)需要的參數(shù)，挑選的時候每一項都不算容易。不過現(xiàn)在有一個好處是，我們有豐富的計算資源，一般來說都可以嘗試許多種不同的組合，找到效果比較好的。那有沒有可能只用非常有限的計算資源，比如一塊GPU，就取得不錯的結(jié)果呢？

這篇論文就討論了一種思路，通過進化算法，發(fā)展出優(yōu)秀的神經(jīng)網(wǎng)絡(luò)。這樣的神經(jīng)進化算法并不是新鮮事物，大概三十年前就有人提出過，最開始是在一項跟神經(jīng)網(wǎng)絡(luò)中的連接權(quán)重相關(guān)的研究中。

神經(jīng)進化算法的近期成果

下面介紹一下神經(jīng)進化算法方面的近期相關(guān)工作，跟這篇論文中的成果相比，它們都用到了很多的計算資源。E. Real 等在“Large-scale evolution of image classifiers”（arXiv:1703.01041, 2017）中提出了一種神經(jīng)進化的方法，優(yōu)化用于圖像分類的神經(jīng)網(wǎng)絡(luò)，其中用到了含有250臺計算機的并行計算集群，而在CIFAR圖像數(shù)據(jù)集任務(wù)中取得了可觀的成果。B. Zoph 和 Q. V. Le 則在“Neural architecture search with reinforcement learning”（arXiv:1611.01578, 2016）中用了一個綜合了強化學習的循環(huán)神經(jīng)網(wǎng)絡(luò)，用來學習優(yōu)秀的架構(gòu)，他們一共在800個GPU上訓練了800個網(wǎng)絡(luò)。

R. Miikkulainen 等人提出了CoDeepNEAT（“Evolving deep neural networks”，arXiv:1703.00548, 2017），其中產(chǎn)生了一大批模型和藍圖。這些藍圖是由數(shù)個節(jié)點組成的，節(jié)點指向表征了神經(jīng)網(wǎng)絡(luò)的特定模塊。這樣一來，他們所提的方法就讓重復結(jié)構(gòu)的進化變得可能，因為藍圖可以重復使用進化后的模塊。T. Desell 提出了 EXACT（“Large scale evolution of convolutional neural networks using volunteer computing” ，arXiv:1703.05422, 2017），這是一種用來部署在分布式計算集群上的神經(jīng)進化算法，他們當時使用了4500臺志愿參與者的計算機，進化出了12萬個網(wǎng)絡(luò)用來搞定MNIST數(shù)據(jù)集。他們的方法中沒有使用池化層，也僅限于使用2維的輸入和濾波器。

作者們還發(fā)現(xiàn)，近期有研究中只用一個GPU就可以進化出能夠準確判斷出監(jiān)督學習任務(wù)中需要的是回歸模型還是分類模型的深度神經(jīng)網(wǎng)絡(luò)，在一系列不同的任務(wù)中獲得了96%的平均準確率。（E. Dufourq 和 B. A. Bassett, “Automated problem identification: Regression vs classification via evolutionary deep networks”，Annual Conference of the South African Institute of Computer Scientists and Information Technologists, ACM, 2017）這項成果是作者們的這篇論文的直接先驅(qū)，而且只要有足夠的計算資源就可以無縫銜接到這篇論文中的網(wǎng)絡(luò)優(yōu)化過程中來。

基因算法

基因算法（genetic algorithm，GA）是一種可以用來解決優(yōu)化問題的進化算法。首先初始化一群染色體，每個染色體都表征了優(yōu)化問題的一個解決方案。然后通過一個匹配度函數(shù)評價每個染色體，以確定哪個染色體可以解決這個問題。在迭代進化模型中，基因算法會迭代很多次，可以稱作“世代”（generations），一直迭代到預定義的條件達成為止（比如最大世代數(shù)目）。每一個染色體由很多個基因組成，這些基因就可以用基因操作器進行替換。經(jīng)過基因操作器操作之后的染色體，就可以稱為原來染色體的子代（offspring）。根據(jù)染色體群落數(shù)目的不同，可以產(chǎn)生多個子代。每個世代中，子代染色體都會代替現(xiàn)有的染色體群落。

這篇論文中，作者們使用了傳統(tǒng)的基因算法。他們還額外增加了世代數(shù)目和網(wǎng)絡(luò)訓練中epoch的數(shù)目，用來探索最佳的epoch的數(shù)目。所用的基因算法如下圖。

作者們采用基因算法的原因是，染色體的復雜程度可以根據(jù)編碼的基因數(shù)目增大或者降低?；蛩惴ㄏ啾绕渌M化算法還有一些好處：它們可以流暢地處理離散（比如層類型）和連續(xù)（比如學習速率）的連續(xù)空間，進行神經(jīng)進化研究的時候這就是理想的選擇。

EDEN

在這篇論文中，作者們提出了進化性深度網(wǎng)絡(luò)（Evolutionary DEep Networks，EDEN），這算一種結(jié)合了基因算法和深度神經(jīng)網(wǎng)絡(luò)的的神經(jīng)進化算法，用來探索神經(jīng)網(wǎng)絡(luò)架構(gòu)、相關(guān)的超參數(shù)以及epoch數(shù)目的搜索空間。在這項研究中，作者們探索了例如嵌入層的優(yōu)化這類的額外特征，并且提高了現(xiàn)有研究的復雜度。作者們希望通過EDEN解答兩個問題：1，能否通過進化的方法得出總體來說較為優(yōu)秀的架構(gòu)和超參數(shù)用來解決許多不同的問題（并不僅限于圖像識別）？2，與之前研究中使用的大規(guī)模計算集群相反，他們能否用單個GPU就達到這一目標？

作者們將EDEN接入了TensorFlow，這樣新的層、函數(shù)以及其它的特征都可以輕松地被EDEN集合、應(yīng)用，因為這些特征的表征函數(shù)都可以作為TensorFlow函數(shù)調(diào)用。而且，EDEN也不局限于TensorFlow，其它的現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)框架也可以用來實現(xiàn)EDEN。下圖就是一個EDEN的染色體在編碼后得到的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的例子。

每個EDEN染色體包含兩個基因，編碼學習速率和一個神經(jīng)網(wǎng)絡(luò)。圖中展現(xiàn)的是一個用EDEN進化出的用于情緒分析的神經(jīng)網(wǎng)絡(luò)。EDEN創(chuàng)造了一個輸出維度為120的嵌入層，其后有3個一維卷積層。EDEN進化出了濾波器的數(shù)目、每個濾波器的維度，以及每個濾波器響應(yīng)的激活函數(shù)。對于最后一個層，EDEN決定使用的激活函數(shù)是sigmoid。這個染色體上的學習速率是0.0023。

下面這個動圖展示了EDEN執(zhí)行的過程中染色體進化的過程，要解決的問題是一個MNIST圖像分類問題。這個過程中神經(jīng)元群落向著一個高效的解決方案收斂，最終主要由二維卷積層組成。

實驗結(jié)果

運用EDEN，在10個世代和13個訓練epoch后，作者們在多項測試中分別得到的網(wǎng)絡(luò)結(jié)果如下。

對于不同的任務(wù)，網(wǎng)絡(luò)中進化出的學習速率和參數(shù)數(shù)目也不一樣。其中EMNIST-balanced、EMNIST-digits 和 Fashion-MNIST 三項任務(wù)中取得了最好的結(jié)果，刷新了目前的最好成績。對于CIFAR-10中低很多的表現(xiàn)，作者們認為原因是，由于他們這項研究關(guān)注效率更多，所以對模型的深度做出了一定限制，也就限制了CIFAR-10任務(wù)中的表現(xiàn)。

這張圖是在MNIST任務(wù)中，網(wǎng)絡(luò)進化到不同世代的平均匹配度變化圖。其中的豎線標出的是整個群落中5%到95%的匹配度值。在進化剛開始時，群落中的匹配度有很大的不同，然后隨著解決方案變好、群落收斂，匹配度的變化幅度開始減小。圖中也標出了自進化開始之后，最初、中間、最終三個世代時的網(wǎng)絡(luò)結(jié)構(gòu)以及相關(guān)的超參數(shù)。

作者們表示，他們實驗中只使用了一塊GTX1070 GPU，訓練時間6到24小時，就可以取得這樣的成果，他們覺得非常滿意。他們的研究也首次嘗試了把神經(jīng)進化用在一維卷積網(wǎng)絡(luò)的創(chuàng)造中，用來解決情感分析、包括嵌入層的優(yōu)化問題。

更多詳情請參見原論文：https://arxiv.org/pdf/1709.09161.pdf ，雷鋒網(wǎng) AI 科技評論編譯

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。