0
雷鋒網(wǎng) AI 科技評論按：一直低調(diào)的 Uber AI 研究院近日連發(fā) 5 篇論文，介紹了他們在基因算法（genetic algorithm）、突變方法（mutation）和進(jìn)化策略（evolution strategies）等神經(jīng)演化思路方面的研究成果，同時(shí)也理論結(jié)合實(shí)驗(yàn)證明了神經(jīng)演化可以取代 SGD 等現(xiàn)有主流方法用來訓(xùn)練深度強(qiáng)化學(xué)習(xí)模型，同時(shí)取得更好的表現(xiàn)。
神經(jīng)演化（Neuroevolution）是一種符合直覺的、近年正在重新獲得關(guān)注的機(jī)器學(xué)習(xí)研究思路。生物進(jìn)化是在繁衍中不斷產(chǎn)生突變、不斷出現(xiàn)帶有新的特性的個(gè)體，然后整個(gè)種群中能適應(yīng)環(huán)境的個(gè)體生存下來、不能適應(yīng)環(huán)境的就被淘汰。機(jī)器學(xué)習(xí)領(lǐng)域的研究者們就已經(jīng)反復(fù)嘗試過用這樣的思路探索高效的神經(jīng)網(wǎng)絡(luò)架構(gòu)（不再憑研究人員的直覺去設(shè)計(jì)），比如初始化一百個(gè)互相之間略有區(qū)別的網(wǎng)絡(luò)，訓(xùn)練以后選出表現(xiàn)最好的那個(gè)，然后再拷貝出 100 個(gè)它的帶有小的隨機(jī)改變的副本（模擬生物進(jìn)化中的突變），進(jìn)行下一輪測試篩選和帶突變復(fù)制；前沿學(xué)術(shù)研究機(jī)構(gòu)谷歌大腦（Google Brain）的負(fù)責(zé)人 Jeff Dean 也表示過神經(jīng)演化是一個(gè)非常有潛力的研究方向（另一個(gè)他覺得很有潛力的方向是稀疏激活的網(wǎng)絡(luò)）。
但是根據(jù)這樣反復(fù)變化+篩選的過程，我們已經(jīng)可以推斷出用神經(jīng)演化搜索神經(jīng)網(wǎng)絡(luò)架構(gòu)是一件非常耗費(fèi)計(jì)算能力的事情，所以目前為止能得到的網(wǎng)絡(luò)規(guī)模也不大、完成的任務(wù)也不夠復(fù)雜。雷鋒網(wǎng) AI 科技評論前段時(shí)間也報(bào)道過一篇在減小計(jì)算能力需求方面做出了很大進(jìn)步的論文《進(jìn)化算法可以不再需要計(jì)算集群，開普敦大學(xué)的新方法用一塊 GPU 也能刷新 MNIST 記錄》。
而這次 Uber 的論文探索了神經(jīng)進(jìn)化的另一種用法，就是用它訓(xùn)練神經(jīng)網(wǎng)絡(luò)。比如對于架構(gòu)固定的神經(jīng)網(wǎng)絡(luò)，用基于神經(jīng)進(jìn)化思路的微小擾動(dòng)和突變改變連接權(quán)重，從而實(shí)現(xiàn)了網(wǎng)絡(luò)的訓(xùn)練。并且他們新開發(fā)的技術(shù)可以讓網(wǎng)絡(luò)高效地進(jìn)化，并在某些應(yīng)用下取得了比基于傳統(tǒng)基于梯度的方法（SGD 和策略梯度）更好的表現(xiàn)。雷鋒網(wǎng) AI 科技評論把 Uber AI 研究院綜述博文和論文簡介編譯如下。
在深度學(xué)習(xí)領(lǐng)域，大家已經(jīng)習(xí)慣了用隨機(jī)梯度下降 SGD 來訓(xùn)練上百層的、包含幾百萬個(gè)連接的深度神經(jīng)網(wǎng)絡(luò)。雖然一開始沒能嚴(yán)格地證明 SGD 可以讓非凸函數(shù)收斂，但許多人都認(rèn)為 SGD 能夠高效地訓(xùn)練神經(jīng)網(wǎng)絡(luò)的重要原因是它計(jì)算梯度的效率很高。
不過在 Uber 看來，SGD 雖然熱門，但它不一定總是最好的選擇。近日 Uber 就一口氣發(fā)布了關(guān)于神經(jīng)演化（Neuroevolution）的 5 篇論文，其中的訓(xùn)練方法不再是 SGD，而是進(jìn)化算法；他們的研究結(jié)果表明，進(jìn)化算法同樣可以高效地為強(qiáng)化學(xué)習(xí)模型訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。對 Uber 來說，能夠借助數(shù)據(jù)持續(xù)自我改進(jìn)的機(jī)器學(xué)習(xí)模型已經(jīng)在他們的業(yè)務(wù)中占據(jù)了不少地位，而開發(fā)出多種多樣的強(qiáng)有力的學(xué)習(xí)方法（比如神經(jīng)進(jìn)化算法）就能夠幫助他們更好地達(dá)成自己「開發(fā)更安全、更可靠的交通解決方案」的目標(biāo)。
借助新開發(fā)出的技術(shù)，Uber AI 的研究人員已經(jīng)可以讓深度神經(jīng)網(wǎng)絡(luò)高效地進(jìn)化。同時(shí)他們也驚訝地發(fā)現(xiàn)，一個(gè)非常簡單的基因算法（genetic algorithm）就可以訓(xùn)練帶有超過四百萬個(gè)參數(shù)的卷積網(wǎng)絡(luò)，讓它能夠直接看著游戲畫面玩 Atari 游戲；這個(gè)網(wǎng)絡(luò)可以在許多游戲里取得比現(xiàn)代深度強(qiáng)化學(xué)習(xí)算法（比如 DQN 和 A3C）或者進(jìn)化策略（evolution strategies）更好的表現(xiàn)，同時(shí)由于算法有更強(qiáng)的并行能力，還可以運(yùn)行得比這些常見方法更快。
這個(gè)結(jié)果令人十分驚喜，一個(gè)原因是基因算法并不是基于梯度的，此前也沒人期待它對于四百萬個(gè)參數(shù)這樣大的參數(shù)空間還有很好的拓展性；另一個(gè)原因是，用簡單的基因算法就能達(dá)到與頂級的現(xiàn)代強(qiáng)化學(xué)習(xí)方法同等甚至更好的表現(xiàn)，此前也沒人覺得這事有任何可能性。
Uber AI 的研究人員們進(jìn)一步的研究表明，現(xiàn)代的一些基因算法改進(jìn)方案，比如新穎性搜索算法（novelty search）不僅在基因算法的效果基礎(chǔ)上得到提升，也可以在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)上工作，甚至還可以改進(jìn)探索效果、對抗帶有欺騙性的問題（帶有有挑戰(zhàn)性的局部極小值的問題）；Q-learning（DQN）、策略梯度（A3C）、進(jìn)化策略、基因算法之類的基于反饋?zhàn)畲蠡悸返乃惴ㄔ谶@種狀況下的表現(xiàn)并不理想。
在另一篇論文中，Uber AI 的研究人員們展示出可以把梯度結(jié)合在神經(jīng)演化中，提升它進(jìn)化循環(huán)神經(jīng)網(wǎng)絡(luò)和非常深的深度神經(jīng)網(wǎng)絡(luò)的能力。這樣一來，超過一百層的深度神經(jīng)網(wǎng)絡(luò)也可以進(jìn)化，這要比之前的神經(jīng)演化研究中得到的結(jié)果高出一個(gè)數(shù)量級。作者們的方法是計(jì)算網(wǎng)絡(luò)輸出關(guān)于連接權(quán)重的梯度（并不是傳統(tǒng)深度學(xué)習(xí)中計(jì)算訓(xùn)練誤差的梯度），從而可以對隨機(jī)突變進(jìn)行調(diào)節(jié)，對于最敏感那些的網(wǎng)絡(luò)參數(shù)也就可以處理得比以往精細(xì)得多。這樣一來就解決了以往大規(guī)模神經(jīng)網(wǎng)絡(luò)中的隨機(jī)突變效果不好的問題。
這項(xiàng)研究是對研究領(lǐng)域中已經(jīng)出現(xiàn)的技巧運(yùn)用的補(bǔ)充。OpenAI 的研究人員們首先注意到，神經(jīng)演化中的各種進(jìn)化策略（evolution strategy）可以用來優(yōu)化深度神經(jīng)網(wǎng)絡(luò)，尤其在深度強(qiáng)化學(xué)習(xí)任務(wù)中可以取得有競爭力的表現(xiàn)。不過目前為止這個(gè)結(jié)果更廣泛的意義和作用都還僅限于大家的猜測中。
在這項(xiàng)研究中，Uber AI 的研究人員們把注意力放在進(jìn)化策略的進(jìn)一步創(chuàng)新上，他們在 MNIST 數(shù)據(jù)集上進(jìn)行測試，看看進(jìn)化策略近似計(jì)算出的梯度和 SGD 算出的每個(gè) mini-batch 的最優(yōu)梯度到底有多大區(qū)別，以及它們之間的區(qū)別需要保持在什么程度才能讓進(jìn)化策略發(fā)揮出良好表現(xiàn)。實(shí)驗(yàn)表明，只要提供了足夠計(jì)算資源用來提高梯度近似計(jì)算的質(zhì)量，進(jìn)化策略可以在 MNIST 上達(dá)到 99% 準(zhǔn)確率。這同時(shí)也解釋了為什么進(jìn)化策略越來越成為深度強(qiáng)化學(xué)習(xí)領(lǐng)域的重要方法，就是因?yàn)殡S著并行計(jì)算的程度越來越高，沒有什么方法可以有獲得完美的梯度信息的“特權(quán)”，那么只需近似的梯度就能發(fā)揮良好表現(xiàn)的進(jìn)化策略在這時(shí)就會(huì)體現(xiàn)出優(yōu)勢。
這項(xiàng)研究進(jìn)一步拓展了對進(jìn)化策略的理解。通過實(shí)證實(shí)驗(yàn)表明，在足夠多的參數(shù)受到擾動(dòng)時(shí)，進(jìn)化策略的表現(xiàn)和 SGD 有所不同，因?yàn)檫M(jìn)化策略優(yōu)化的目標(biāo)是由一個(gè)概率分布（體現(xiàn)為搜索空間中的點(diǎn)云）描述的策略群落的預(yù)期回報(bào)，而 SGD 優(yōu)化的目標(biāo)是單獨(dú)一個(gè)策略的預(yù)期回報(bào)（搜索空間中的一個(gè)點(diǎn)）。 這種區(qū)別就會(huì)讓進(jìn)化策略更多地在搜索空間中的不同位置上走來走去，不管最后的結(jié)果是更好還是更糟（兩種情況在論文中都有詳細(xì)介紹）。
為一個(gè)群落的參數(shù)擾動(dòng)做優(yōu)化還帶來另外一個(gè)結(jié)果，就是進(jìn)化策略訓(xùn)練出的模型要比 SGD 訓(xùn)練出模型的健壯性好得多。進(jìn)化策略優(yōu)化一個(gè)參數(shù)群落的特點(diǎn)也體現(xiàn)出了進(jìn)化策略和貝葉斯方法之間的有趣聯(lián)系。
深度神經(jīng)演化方面的研究帶來一個(gè)非常討人喜歡的結(jié)果，那就是本來為神經(jīng)演化開發(fā)的各種工具如今都可以用來增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程。Uber AI 的研究人員們開發(fā)了一種新算法，它可以把進(jìn)化策略的優(yōu)化能力和可拓展性與神經(jīng)演化中獨(dú)有的方法結(jié)合起來，用一個(gè)鼓勵(lì)各自做出不同行為的智能體群落提升強(qiáng)化學(xué)習(xí)任務(wù)中的探索能力。
這種基于群落的探索方式和傳統(tǒng)強(qiáng)化學(xué)習(xí)中只有一個(gè)智能體進(jìn)行探索的做法有很大不同，其實(shí)乃至近期的關(guān)于深度強(qiáng)化學(xué)習(xí)的探索能力的研究都只靠一個(gè)智能體進(jìn)行探索。Uber AI 的研究人員們通過實(shí)驗(yàn)表明，增加的這種新的探索方式可以提高進(jìn)化策略在許多領(lǐng)域的表現(xiàn)，包括一些 Atari 游戲、模擬器中的仿人類行走，在這些任務(wù)中都需要躲開具有欺騙性的局部極小值。
對于有興趣往深度神經(jīng)網(wǎng)絡(luò)方面多做探索的神經(jīng)演化研究者們來說，有這么幾件重要的事情需要考慮：首先，這些實(shí)驗(yàn)需要的計(jì)算量要比以往大得多，Uber 這幾篇新論文中的實(shí)驗(yàn)，往往需要在上百個(gè)甚至上千個(gè)同步的 CPU 集群上運(yùn)行。不過，對更多 CPU 和 GPU 性能的渴求不應(yīng)該被看作是對研究的阻礙。長遠(yuǎn)來看，把演化算法拓展到大規(guī)模并行計(jì)算機(jī)系統(tǒng)上有很好的便捷性，也就意味著神經(jīng)演化很有可能是最能在未來世界中占到好處的算法。
這些新結(jié)果和以往在低維神經(jīng)演化研究中得到的結(jié)果大有不同，它們推翻了這些年以來人們對神經(jīng)演化的直覺，尤其為高維空間的搜索帶來了全新的啟示。就像人們在深度學(xué)習(xí)中發(fā)現(xiàn)的一樣，一旦方法的復(fù)雜度超過了某個(gè)閾值，高維空間的搜索好像反倒更容易了，因?yàn)樗鼘植繕O小值不再那么敏感了。深度學(xué)習(xí)領(lǐng)域的研究者們當(dāng)然已經(jīng)對這種思考方法習(xí)以為常，不過神經(jīng)演化領(lǐng)域的研究者們還只是剛剛開始消化這些見解。
舊算法和現(xiàn)代的海量計(jì)算能力結(jié)合起來就可以帶來好得令人驚訝的結(jié)果，神經(jīng)演化的重新復(fù)興就是又一個(gè)有力的例子。神經(jīng)演化方法的活力也很讓人感興趣，因?yàn)樯窠?jīng)演化研究界開發(fā)出的許多技巧可以直接用在深度神經(jīng)網(wǎng)絡(luò)尺度的網(wǎng)絡(luò)中，為有挑戰(zhàn)性的問題帶來各種各樣的工具。更進(jìn)一步地，正如 Uber AI 在論文中展示的，神經(jīng)演化的搜索方法和 SGD 的搜索方法不一樣，從而也給機(jī)器學(xué)習(xí)的各種方法里新增了一個(gè)有趣的替代方案。Uber AI 已經(jīng)開始琢磨神經(jīng)演化會(huì)不會(huì)像深度學(xué)習(xí)那樣迎來一次全面復(fù)興，如果能的話，2017 年就會(huì)是這個(gè)時(shí)代的元年，而他們也非常期待在未來的幾年里神經(jīng)演化領(lǐng)域還能產(chǎn)生哪些精彩成果。
《Deep Neuroevolution: Genetic Algorithms are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning》
https://arxiv.org/abs/1712.06567
深度神經(jīng)進(jìn)化：在強(qiáng)化學(xué)習(xí)中，基因算法是訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的有競爭力的替代方案
重點(diǎn)內(nèi)容概要：
用一個(gè)簡單、傳統(tǒng)、基于群落的基因算法 GA（genetic algorithm）就可以讓深度神經(jīng)網(wǎng)絡(luò)進(jìn)化，并且在有難度的強(qiáng)化學(xué)習(xí)任務(wù)中發(fā)揮良好表現(xiàn)。在 Atari 游戲中，基因算法的表現(xiàn)和進(jìn)化策略 ES（evolution strategies）以及基于 Q-learning（DQN）和策略梯度的深度強(qiáng)化學(xué)習(xí)算法表現(xiàn)一樣好。
深度基因算法「Deep GA」可以成功讓具有超過四百萬個(gè)自由參數(shù)的網(wǎng)絡(luò)進(jìn)化，這也是有史以來用傳統(tǒng)進(jìn)化算法進(jìn)化出的最大的神經(jīng)網(wǎng)絡(luò)。
論文中展現(xiàn)出一個(gè)有意思的現(xiàn)象：如果想要優(yōu)化模型表現(xiàn)，在某些情況下沿著梯度走并不是最佳選擇
新穎性搜索算法（Novelty Search）是一種探索算法，它適合處理反饋函數(shù)帶有欺騙性、或者反饋函數(shù)稀疏的情況。把它和深度神經(jīng)網(wǎng)絡(luò)結(jié)合起來，就可以解決一般的反饋?zhàn)畲蠡惴ǎū热缁蛩惴?GA 和進(jìn)化策略 ES）無法起效的帶有欺騙性的高維度問題。
論文中也體現(xiàn)出，深度基因算法「Deep GA」具有比進(jìn)化策略 ES、A3C、DQN 更好的并行性能，那么也就有比它們更快的運(yùn)行速度。這也就帶來了頂級的編碼壓縮能力，可以用幾千個(gè)字節(jié)表示帶有數(shù)百萬個(gè)參數(shù)的深度神經(jīng)網(wǎng)絡(luò)。
論文中還嘗試了在 Atari 上做隨機(jī)搜索實(shí)驗(yàn)。令人驚訝的是，在某些游戲中隨機(jī)搜索的表現(xiàn)遠(yuǎn)遠(yuǎn)好于 DQN、A3C 和進(jìn)化策略 ES，不過隨機(jī)搜索的表現(xiàn)總還是不如基因算法 GA。
《Safe Mutations for Deep and Recurrent Neural Networks through Output Gradients》
https://arxiv.org/abs/1712.06563
通過輸出梯度在深度神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)中安全地進(jìn)行突變
重點(diǎn)內(nèi)容概要：
借助梯度的安全突變 SM-G（Safe mutations through gradients）可以大幅度提升大規(guī)模、深度、循環(huán)網(wǎng)絡(luò)中的突變的效果，方法是測量某些特定的連接權(quán)重發(fā)生改變時(shí)網(wǎng)絡(luò)的敏感程度如何。
計(jì)算輸出關(guān)于權(quán)重的梯度，而不是像傳統(tǒng)深度學(xué)習(xí)那樣計(jì)算訓(xùn)練誤差或者損失函數(shù)的梯度，這可以讓隨機(jī)的更新步驟也變得安全、帶有探索性。
以上兩種安全突變的過程都不要增加新的嘗試或者推演過程。
實(shí)驗(yàn)結(jié)果：深度神經(jīng)網(wǎng)絡(luò)（超過 100 層）和大規(guī)模循環(huán)神經(jīng)網(wǎng)絡(luò)只通過借助梯度的安全突變 SM-G 的變體就可以高效地進(jìn)化。
《On the Relationship Between the OpenAI Evolution Strategy and Stochastic Gradient Descent》
https://arxiv.org/abs/1712.06564
對 OpenAI 的進(jìn)化策略和隨機(jī)梯度下降之間的關(guān)系的討論
重點(diǎn)內(nèi)容概要：
在 MNIST 數(shù)據(jù)集上的不同測試條件下，把進(jìn)化策略 ES 近似計(jì)算出的梯度和隨機(jī)梯度下降 SGD 精確計(jì)算出的梯度進(jìn)行對比，以此為基礎(chǔ)討論了進(jìn)化策略 ES 和 SGD 之間的關(guān)系。
開發(fā)了快速的代理方法，可以預(yù)測不同群落大小下進(jìn)化策略 ES 的預(yù)期表現(xiàn)
介紹并展示了多種不同的方法用于加速以及提高進(jìn)化策略 ES 的表現(xiàn)。
受限擾動(dòng)的進(jìn)化策略 ES 在并行化的基礎(chǔ)設(shè)施上可以大幅運(yùn)行速度。
把為 SGD 設(shè)計(jì)的 mini-batch 這種使用慣例替換為專門設(shè)計(jì)的進(jìn)化策略 ES 方法：無 mini-batch 的進(jìn)化策略 ES，它可以改進(jìn)對梯度的估計(jì)。這種做法中會(huì)在算法的每次迭代中，把整個(gè)訓(xùn)練 batch 的一個(gè)隨機(jī)子集分配給進(jìn)化策略 ES 群落中的每一個(gè)成員。這種專門為進(jìn)化策略 ES 設(shè)計(jì)的方法在同等計(jì)算量下可以提高進(jìn)化策略 ES 的準(zhǔn)確度，而且學(xué)習(xí)曲線即便和 SGD 相比都要順滑得多。
在測試中，無 mini-batch 的進(jìn)化策略 ES 達(dá)到了 99% 準(zhǔn)確率，這是進(jìn)化方法在這項(xiàng)有監(jiān)督學(xué)習(xí)任務(wù)中取得的最好表現(xiàn)。
以上種種結(jié)果都可以表明在強(qiáng)化學(xué)習(xí)任務(wù)中進(jìn)化策略 ES 比 SGD 更有優(yōu)勢。與有監(jiān)督學(xué)習(xí)任務(wù)相比，強(qiáng)化學(xué)習(xí)任務(wù)中與環(huán)境交互、試錯(cuò)得到的關(guān)于模型表現(xiàn)目標(biāo)的梯度信息的信息量要更少，而這樣的環(huán)境就更適合進(jìn)化策略 ES。
《ES Is More Than Just a Traditional Finite Difference Approximator》
https://arxiv.org/abs/1712.06568
進(jìn)化策略遠(yuǎn)不止是一個(gè)傳統(tǒng)的帶來有限個(gè)結(jié)果的近似方法
重點(diǎn)內(nèi)容概要：
提出了進(jìn)化策略 ES 和傳統(tǒng)產(chǎn)生有限個(gè)結(jié)果的方法的一個(gè)重大區(qū)別，即進(jìn)化策略 ES 優(yōu)化的是數(shù)個(gè)解決方案的最優(yōu)分布（而不是單獨(dú)一個(gè)最優(yōu)解決方案）。
得到了一個(gè)有意思的結(jié)果：進(jìn)化策略 ES 找到的解決方案對參數(shù)擾動(dòng)有很好的健壯性。比如，作者們通過仿人類步行實(shí)驗(yàn)體現(xiàn)出，進(jìn)化策略 ES 找到的解決方案要比基因算法 GA 和信賴域策略優(yōu)化 TRPO 找到的類似解決方案對參數(shù)擾動(dòng)的健壯性強(qiáng)得多。
另一個(gè)有意思的結(jié)果：進(jìn)化策略 ES 在傳統(tǒng)方法容易困在局部極小值的問題中往往會(huì)有很好的表現(xiàn)，反過來說也是。作者們通過幾個(gè)例子展示出了進(jìn)化策略 ES 和傳統(tǒng)的跟隨梯度的方法之間的不同特性。
《Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents》
https://arxiv.org/abs/1712.06560
通過一個(gè)尋找新穎性的智能體群落，改進(jìn)用于深度強(qiáng)化學(xué)習(xí)的進(jìn)化策略的探索能力
重點(diǎn)內(nèi)容概要：
對進(jìn)化策略 ES 做了改進(jìn)，讓它可以更好地進(jìn)行深度探索
通過形成群落的探索智能體提高小尺度神經(jīng)網(wǎng)絡(luò)進(jìn)化的探索的算法，尤其是新穎性搜索算法（novelty search）和質(zhì)量多樣性算法（quality diversity），可以和進(jìn)化策略 ES 組合到一起，提高它在稀疏的或者欺騙性的深度強(qiáng)化學(xué)習(xí)任務(wù)中的表現(xiàn)，同時(shí)還能夠保持同等的可拓展性。
確認(rèn)了組合之后得到的新算法新穎性搜索進(jìn)化策略 NS-ES 和質(zhì)量多樣性進(jìn)化策略 QD-ES 的變體 NSR-ES 可以避開進(jìn)化策略 ES 會(huì)遇到的局部最優(yōu)，并在多個(gè)不同的任務(wù)中取得更好的表現(xiàn)，包括從模擬機(jī)器人在欺騙性的陷阱附近走路，到玩高維的、輸入圖像輸出動(dòng)作的 Atari 游戲等多種任務(wù)。
這一基于群落的探索算法新家庭現(xiàn)在已經(jīng)加入了深度強(qiáng)化學(xué)習(xí)工具包。
via Uber Engineering Blog，雷鋒網(wǎng) AI 科技評論編譯
相關(guān)文章：
即使自動(dòng)駕駛前途未卜，Uber還是建了一座模擬城市進(jìn)行測試
Uber博客剛剛發(fā)文：展示其自動(dòng)駕駛中的可視化工具
進(jìn)化算法可以不再需要計(jì)算集群，開普敦大學(xué)的新方法用一塊GPU也能刷新MNIST記錄
谷歌最新研究成果：手工搭建神經(jīng)網(wǎng)絡(luò)太費(fèi)勁？來試試精確度高達(dá)94.1%的進(jìn)化算法
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
