0
| 本文作者： 周翔 | 2017-04-06 20:47 |
3月28日，地平線機(jī)器人技術(shù)公司創(chuàng)始人余凱博士、亞馬遜AWS機(jī)器學(xué)習(xí)總監(jiān)Alex Smola、亞馬遜AWS解決方案架構(gòu)師鄧明軒以及地平線機(jī)器人技術(shù)公司算法副總裁黃暢，在地平線和雷鋒網(wǎng)聯(lián)合主辦的“大牛講堂”上做了精彩分享。其中Alex Smola做了“使用MXNet實(shí)現(xiàn)快速、可擴(kuò)展、定制化深度學(xué)習(xí)”的主題演講，雷鋒網(wǎng)根據(jù)現(xiàn)場(chǎng)錄音和PPT做了不改變?cè)饩幾g。
Alex Smola于1996年畢業(yè)于慕尼黑工業(yè)大學(xué)，獲物理學(xué)碩士學(xué)位，1998年在柏林工業(yè)大學(xué)取得計(jì)算機(jī)科學(xué)博士學(xué)位。之后，他在澳大利亞國(guó)立大學(xué)擔(dān)任研究院和研究小組組長(zhǎng)。2004-2008年，Alex Smola在NICTA研究中心統(tǒng)計(jì)機(jī)器學(xué)習(xí)項(xiàng)目擔(dān)任項(xiàng)目負(fù)責(zé)人，2008-2012年在雅虎的從事研究工作，2012-2014加入谷歌從事研究工作，2013年加入卡內(nèi)基·梅隆大學(xué)擔(dān)任教授，2015年，他創(chuàng)立了Marianas實(shí)驗(yàn)室，2016年，Alex加入亞馬遜，目前擔(dān)任亞馬遜AWS的機(jī)器學(xué)習(xí)總監(jiān)。迄今為止，Alex共發(fā)表超過(guò)200篇論文并參與編寫(xiě)多本學(xué)術(shù)專著。
演講一開(kāi)始，Alex就提出了一個(gè)問(wèn)題，“為什么我們現(xiàn)在要做深度學(xué)習(xí)？”在他看來(lái)，最主要的原因有兩點(diǎn)：海量的數(shù)據(jù)以及計(jì)算能力的大幅提升。如今，數(shù)據(jù)已經(jīng)可以很容易獲取，而計(jì)算能力的提升則是由于GPU在深度學(xué)習(xí)領(lǐng)域的應(yīng)用。
接著，Alex列舉了一個(gè)例子——FizzBuzz，這是一種用來(lái)教導(dǎo)小學(xué)生除法的游戲：從1數(shù)到100，如果遇見(jiàn)了3的倍數(shù)要說(shuō)Fizz，5的倍數(shù)到說(shuō)Buzz，如果即是3的倍數(shù)又是5的倍數(shù)要說(shuō)FizzBuzz。
如果要通過(guò)編程方法來(lái)實(shí)現(xiàn)，那么需要先生成訓(xùn)練數(shù)據(jù)，然后提取輸入數(shù)據(jù)的特征，然后再訓(xùn)練一個(gè)分類器，讓輸入能夠映射出相應(yīng)的輸出，這一切看起來(lái)似乎非常愚蠢。
但是Alex認(rèn)為，如果你有了“真正的數(shù)據(jù)”，這其實(shí)是是非常有用的。比如訓(xùn)通過(guò)一臺(tái)小型攝像機(jī)來(lái)識(shí)別貓和狗，這個(gè)過(guò)程非常復(fù)雜，而且無(wú)法像以前一樣寫(xiě)出代碼，但是卻有很多樣本數(shù)據(jù)可供使用，可以用來(lái)訓(xùn)練estimator（判定器），然后可以基于這些數(shù)據(jù)搭建一個(gè)模型。
而通過(guò)MXNet，你所需要做的僅僅只有定義輸入數(shù)據(jù)，調(diào)用MXNet的“fully connected layer”，最后獲得Softmax輸出。而MXNet會(huì)替你做好數(shù)據(jù)迭代、加載腳本、以及訓(xùn)練循環(huán)。
不過(guò)，當(dāng)只有一層感知器（perecptron）的時(shí)候，還比較容易訓(xùn)練，但是有多層感知器的的時(shí)候，訓(xùn)練會(huì)變得十分困難。這將涉及到對(duì)每一層的表達(dá)，以及過(guò)程中的對(duì)象變換，而且還會(huì)用到鏈?zhǔn)椒▌t（chain rule，微積分中的求導(dǎo)法則，用于求一個(gè)復(fù)合函數(shù)的導(dǎo)數(shù)），然而MXNet可以自動(dòng)完成這些過(guò)程。
那么要怎樣做具體的圖像識(shí)別呢？這里Alex列舉了另一個(gè)很有名的游戲——“Where's Waldo?”其實(shí)， 《Where's Waldo?》是一套由英國(guó)插畫(huà)家Martin Handford創(chuàng)作的兒童書(shū)籍，這個(gè)書(shū)的目標(biāo)就是讓在讀者在一張人山人海的圖片中找出一個(gè)特定的人物——“Waldo”。那么要如何讓計(jì)算機(jī)來(lái)從圖像中識(shí)別出“Waldo”呢？這里就需要用到卷積神經(jīng)網(wǎng)絡(luò)。
什么是卷積？卷積就是兩個(gè)函數(shù)之間的相互關(guān)系，然后得出一個(gè)新的值，他是在連續(xù)空間做積分計(jì)算，然后在離散空間內(nèi)求和的過(guò)程。卷積運(yùn)算的目的是提取輸入的不同特征，第一層卷積層可能只能提取一些低級(jí)的特征如邊緣、線條和角等層級(jí)，更多層的網(wǎng)絡(luò)能從低級(jí)特征中迭代提取更復(fù)雜的特征。
在卷積神經(jīng)網(wǎng)絡(luò)中，除了卷積層，還有一種叫池化（pooling）的操作。它實(shí)際上是一種形式的向下采樣，有多種不同形式的非線性池化函數(shù)，而其中“最大池化（Max pooling）”是最為常見(jiàn)的。它是將輸入的圖像劃分為若干個(gè)矩形區(qū)域，對(duì)每個(gè)子區(qū)域輸出最大值。池化層會(huì)不斷地減小數(shù)據(jù)的空間大小，因此參數(shù)的數(shù)量和計(jì)算量也會(huì)下降，這在一定程度上也控制了過(guò)擬合。
Alex在這里列舉了兩種卷積神經(jīng)網(wǎng)絡(luò)模型：
Le顧名思義就是指人工智能領(lǐng)域的大牛Lecun。這個(gè)網(wǎng)絡(luò)是深度學(xué)習(xí)網(wǎng)絡(luò)的最初原型，因?yàn)橹暗木W(wǎng)絡(luò)都比較淺，它是較深的。
雷鋒網(wǎng)曾對(duì)LeNet的實(shí)現(xiàn)過(guò)程做過(guò)詳解：
首先，輸入圖像是32×32的灰度圖，第一層經(jīng)過(guò)了一組卷積和，生成了6個(gè)28X28的feature map，然后經(jīng)過(guò)一個(gè)池化層，得到得到6個(gè)14X14的feature map，然后再經(jīng)過(guò)一個(gè)卷積層，生成了16個(gè)10X10的卷積層，再經(jīng)過(guò)池化層生成16個(gè)5×5的feature map。
從最后16個(gè)5X5的feature map開(kāi)始，經(jīng)過(guò)了3個(gè)全連接層，達(dá)到最后的輸出，輸出就是標(biāo)簽空間的輸出。由于設(shè)計(jì)的是只要對(duì)0到9進(jìn)行識(shí)別，所以輸出空間是10，如果要對(duì)10個(gè)數(shù)字再加上26個(gè)大小字母進(jìn)行識(shí)別的話，輸出空間就是62。62維向量里，如果某一個(gè)維度上的值最大，它對(duì)應(yīng)的那個(gè)字母和數(shù)字就是就是預(yù)測(cè)結(jié)果。
谷歌的Inception v1的網(wǎng)絡(luò)將1x1、3x3、5x5的卷積和3x3的最大池化堆疊在一起，并在3x3、5x5的卷積前以及3x3最大池化后分別加上了1x1的卷積核，起到了降低特征圖厚度的作用，上圖就是Inception v1的網(wǎng)絡(luò)結(jié)構(gòu)。
Alex稱，要通過(guò)Caffe來(lái)實(shí)現(xiàn)這一結(jié)構(gòu)需要幾千行代碼，然而要如何簡(jiǎn)化這一過(guò)程呢？這也就引出了一個(gè)問(wèn)題：為什么我們需要另一個(gè)深度學(xué)習(xí)工具？
目前市面上已經(jīng)有了TensorFlow、Caffe、Torch、Keras、CNTK、PaddlePaddle、Theano等等，那么我們?yōu)槭裁催€需要MXNet呢？
Alex介紹道，MXNet主要有3方面的優(yōu)勢(shì)：
效率：節(jié)省計(jì)算資源，資源利用效率高；
速度：可以隨著機(jī)器和GPU的擴(kuò)展呈線性增長(zhǎng)，而且在單臺(tái)機(jī)器上也有很高的效率；
簡(jiǎn)單易用：同時(shí)支持命令式編程（imperative programming）和聲明式編程（declarative programming）。
根據(jù)維基百科的解釋：
命令式編程是一種描述電腦所需作出的行為的編程范型，較高級(jí)的指令式編程語(yǔ)言使用變量和更復(fù)雜的語(yǔ)句，但仍依從相同的范型。因?yàn)槊钍骄幊痰幕A(chǔ)觀念，不但概念上比較熟悉，而且較容易具體表現(xiàn)于硬件，所以大部分的編程語(yǔ)言都是指令式的。
聲明式編程與命令式編程相對(duì)立。它描述目標(biāo)的性質(zhì)，讓電腦明白目標(biāo)，而非流程。聲明式編程是告訴計(jì)算機(jī)需要計(jì)算“什么”而不是“如何”去計(jì)算，而命令式編程則需要用算法來(lái)明確的指出每一步該怎么做。
比如，如果深度架構(gòu)的計(jì)算圖譜需要深度優(yōu)化，則比較適合聲明式編程；而涉及到更新以及圖譜交互時(shí)，比如迭代循環(huán)、參數(shù)更新、定向搜索、特征提取等，這時(shí)命令式編程則更為合適。
Alex認(rèn)為，提高用戶的工作效率最為關(guān)鍵。
由于每個(gè)用戶偏好的編程語(yǔ)言以及深度學(xué)習(xí)的框架可能各不相同，因此MXNet努力擴(kuò)展自己的兼容性。根據(jù)Alex的PPT，目前MXNet已經(jīng)能夠調(diào)用Torch，并可以無(wú)縫兼容Caffe Layer，而且將很快兼容Keras。
雖然MXNet同時(shí)支持命令式編程和聲明式編程，但是并沒(méi)有將兩者融匯貫通。有開(kāi)發(fā)者基于MXNet，開(kāi)發(fā)了MinPy，提供numpy接口，用來(lái)解決這個(gè)問(wèn)題。在使用MinPy時(shí)，只需要簡(jiǎn)單改寫(xiě)一句import語(yǔ)句：import minpy.numpy as np，就能夠開(kāi)始使用MinPy了。由于是完全的命令式編程的接口，編程的靈活性被大大提高。
Alex列舉了一個(gè)例子（如上圖所示），在TensorFlow中，如果需要打印某個(gè)變量，需要在打印語(yǔ)句前加上 “control_dependencies”。而在MinPy中，可以直接使用Python的原生“print”語(yǔ)句。
此外，由于GPU采用的是高度并行的運(yùn)行方式，這也是為何GPU比CPU更加適合深度學(xué)習(xí)的原因。然而想要寫(xiě)出并行的程序則是一件非常痛苦的事情，但是MXNet則可以自動(dòng)執(zhí)行這一過(guò)程：你只需要編寫(xiě)串行程序，MXNet就可以自動(dòng)實(shí)現(xiàn)并行運(yùn)行。
當(dāng)然，Alex也將MXNet與目前最流行的谷歌TensorFlow進(jìn)行了對(duì)比。根據(jù)Alex的介紹，在分布式訓(xùn)練的實(shí)驗(yàn)中，如果用10臺(tái)以上的機(jī)器，MXNet處理圖像樣本的速度要比TensorFlow快2倍。
不過(guò)，Alex也提醒道，要想在分布式訓(xùn)練的過(guò)程中快速達(dá)到收斂，Batch Size的選擇也很重要，并不是越大越好。
作為全球第一大云服務(wù)提供商，亞馬遜也為深度學(xué)習(xí)提供各種云服務(wù)，Alex主要介紹了Amazon Machine Images（簡(jiǎn)稱AMI）以及 CloudFormation Template。
從字面上就可以看出，AMI主打圖像識(shí)別，它可以節(jié)省數(shù)據(jù)科學(xué)家和開(kāi)發(fā)者設(shè)置深度學(xué)習(xí)系統(tǒng)的時(shí)間。除了支持亞馬遜自己的MXNet框架外，AMI還支持TensorFlow、Caffe、Torch、Theano、Keras，用戶可以使用Anaconda、Jupyter、Python 2、Python 3。
Alex表示，如果你要為深度學(xué)習(xí)搭建一個(gè)計(jì)算機(jī)集群（一種計(jì)算機(jī)系統(tǒng)，它通過(guò)一組松散集成的計(jì)算機(jī)軟件和/或硬件連接起來(lái)高度緊密地協(xié)作完成計(jì)算工作），亞馬遜則提供AWS CloudFormation Template。
雖然MXNet有很多優(yōu)勢(shì)，并于去年11月被亞馬遜選為官方深度學(xué)習(xí)框架，又在今年2月加入Apache孵化器，利用Apache軟件基金會(huì)的流程、管理、外展和社區(qū)活動(dòng)，但是目前最流行的仍然是谷歌的TensorFlow等常用框架。由于被谷歌搶占先機(jī)，未來(lái)MXNet想要快速發(fā)展，必須爭(zhēng)取更多開(kāi)發(fā)者的支持。
【招聘】雷鋒網(wǎng)堅(jiān)持在人工智能、無(wú)人駕駛、VR/AR、Fintech、未來(lái)醫(yī)療等領(lǐng)域第一時(shí)間提供海外科技動(dòng)態(tài)與資訊。我們需要若干關(guān)注國(guó)際新聞、具有一定的科技新聞選題能力，翻譯及寫(xiě)作能力優(yōu)良的外翻編輯加入。
簡(jiǎn)歷投遞至 wudexin@leiphone.com，工作地 北京。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
