1
| 本文作者： 新智元 | 2016-05-12 11:49 |
按：繼Facebook、Google之后，亞馬遜也宣布開源其深度學習工具，Open AI成為主流？本文由新智元翻譯自GitHub、Hacker News，介紹了亞馬遜DSSTNE的深度學習工具到底是什么，以及和其他開源工具相比有何不同？
另外，今年夏天，雷鋒網(wǎng)將在深圳舉辦一場盛況空前的“全球人工智能與機器人創(chuàng)新大會”，并發(fā)布“人工智能&機器人Top25創(chuàng)新企業(yè)榜”榜單。如果你也是人工智能、機器人領域的相關公司，想經(jīng)過層層曬選最終入選榜單，可聯(lián)系：2020@leiphone.com。
亞馬遜也被吹上“flow”的風口：繼Facebook公開其深度學習訓練平臺FBLearner Flow細節(jié)后，亞馬遜昨日下午突然宣布開源其深度學習和機器學習工具DSSTNE，并表示與相比其他深度學習工具，DSSTNE尤其擅于訓練稀疏數(shù)據(jù)。近年來，谷歌，F(xiàn)B和OpenAI先后搭建平臺，亞馬遜也宣布工具開源，人工智能系統(tǒng)未來開源趨勢已成，國內(nèi)公司何時跟上國際潮流？
2016年5月11日下午，亞馬遜在GitHub網(wǎng)站將其深度學習和機器學習工具DSSTNE開源（譯注：DSSTNE與英語“destiny”諧音）。亞馬遜方面稱，與其他開源工具相比，DSSTNE尤其擅長訓練稀疏數(shù)據(jù)。新智元第一時間搜集信息，并獲得內(nèi)部核心開發(fā)人員對這款工具的詳解。
向來在開源上不那么積極的亞馬遜有了新動作。難道最近在科技巨頭間掀起了一股“開源”的浪潮？我們能否期待接下來蘋果也會把它家的深度學習來個開源？玩笑說到這里，下面我們就一起來看看，亞馬遜這個DSSTNE深度學習工具到底有什么用處。
根據(jù)GitHub網(wǎng)站消息，DSSTNE是英文“Deep Scalable Sparse Tensor Network Engine”的簡寫，即“深度可伸縮的稀疏張量網(wǎng)絡工具”。亞馬遜相關研究團隊對DSSTNE的描述是 “一個使用GPU訓練和部署深度神經(jīng)網(wǎng)絡的開源工具”。
亞馬遜的工程師最初創(chuàng)建DSSTNE是用于解決在亞馬遜平臺上需要處理的深度學習難題，建立的目標是解決現(xiàn)實中深度學習應用的產(chǎn)品部署問題，在試驗靈活性以外，還強調(diào)速度和規(guī)模。團隊希望把深度學習的潛力從語音、語言理解和物體識別領域擴展到搜索和推薦等其他領域，激發(fā)更多創(chuàng)意。
每一天，有上億人在亞馬遜購物。亞馬遜希望DSSTNE能幫助消費者從眾多的商品中發(fā)現(xiàn)想找的東西。而想要做到好的推薦，就需要神經(jīng)網(wǎng)絡。即便是簡單的3層自動編碼器，加上一個有上億節(jié)點的輸入層（每一個節(jié)點代表一件商品），以及一個包含1000節(jié)點的隱藏網(wǎng)絡，還有一個能反映輸入層的輸出層，所需要學習的參數(shù)就可以達到10億以上。利用目前的硬件，這是很難實現(xiàn)的。即使把神經(jīng)網(wǎng)絡的大小局限在單一商品目錄和身處美國的用戶，也幾乎要觸及當下GPU的能力上限了。
舉例來說，一個3層的自動編碼加權(quán)矩陣，加上輸入時的800萬個界定，以及輸出層和隱藏層的256個節(jié)點，運行一次簡單的計算就需要消耗8G的內(nèi)存。使用開放資源軟件以及上千萬用戶的消費數(shù)據(jù)來訓練這樣的網(wǎng)絡，用市場上最快的GPU也得花上數(shù)周才能得到結(jié)果。亞馬遜意識到，如果不能寫出軟件，然后在多個GPU中分配這些計算的話，他們是不會有大的進步的。
DSSTNE有一系列的特征：
多GPU伸縮：訓練和預測擴展到使用多GPUs，在每一層平行模型拓展計算和存儲。
多層：模式平行伸縮，讓更大型的網(wǎng)絡成為可能。
稀疏數(shù)據(jù)：在稀疏數(shù)據(jù)集中，DSSTNE經(jīng)過了優(yōu)化，可以有更快速的表現(xiàn)。特殊的GPU核心程序在GPU中運行稀疏計算。
在一些數(shù)據(jù)稀疏（幾乎所有的數(shù)值都為零）的任務中，DSSTNE的表現(xiàn)要遠優(yōu)于當下的一些開放資源深度學習工具。
DSSTNE是從無到有的一個工具，用于訓練數(shù)據(jù)稀疏條件下的模型，其他的數(shù)工具，比如Caffe，Tensorflow，Theano和Torch都擁有大型的功能集以及網(wǎng)絡支持。
DSSTNE在氣質(zhì)上跟Caffe很像，強調(diào)產(chǎn)品應用的表現(xiàn)。在涉及稀疏數(shù)據(jù)的問題中，DSSTNE比其他仍和深度學習工具都要快（2.1x compared to Tensorflow in 1 g2.8xlarge），其中就包括推薦難題和許多自然語言理解（NLU）任務。單個服務器內(nèi)，多GPU運行的情況，DSSTNE的表現(xiàn)也比其他的數(shù)據(jù)庫表現(xiàn)要好。DSSTNE能夠在所有可用的GPU中自動分配計算任務，加速所有的計算過程，并能建立更大的模型。
從實際上來看，這意味著它能建立起推薦系統(tǒng)，把上千萬種商品囊括到模型中，而不是上萬種，或者能處理包含大量詞匯的自然語言理解任務。對于這種等級的難題，其他的工具可能會需要轉(zhuǎn)化到CPU來計算稀疏數(shù)據(jù)，這會將效果降低一級。另外，DSSTNE的網(wǎng)絡定義語言會比Caffe的簡單得多，只需要33行代碼來表示通用的AlexNet圖像識別模型，而Caffe語言要求超過300行代碼。
但是，DSSTNE還不支持圖像識別所需要的卷積層，在一些自然語言理解和語音識別任務所需要的復發(fā)層中，支持也很有限。
亞馬遜在GitHub網(wǎng)站上給出了使用DSSTNE訓練神經(jīng)網(wǎng)絡模型的實例，包含３個基本步驟：轉(zhuǎn)換數(shù)據(jù)、訓練、預測。
1. 轉(zhuǎn)換數(shù)據(jù)：
下載數(shù)據(jù)后，把數(shù)據(jù)轉(zhuǎn)換到NetCDF格式。然后在指定數(shù)據(jù)集中嘗試運行一個自動編碼器。
1.1 生成輸入數(shù)據(jù)集：
1.2 生成輸出數(shù)據(jù)：
2. 訓練：3層神經(jīng)網(wǎng)絡的隱藏層有128個節(jié)點
3. 預測：
總結(jié)
| 內(nèi)部人員神吐槽
亞馬遜開源DSSTNE的消息發(fā)布后不久，一位前DSSTNE核心開發(fā)成員就在hackernews網(wǎng)站上透露，DSSTNE創(chuàng)建于2年前，專用于在亞馬遜商品目錄中進行產(chǎn)品推薦。他表示：當時Tensorflow還沒誕生，只有Theano和Torch；DSSTNE通過稀疏數(shù)據(jù)和多GPU跨神經(jīng)網(wǎng)絡進行優(yōu)化，跟Theano和Torch都不一樣；現(xiàn)在DSSENE還不支持Alex、VGG或者GoogleNet等，但是如果有需要，只用500行代碼就能實現(xiàn)。
那位前DSSTNE核心開發(fā)員還透露，DSSTNE現(xiàn)在還不明確支持RNN，但它支持分享加權(quán)。而雖然CuDNN 5使用幾百行代碼就能支持LSTM，但他認為CuDNN中的LSTM是一個黑盒子（Black Box），所以不能擴展到多重GPU。
那位程序員還表示，亞馬遜并不完美，但這家公司讓他們從頭開始搭建了這一平臺，然后現(xiàn)在對外開源。據(jù)這位不愿意透露姓名的程序員表示，加入亞馬遜之前，谷歌把他從Nvidia挖去（這是他難以拒絕的幾個offer之一），但2011年卻把他分配到搜索團隊，不讓其再涉及GPU的工作，完全沒有考慮到他是Nvidia CUDA團隊的創(chuàng)始成員之一，因此他認為谷歌完全沒有認識到GPU的作用。在谷歌他沒有待太久，如果他還留在亞馬遜，他認為亞馬遜會讓他從事開源編碼相關工作。
這位選擇匿名的程序員表示，在DSSTNE這個項目中自己是唯一的GPU編碼員，在接受了又一份難以拒絕的offer后，他在4個月前離開了亞馬遜。在他離開時，DSSENE的工作人員不到10人，并且其中大部分都已經(jīng)到別處進行深度學習引擎開發(fā)去了。
在hackernews網(wǎng)站寫下這些文字的時候，那位不愿意透露姓名的程序員表示，他正在等飛機，在接下來的幾天中將持續(xù)跟進這件事。最后，他寫了一點劇透：
DSSTNE的每一個GPU，處理的都是近乎完美伸縮的，具有1000個以上隱藏單元的隱藏層以及高效的自由稀疏輸入層，因為激活和加權(quán)梯度計算有特定的稀疏核心；此外，雖然基于JavaScript輕量級的數(shù)據(jù)交換格式（JavaScript Object Notiation）在2014年獲得認可，但DSSTNE需要一個類似TensorFlow圖像輸入才能達到100%的兼容。
消息來源參考：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
