當(dāng)吳恩達(dá)還在Google訓(xùn)練電腦矩陣使用人工智能，識別喵星人視頻時，他并非一帆風(fēng)順。

Google在世界各地的數(shù)據(jù)中心擁有海量計算機，對于吳恩達(dá)的工作，計算量絕對綽綽有余。但配置如此強大的計算機集群并不是一件容易的事情，如果有一臺服務(wù)器忽然當(dāng)機（如果你同時使用1000臺機器，這種事情幾乎每天都會發(fā)生），就會減小準(zhǔn)確性。

吳恩達(dá)透露，這是深度學(xué)習(xí)世界里眾多問題之一，如今大數(shù)據(jù)和人工智能里最熱的議題是：與云計算的發(fā)展不符。Google、亞馬遜和Facebook已經(jīng)使用云計算在數(shù)萬臺計算機上運行軟件。

在吳恩達(dá)的人工智能實驗后沒多久，一位名叫Adam Coates的斯坦福大學(xué)研究人員想出了一個更好的解決方案，他用一種不同的微處理器，圖形處理器GPU（Graphical Processing Unit），將三臺計算機連貫在一起，讓它們像是一個系統(tǒng)一樣運行，結(jié)果與Google數(shù)千臺計算機的運行效果是一樣的。這絕對是一個非凡的成就。

Coates目前在吳恩達(dá)手下，就職與百度。他說，

“和以前支持人工智能的處理器相比，GPU在資源處理上有很大不同，不僅速度更快，同時能在更小系統(tǒng)上緊密整合，成本也得以降低?！?/p>

游戲玩家應(yīng)該對GPU非常熟悉，他們會購買專門的顯卡提升視頻游戲體驗。實際上，在吳恩達(dá)的Google人工智能試驗之前，學(xué)術(shù)界也早已了解GPU，它具有強大的數(shù)學(xué)處理能力，對深度學(xué)習(xí)而言再合適不過。一開始，研究人員只為單一系統(tǒng)編寫深度學(xué)習(xí)軟件，而Coates則在很多基于GPU的計算機上構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)。

Google和Facebook也在使用GPU，當(dāng)然還有一些著名人工智能實驗室，如橡樹嶺國家實驗室（Oak Ridge National Labs）和勞倫斯·利弗莫爾國家實驗室（Lawrence Livermore National Laboratory）。他們希望利用強大的芯片和速度超快的網(wǎng)絡(luò)設(shè)備（現(xiàn)以廣泛應(yīng)用于超級計算機內(nèi)）支持深度學(xué)習(xí)的計算能力。

超級計算機遇到深度學(xué)習(xí)

在橡樹嶺國家實驗室有一個研究設(shè)施SNS（散裂中子源），它構(gòu)建于2006年，曾引爆過世界上最強的材料中子束，幫助物理學(xué)家和化學(xué)家了解材料內(nèi)部結(jié)構(gòu)是如何形成的。

SNS產(chǎn)生了大量數(shù)據(jù)，它們需要被徹底分析。而科學(xué)家們相信，他們可以利用深度學(xué)習(xí)算法快速識別數(shù)據(jù)類型，提升分析能力。識別數(shù)據(jù)類型可是深度學(xué)習(xí)的專長。

但問題是，對于科學(xué)模擬來說，每次產(chǎn)生700TB數(shù)據(jù)似乎太正常不過了，不過這比美國國會圖書館所有信息加起來的量還要大。

不過，在高性能計算機網(wǎng)絡(luò)的支持下，現(xiàn)在由GPU支持的深度學(xué)習(xí)可以解決上述問題。實驗室的Titan超級計算機和Google云有些不一樣，雖然它也是有數(shù)千臺計算機組成的計算矩陣，但Titan可以在每臺機器內(nèi)存實現(xiàn)快速進(jìn)出、交換數(shù)據(jù)，并且推送給其他機器。也就是說，研究人員已經(jīng)能在Titan上利用深度學(xué)習(xí)算法。

Facebook也使用GPU，但負(fù)責(zé)深度學(xué)習(xí)的研究人員Yann LeCun還沒有完全擺脫對CPU的依賴。他說：

“Facebook使用了基于GPU的基礎(chǔ)設(shè)施來訓(xùn)練深度學(xué)習(xí)模型，傳統(tǒng)CPU集群的處理速度的確太慢了。不過全新的多核CPU芯片，會與GPU產(chǎn)生差不多的效果。”

支持超級計算的軟件

在人工智能被真正認(rèn)識之前，極客們必須編寫在超級計算機上運行的深度學(xué)習(xí)軟件。但開發(fā)這樣的軟件可能還需要很多年時間才能完成。

吳恩達(dá)最初在Google構(gòu)建“貓咪視頻”的人工智能模型里，有10億個參數(shù)，這才多少讓計算機有了點兒人類認(rèn)知的能力，可以區(qū)分照片和視頻里的內(nèi)容，比如是貓咪還是倉鼠。

勞倫斯利弗莫爾實驗室已經(jīng)構(gòu)建出了包含150億個參數(shù)的軟件，是Google模型的15倍，人工智能識別能力也會更強大。實驗室負(fù)責(zé)人Barry Chen說道：

“我們希望項目結(jié)束時，可以構(gòu)建成世界上最大的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，當(dāng)然這需要高性能的計算機支持?！?/p>

Google的方式

那么，Google在做什么呢？它也在向GPU轉(zhuǎn)型，不過選擇了一條不同的路徑而已。Google構(gòu)建了一個全新深度學(xué)習(xí)系統(tǒng)DistBelief，在其龐大而蔓生的云系統(tǒng)上既可以運行GPU，也可以運行CPU。

Google將數(shù)字運算工作拆分成了數(shù)以百計的小集群，每個集群會配置1到32臺計算機，如此巨大的計算能力讓Google的人工智能軟件水平有了很大提升，可以區(qū)分椅子和凳子，還能區(qū)分“Shift”和“Ship”這樣的單詞。

當(dāng)然，Google數(shù)據(jù)中心內(nèi)部的計算機也可能會當(dāng)機，這是不可避免的，但是即便如此，也不會對Google造成太大的影響。事實上，Google整個系統(tǒng)的設(shè)計非常棒，用Google研究科學(xué)家Greg Corrado的話說，即便有計算機壞了，研究人員們甚至都不會察覺到。

“云計算VS高性能計算，其實和公司文化、可用資源、甚至是企業(yè)品味相關(guān)。作為Google研究人員，我當(dāng)然為Google內(nèi)部系統(tǒng)感到高興?！?/p>

VIA wired

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。