當(dāng)吳恩達(dá)還在Google訓(xùn)練電腦矩陣使用人工智能，識別喵星人視頻時(shí)，他并非一帆風(fēng)順。

Google在世界各地的數(shù)據(jù)中心擁有海量計(jì)算機(jī)，對于吳恩達(dá)的工作，計(jì)算量絕對綽綽有余。但配置如此強(qiáng)大的計(jì)算機(jī)集群并不是一件容易的事情，如果有一臺服務(wù)器忽然當(dāng)機(jī)（如果你同時(shí)使用1000臺機(jī)器，這種事情幾乎每天都會發(fā)生），就會減小準(zhǔn)確性。

吳恩達(dá)透露，這是深度學(xué)習(xí)世界里眾多問題之一，如今大數(shù)據(jù)和人工智能里最熱的議題是：與云計(jì)算的發(fā)展不符。Google、亞馬遜和Facebook已經(jīng)使用云計(jì)算在數(shù)萬臺計(jì)算機(jī)上運(yùn)行軟件。

在吳恩達(dá)的人工智能實(shí)驗(yàn)后沒多久，一位名叫Adam Coates的斯坦福大學(xué)研究人員想出了一個(gè)更好的解決方案，他用一種不同的微處理器，圖形處理器GPU（Graphical Processing Unit），將三臺計(jì)算機(jī)連貫在一起，讓它們像是一個(gè)系統(tǒng)一樣運(yùn)行，結(jié)果與Google數(shù)千臺計(jì)算機(jī)的運(yùn)行效果是一樣的。這絕對是一個(gè)非凡的成就。

Coates目前在吳恩達(dá)手下，就職與百度。他說，

“和以前支持人工智能的處理器相比，GPU在資源處理上有很大不同，不僅速度更快，同時(shí)能在更小系統(tǒng)上緊密整合，成本也得以降低?！?/p>

游戲玩家應(yīng)該對GPU非常熟悉，他們會購買專門的顯卡提升視頻游戲體驗(yàn)。實(shí)際上，在吳恩達(dá)的Google人工智能試驗(yàn)之前，學(xué)術(shù)界也早已了解GPU，它具有強(qiáng)大的數(shù)學(xué)處理能力，對深度學(xué)習(xí)而言再合適不過。一開始，研究人員只為單一系統(tǒng)編寫深度學(xué)習(xí)軟件，而Coates則在很多基于GPU的計(jì)算機(jī)上構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)。

Google和Facebook也在使用GPU，當(dāng)然還有一些著名人工智能實(shí)驗(yàn)室，如橡樹嶺國家實(shí)驗(yàn)室（Oak Ridge National Labs）和勞倫斯·利弗莫爾國家實(shí)驗(yàn)室（Lawrence Livermore National Laboratory）。他們希望利用強(qiáng)大的芯片和速度超快的網(wǎng)絡(luò)設(shè)備（現(xiàn)以廣泛應(yīng)用于超級計(jì)算機(jī)內(nèi)）支持深度學(xué)習(xí)的計(jì)算能力。

超級計(jì)算機(jī)遇到深度學(xué)習(xí)

在橡樹嶺國家實(shí)驗(yàn)室有一個(gè)研究設(shè)施SNS（散裂中子源），它構(gòu)建于2006年，曾引爆過世界上最強(qiáng)的材料中子束，幫助物理學(xué)家和化學(xué)家了解材料內(nèi)部結(jié)構(gòu)是如何形成的。

SNS產(chǎn)生了大量數(shù)據(jù)，它們需要被徹底分析。而科學(xué)家們相信，他們可以利用深度學(xué)習(xí)算法快速識別數(shù)據(jù)類型，提升分析能力。識別數(shù)據(jù)類型可是深度學(xué)習(xí)的專長。

但問題是，對于科學(xué)模擬來說，每次產(chǎn)生700TB數(shù)據(jù)似乎太正常不過了，不過這比美國國會圖書館所有信息加起來的量還要大。

不過，在高性能計(jì)算機(jī)網(wǎng)絡(luò)的支持下，現(xiàn)在由GPU支持的深度學(xué)習(xí)可以解決上述問題。實(shí)驗(yàn)室的Titan超級計(jì)算機(jī)和Google云有些不一樣，雖然它也是有數(shù)千臺計(jì)算機(jī)組成的計(jì)算矩陣，但Titan可以在每臺機(jī)器內(nèi)存實(shí)現(xiàn)快速進(jìn)出、交換數(shù)據(jù)，并且推送給其他機(jī)器。也就是說，研究人員已經(jīng)能在Titan上利用深度學(xué)習(xí)算法。

Facebook也使用GPU，但負(fù)責(zé)深度學(xué)習(xí)的研究人員Yann LeCun還沒有完全擺脫對CPU的依賴。他說：

“Facebook使用了基于GPU的基礎(chǔ)設(shè)施來訓(xùn)練深度學(xué)習(xí)模型，傳統(tǒng)CPU集群的處理速度的確太慢了。不過全新的多核CPU芯片，會與GPU產(chǎn)生差不多的效果?！?/p>

支持超級計(jì)算的軟件

在人工智能被真正認(rèn)識之前，極客們必須編寫在超級計(jì)算機(jī)上運(yùn)行的深度學(xué)習(xí)軟件。但開發(fā)這樣的軟件可能還需要很多年時(shí)間才能完成。

吳恩達(dá)最初在Google構(gòu)建“貓咪視頻”的人工智能模型里，有10億個(gè)參數(shù)，這才多少讓計(jì)算機(jī)有了點(diǎn)兒人類認(rèn)知的能力，可以區(qū)分照片和視頻里的內(nèi)容，比如是貓咪還是倉鼠。

勞倫斯利弗莫爾實(shí)驗(yàn)室已經(jīng)構(gòu)建出了包含150億個(gè)參數(shù)的軟件，是Google模型的15倍，人工智能識別能力也會更強(qiáng)大。實(shí)驗(yàn)室負(fù)責(zé)人Barry Chen說道：

“我們希望項(xiàng)目結(jié)束時(shí)，可以構(gòu)建成世界上最大的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，當(dāng)然這需要高性能的計(jì)算機(jī)支持。”

Google的方式

那么，Google在做什么呢？它也在向GPU轉(zhuǎn)型，不過選擇了一條不同的路徑而已。Google構(gòu)建了一個(gè)全新深度學(xué)習(xí)系統(tǒng)DistBelief，在其龐大而蔓生的云系統(tǒng)上既可以運(yùn)行GPU，也可以運(yùn)行CPU。

Google將數(shù)字運(yùn)算工作拆分成了數(shù)以百計(jì)的小集群，每個(gè)集群會配置1到32臺計(jì)算機(jī)，如此巨大的計(jì)算能力讓Google的人工智能軟件水平有了很大提升，可以區(qū)分椅子和凳子，還能區(qū)分“Shift”和“Ship”這樣的單詞。

當(dāng)然，Google數(shù)據(jù)中心內(nèi)部的計(jì)算機(jī)也可能會當(dāng)機(jī)，這是不可避免的，但是即便如此，也不會對Google造成太大的影響。事實(shí)上，Google整個(gè)系統(tǒng)的設(shè)計(jì)非常棒，用Google研究科學(xué)家Greg Corrado的話說，即便有計(jì)算機(jī)壞了，研究人員們甚至都不會察覺到。

“云計(jì)算VS高性能計(jì)算，其實(shí)和公司文化、可用資源、甚至是企業(yè)品味相關(guān)。作為Google研究人員，我當(dāng)然為Google內(nèi)部系統(tǒng)感到高興?！?/p>

VIA wired

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。