0
| 本文作者： 吳德新 | 2016-09-13 22:37 |
編者按：雷鋒網(wǎng)2016年9月13日消息，NVIDIA在北京舉辦了GPU技術(shù)大會(huì)（GPU Tech Conference），這也是GTC第一次在國(guó)內(nèi)舉辦。在這次大會(huì)上，NVIDIA發(fā)布了Tesla P4、P40深度學(xué)習(xí)芯片，此外黃仁勛也在北京與數(shù)以萬(wàn)計(jì)的AI、游戲行業(yè)的開(kāi)發(fā)者們分享了他對(duì)GPU和未來(lái)計(jì)算的認(rèn)知。以下內(nèi)容是根據(jù)黃仁勛在GTC China 2016上的演講實(shí)錄整理。
2012年一個(gè)年輕的研究員叫Alex Krizhevsky。在多倫多大學(xué)AI實(shí)驗(yàn)室，他設(shè)計(jì)了一個(gè)可以學(xué)習(xí)的軟件，這個(gè)軟件靠自己就能進(jìn)行視覺(jué)識(shí)別。深度學(xué)習(xí)這個(gè)時(shí)候已經(jīng)發(fā)展了一段時(shí)間，可能有20年。
Alex所設(shè)計(jì)的這個(gè)網(wǎng)絡(luò)，它有一層一層的神經(jīng)網(wǎng)絡(luò)，包括卷積神經(jīng)網(wǎng)絡(luò)、激發(fā)層、輸入和輸出，可以進(jìn)行區(qū)分。這樣一個(gè)神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)識(shí)別影像或者是規(guī)律。深層神經(jīng)網(wǎng)絡(luò)所帶來(lái)的結(jié)果是它會(huì)非常有效，會(huì)超出你的想象，但是它進(jìn)行訓(xùn)練需要的計(jì)算資源超過(guò)了現(xiàn)代計(jì)算機(jī)的能力，它需要幾個(gè)月的時(shí)間去訓(xùn)練一個(gè)網(wǎng)絡(luò)才能真正地識(shí)別圖像。
Alex當(dāng)時(shí)的看法是，有一個(gè)叫做GPU的新型處理器，通過(guò)一種叫CUDA的計(jì)算模式，可以適用于并行計(jì)算，用于非常密集的訓(xùn)練。2012年他當(dāng)時(shí)設(shè)計(jì)了叫Alex的網(wǎng)絡(luò)，提交給了一個(gè)大規(guī)模計(jì)算視覺(jué)識(shí)別大賽，是一個(gè)全球的競(jìng)賽，并且贏得了這個(gè)大賽。
AlexNet戰(zhàn)勝了所有由其他計(jì)算視覺(jué)專家所開(kāi)發(fā)的算法。Alex當(dāng)時(shí)只用兩個(gè)NVIDIA GTX580，在通過(guò)數(shù)據(jù)訓(xùn)練了幾天后，AlexNet的結(jié)果和質(zhì)量引起關(guān)注。所有搞計(jì)算視覺(jué)的科學(xué)家，所有的AI科學(xué)家都非常關(guān)注。在2012年，Alex Krizhevsky啟動(dòng)了計(jì)算機(jī)深度學(xué)習(xí)的基礎(chǔ)，這是現(xiàn)代AI的一個(gè)大爆炸。他的工作和成果在全世界引起了很大反響。
我相信那個(gè)時(shí)刻會(huì)被記住，因?yàn)樗_實(shí)改變了世界。之后有很多研究開(kāi)始圍繞深度學(xué)習(xí)進(jìn)行。2012年斯坦福大學(xué)的吳教授（吳恩達(dá)）和我們開(kāi)發(fā)了一個(gè)非常大規(guī)模的GPU配置用于深度學(xué)習(xí)的訓(xùn)練，很快在三年之后每一年都會(huì)有新的網(wǎng)絡(luò)出來(lái)，能夠不斷地戰(zhàn)勝其他方案獲得更好的記錄。
到了2015年，谷歌和微軟都實(shí)現(xiàn)了人類般的視覺(jué)識(shí)別能力。它是由軟件寫(xiě)就的，在GPU上經(jīng)過(guò)訓(xùn)練可以實(shí)現(xiàn)比人類更高的視覺(jué)識(shí)別能力。2015年百度也宣布他們的語(yǔ)音識(shí)別達(dá)到了超越人類的水平，這是非常重要的一個(gè)事件。這是第一次計(jì)算機(jī)能自己寫(xiě)程序，實(shí)現(xiàn)超過(guò)人類的水平。
視覺(jué)和語(yǔ)音是兩個(gè)非常重要的感官輸入，是人類智能的基礎(chǔ)?，F(xiàn)在我們已經(jīng)有了一些基礎(chǔ)的支柱，讓我們能夠進(jìn)一步推進(jìn)AI的發(fā)展，這在之前是難以想象的。如果聲音和視覺(jué)的輸入值不可靠的話，怎么能夠有機(jī)器可以去學(xué)習(xí)，可以有人類一樣的行為。我們相信這個(gè)基礎(chǔ)已經(jīng)有了，這也是為什么我們認(rèn)為現(xiàn)在是AI時(shí)代的開(kāi)始。
全世界的研究者都看到了這些結(jié)果，現(xiàn)在所有的AI實(shí)驗(yàn)室都開(kāi)始使用GPU跑深度學(xué)習(xí)，這樣他們也可以開(kāi)始建立未來(lái)AI的基礎(chǔ)?；旧纤械腁I研究者都開(kāi)始用我們的GPU。
GPU的核心是模擬物理世界，我們用GPU創(chuàng)建虛擬世界用于游戲、設(shè)計(jì)，用于講故事，比如制作電影。模擬環(huán)境、模擬物理屬性、模擬周圍所看到的世界，構(gòu)建虛擬世界的過(guò)程如同人類大腦在想象時(shí)進(jìn)行的計(jì)算。因?yàn)樯疃葘W(xué)習(xí)的發(fā)展，使我們的工作進(jìn)入新的階段，人工智能。對(duì)人類智能的模擬會(huì)是我們所做的最重要的工作之一，而且我們對(duì)此非常激動(dòng)。
今天也是我們第一次在中國(guó)舉辦GTC大會(huì)，這次很大一部分內(nèi)容會(huì)是關(guān)于人工智能和深度學(xué)習(xí)。我們是一個(gè)計(jì)算公司，SDK對(duì)于我們來(lái)講是最重要的產(chǎn)品，GTC是我們最重要的一場(chǎng)盛會(huì)。大家可以看一下過(guò)去幾年的成長(zhǎng)，這是非常了不起的增速。
今年GTC有16000名人員參加。下載我們SDK的開(kāi)發(fā)人員增長(zhǎng)了3倍，達(dá)到了40萬(wàn)開(kāi)發(fā)人員。但最了不起的數(shù)字是深度學(xué)習(xí)開(kāi)發(fā)人員在兩年之內(nèi)有了25倍的增長(zhǎng)，現(xiàn)在下載我們的深度神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室引擎的開(kāi)發(fā)人員已經(jīng)增長(zhǎng)了25倍，下載了5萬(wàn)5千次。
大家到底用它干什么呢？很多都是AI研究人員，他們來(lái)自于全球各地，現(xiàn)在所有的實(shí)驗(yàn)室都會(huì)使用我們的GPU平臺(tái)來(lái)做自己的AI研究，有軟件公司、互聯(lián)網(wǎng)軟件提供商，還有互聯(lián)網(wǎng)公司、汽車公司、政府、醫(yī)療成像、財(cái)務(wù)、制造等公司?，F(xiàn)在用GPU深度學(xué)習(xí)的領(lǐng)域是非常廣的，非常了不起的。
大家要問(wèn)為什么AI研究人員選擇GPU，Alex他們發(fā)現(xiàn)GPU的并行運(yùn)算實(shí)際是非常符合深度學(xué)習(xí)網(wǎng)絡(luò)的計(jì)算特征。那么進(jìn)一步來(lái)講，為什么GPU對(duì)深度學(xué)習(xí)來(lái)講是非常適合的工具呢？我想給大家講一個(gè)不是那么嚴(yán)肅的例子說(shuō)明一下為什么GPU非常重要。
大腦就像一個(gè)GPU。比如我讓大家想象乒乓球，大家閉上眼睛，你們大腦會(huì)形成一個(gè)幾個(gè)人打乒乓球的圖像，如果讓大家想象功夫熊貓，那么腦子里會(huì)出現(xiàn)是類似的功夫熊貓圖像。所以我們的大腦在思考時(shí)會(huì)生成一些圖片。反過(guò)來(lái)，GPU的構(gòu)架也像大腦一樣，它不是由一個(gè)處理器進(jìn)行序列的運(yùn)算，我們的GPU有上千個(gè)處理器，非常小的處理器組合在一起來(lái)共同解決問(wèn)題，這上千個(gè)處理器會(huì)進(jìn)行數(shù)學(xué)計(jì)算、互相連接、分享信息，最終能夠解決一個(gè)很大的問(wèn)題，就好像是我們的大腦一樣。所以說(shuō)大腦就像GPU，因?yàn)榇竽X可以產(chǎn)生圖片，而GPU也像人的大腦一樣，所以有可能這種新的計(jì)算模式、新的計(jì)算模型可以解決虛擬現(xiàn)實(shí)的問(wèn)題，它確實(shí)是非常適合GPU的。
深度學(xué)習(xí)是一種新的計(jì)算模式，它會(huì)涉及軟件的方方面面。深度學(xué)習(xí)首先要設(shè)計(jì)一個(gè)網(wǎng)絡(luò)并且對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，針對(duì)一個(gè)網(wǎng)絡(luò)的訓(xùn)練需要幾十億甚至更多的操作，涉及上百萬(wàn)甚至有更多的數(shù)據(jù)，通過(guò)這些數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，需要很長(zhǎng)的時(shí)間。如果沒(méi)有一個(gè)GPU，這個(gè)過(guò)程可能需要好幾個(gè)月，但GPU把這個(gè)時(shí)間壓縮到幾天內(nèi)，這也是為什么GPU能夠幫助大家更好地解決問(wèn)題。
訓(xùn)練是深度學(xué)習(xí)的一個(gè)基礎(chǔ)，這個(gè)網(wǎng)絡(luò)有了之后，你希望運(yùn)用這個(gè)網(wǎng)絡(luò)來(lái)進(jìn)行預(yù)測(cè)，進(jìn)行推理，進(jìn)行歸類，要對(duì)一個(gè)信息進(jìn)行推理，比如有幾十億人每天在網(wǎng)上問(wèn)很多的問(wèn)題，有可能是圖片，文字，語(yǔ)音，將來(lái)有可能是視頻這種形式。在數(shù)據(jù)中心當(dāng)中GPU推理能夠非常快地響應(yīng)。所以深度學(xué)習(xí)的第一部分是訓(xùn)練，第二部分是推理。
深度學(xué)習(xí)的第三部分，有些人叫IoT，智能設(shè)備、智能終端，也許是攝像頭、汽車、機(jī)器人，也許是話筒，這樣互聯(lián)設(shè)備就變成了智能設(shè)備。物聯(lián)網(wǎng)需要有AI進(jìn)行驅(qū)動(dòng)，需要深度神經(jīng)網(wǎng)絡(luò)進(jìn)行驅(qū)動(dòng)，大量的智能終端根本目標(biāo)是需要去識(shí)別去歸類進(jìn)行交互，要快要準(zhǔn)確，并且盡量在低功耗狀態(tài)下實(shí)現(xiàn)所有這些功能。
在接下來(lái)這些時(shí)間，軟件的開(kāi)發(fā)會(huì)和以前不一樣，我們運(yùn)行軟件的方法也會(huì)不一樣，在上面的運(yùn)算也會(huì)不一樣，很多設(shè)備上要運(yùn)行什么東西會(huì)不一樣，所以深度學(xué)習(xí)將會(huì)影響到到計(jì)算的各個(gè)方面。
現(xiàn)在我們看一下訓(xùn)練，首先我們應(yīng)該意識(shí)到訓(xùn)練的復(fù)雜性。前面提到了訓(xùn)練可能是幾十億甚至萬(wàn)億的運(yùn)算，模型越大數(shù)據(jù)越多，結(jié)果就會(huì)越準(zhǔn)確，數(shù)據(jù)多，加上大模型、大的計(jì)算量將會(huì)帶來(lái)深度學(xué)習(xí)更好的結(jié)果，這是非常根本的、非常重要的。
微軟有一個(gè)叫ResNet的識(shí)別網(wǎng)絡(luò)，如果跟AlexNet比較，AlexNet神經(jīng)網(wǎng)絡(luò)是8層，總計(jì)算量是1.4G的浮點(diǎn)運(yùn)算，錯(cuò)誤率是16%。8層和1.4G，錯(cuò)誤率是16%，意味著什么？這是當(dāng)時(shí)最好的。當(dāng)時(shí)計(jì)算視覺(jué)專家研發(fā)的算法大部分錯(cuò)誤率可能比16%更高，這說(shuō)明用傳統(tǒng)計(jì)算視覺(jué)方式的局限性很大，準(zhǔn)確率沒(méi)有那么高。
如果通過(guò)深度學(xué)習(xí)，我們?cè)谶^(guò)去幾年中可以實(shí)現(xiàn)3.5%的錯(cuò)誤率，3.5%這是在幾百萬(wàn)的圖像當(dāng)中進(jìn)行測(cè)試152層的一個(gè)網(wǎng)絡(luò)，幾年之前只有8層，現(xiàn)在是152層，總共的計(jì)算能力是22.6G/flps，這是18倍的增長(zhǎng)，這就表明了深度學(xué)習(xí)存在的問(wèn)題。三年之內(nèi)深度學(xué)習(xí)的計(jì)算負(fù)載增長(zhǎng)了18倍，這比摩爾定律快很多。
所以問(wèn)題變得越來(lái)越復(fù)雜，越來(lái)越難，但是計(jì)算的能力卻沒(méi)有相應(yīng)速度的增長(zhǎng)，這也是為什么整個(gè)行業(yè)都開(kāi)始尋找新的計(jì)算模式，為他們都開(kāi)始來(lái)考慮使用GPU計(jì)算。
另一個(gè)案例更加驚人，是關(guān)于語(yǔ)音識(shí)別。語(yǔ)音識(shí)別是自然語(yǔ)言理解的基礎(chǔ)，自然語(yǔ)言理解也是智能的基礎(chǔ)。這是百度吳恩達(dá)的實(shí)驗(yàn)室的工作，2014年有2500萬(wàn)的參數(shù)在這個(gè)模型當(dāng)中，訓(xùn)練的材料是7000小時(shí)的語(yǔ)料8%的錯(cuò)誤率。2015年的訓(xùn)練數(shù)據(jù)是此前的2倍，深度學(xué)習(xí)網(wǎng)絡(luò)是原來(lái)的4倍大，2倍的數(shù)據(jù)量，4倍的網(wǎng)絡(luò)復(fù)雜性，實(shí)現(xiàn)的錯(cuò)誤率是5%，就在1年之內(nèi)百度的DPS錯(cuò)誤率降至了40%左右。但是需要付出什么樣的代價(jià)？就是計(jì)算量的增長(zhǎng)。
深度學(xué)習(xí)的方法花了這么長(zhǎng)的時(shí)間才真正出現(xiàn)，因?yàn)檫@樣的方法從計(jì)算條件來(lái)說(shuō)是沒(méi)有辦法實(shí)現(xiàn)的，此前沒(méi)有任何計(jì)算機(jī)可以對(duì)這樣的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直到GPU出現(xiàn)用于深度學(xué)習(xí)的出現(xiàn)。這是我講的為什么我們對(duì)這樣新的計(jì)算模式非常振奮，為什么現(xiàn)在在我們這個(gè)計(jì)算行業(yè)當(dāng)中這個(gè)時(shí)刻非常重要。
同時(shí)這個(gè)趨勢(shì)在未來(lái)還會(huì)繼續(xù)，大家要記住我們現(xiàn)在還是5%的錯(cuò)誤率，我們希望是0%的錯(cuò)誤率。每個(gè)人的聲音都可以被識(shí)別，甚至是做得更好，可以去理解詞的語(yǔ)義，所以我們還有很多更大的計(jì)算需求。
Pascal是我們針對(duì)深度學(xué)習(xí)進(jìn)行優(yōu)化的GPU架構(gòu)。Pascal的處理器是真正的奇跡，Pascal是一個(gè)全新的架構(gòu)，用立體的晶體管制成，用立體的封裝，用3D的堆棧，所有這些使得我們的Pascal架構(gòu)實(shí)現(xiàn)了巨大的性能提升，新的指令級(jí)和新的制造制成、新的封裝方式，以及新的互聯(lián)連接方式把多個(gè)GPU連到一起，這樣它們可以做一個(gè)團(tuán)隊(duì)來(lái)開(kāi)展工作。我們花了3年的時(shí)間，1萬(wàn)個(gè)人年的投入，完成了這項(xiàng)我們自己史上最大的工作。
我們也認(rèn)識(shí)到處理器還只是開(kāi)始。在AI計(jì)算這塊有這樣一個(gè)新的計(jì)算模式，計(jì)算系統(tǒng)架構(gòu)也會(huì)發(fā)生變化，處理器的設(shè)計(jì)會(huì)發(fā)生變化，算法會(huì)發(fā)生變化，我們開(kāi)發(fā)軟件的方式會(huì)發(fā)生變化，系統(tǒng)的設(shè)計(jì)也會(huì)發(fā)生變化。
我們有一個(gè)新的超級(jí)計(jì)算機(jī)，在一個(gè)盒子的大小之內(nèi)，這就是叫DGX-1，替代了大約250臺(tái)服務(wù)器，整個(gè)數(shù)據(jù)中心都縮成了一個(gè)小盒子的大小。這個(gè)超級(jí)計(jì)算機(jī)完全是重新設(shè)計(jì)的?？匆幌挛覀兲幚砥鞯某删驮偌由螪GX-1，使得我們?cè)谝荒曛畠?nèi)的性能有65倍的提高。相比較這個(gè)Alex第一次用我們GPU來(lái)訓(xùn)練他的網(wǎng)絡(luò)的時(shí)候，這是65倍的提高。這比摩爾定律的速度要快很多，比整個(gè)半導(dǎo)體的發(fā)展要快很多，比任何其他的在計(jì)算的進(jìn)步方面要快很多。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
