0
| 本文作者： 吳德新 | 2016-09-13 22:37 |
編者按：雷鋒網(wǎng)2016年9月13日消息，NVIDIA在北京舉辦了GPU技術(shù)大會（GPU Tech Conference），這也是GTC第一次在國內(nèi)舉辦。在這次大會上，NVIDIA發(fā)布了Tesla P4、P40深度學(xué)習(xí)芯片，此外黃仁勛也在北京與數(shù)以萬計的AI、游戲行業(yè)的開發(fā)者們分享了他對GPU和未來計算的認(rèn)知。以下內(nèi)容是根據(jù)黃仁勛在GTC China 2016上的演講實錄整理。
2012年一個年輕的研究員叫Alex Krizhevsky。在多倫多大學(xué)AI實驗室，他設(shè)計了一個可以學(xué)習(xí)的軟件，這個軟件靠自己就能進(jìn)行視覺識別。深度學(xué)習(xí)這個時候已經(jīng)發(fā)展了一段時間，可能有20年。
Alex所設(shè)計的這個網(wǎng)絡(luò)，它有一層一層的神經(jīng)網(wǎng)絡(luò)，包括卷積神經(jīng)網(wǎng)絡(luò)、激發(fā)層、輸入和輸出，可以進(jìn)行區(qū)分。這樣一個神經(jīng)網(wǎng)絡(luò)可以學(xué)會識別影像或者是規(guī)律。深層神經(jīng)網(wǎng)絡(luò)所帶來的結(jié)果是它會非常有效，會超出你的想象，但是它進(jìn)行訓(xùn)練需要的計算資源超過了現(xiàn)代計算機(jī)的能力，它需要幾個月的時間去訓(xùn)練一個網(wǎng)絡(luò)才能真正地識別圖像。
Alex當(dāng)時的看法是，有一個叫做GPU的新型處理器，通過一種叫CUDA的計算模式，可以適用于并行計算，用于非常密集的訓(xùn)練。2012年他當(dāng)時設(shè)計了叫Alex的網(wǎng)絡(luò)，提交給了一個大規(guī)模計算視覺識別大賽，是一個全球的競賽，并且贏得了這個大賽。
AlexNet戰(zhàn)勝了所有由其他計算視覺專家所開發(fā)的算法。Alex當(dāng)時只用兩個NVIDIA GTX580，在通過數(shù)據(jù)訓(xùn)練了幾天后，AlexNet的結(jié)果和質(zhì)量引起關(guān)注。所有搞計算視覺的科學(xué)家，所有的AI科學(xué)家都非常關(guān)注。在2012年，Alex Krizhevsky啟動了計算機(jī)深度學(xué)習(xí)的基礎(chǔ)，這是現(xiàn)代AI的一個大爆炸。他的工作和成果在全世界引起了很大反響。
我相信那個時刻會被記住，因為它確實改變了世界。之后有很多研究開始圍繞深度學(xué)習(xí)進(jìn)行。2012年斯坦福大學(xué)的吳教授（吳恩達(dá)）和我們開發(fā)了一個非常大規(guī)模的GPU配置用于深度學(xué)習(xí)的訓(xùn)練，很快在三年之后每一年都會有新的網(wǎng)絡(luò)出來，能夠不斷地戰(zhàn)勝其他方案獲得更好的記錄。
到了2015年，谷歌和微軟都實現(xiàn)了人類般的視覺識別能力。它是由軟件寫就的，在GPU上經(jīng)過訓(xùn)練可以實現(xiàn)比人類更高的視覺識別能力。2015年百度也宣布他們的語音識別達(dá)到了超越人類的水平，這是非常重要的一個事件。這是第一次計算機(jī)能自己寫程序，實現(xiàn)超過人類的水平。
視覺和語音是兩個非常重要的感官輸入，是人類智能的基礎(chǔ)?，F(xiàn)在我們已經(jīng)有了一些基礎(chǔ)的支柱，讓我們能夠進(jìn)一步推進(jìn)AI的發(fā)展，這在之前是難以想象的。如果聲音和視覺的輸入值不可靠的話，怎么能夠有機(jī)器可以去學(xué)習(xí)，可以有人類一樣的行為。我們相信這個基礎(chǔ)已經(jīng)有了，這也是為什么我們認(rèn)為現(xiàn)在是AI時代的開始。
全世界的研究者都看到了這些結(jié)果，現(xiàn)在所有的AI實驗室都開始使用GPU跑深度學(xué)習(xí)，這樣他們也可以開始建立未來AI的基礎(chǔ)。基本上所有的AI研究者都開始用我們的GPU。
GPU的核心是模擬物理世界，我們用GPU創(chuàng)建虛擬世界用于游戲、設(shè)計，用于講故事，比如制作電影。模擬環(huán)境、模擬物理屬性、模擬周圍所看到的世界，構(gòu)建虛擬世界的過程如同人類大腦在想象時進(jìn)行的計算。因為深度學(xué)習(xí)的發(fā)展，使我們的工作進(jìn)入新的階段，人工智能。對人類智能的模擬會是我們所做的最重要的工作之一，而且我們對此非常激動。
今天也是我們第一次在中國舉辦GTC大會，這次很大一部分內(nèi)容會是關(guān)于人工智能和深度學(xué)習(xí)。我們是一個計算公司，SDK對于我們來講是最重要的產(chǎn)品，GTC是我們最重要的一場盛會。大家可以看一下過去幾年的成長，這是非常了不起的增速。
今年GTC有16000名人員參加。下載我們SDK的開發(fā)人員增長了3倍，達(dá)到了40萬開發(fā)人員。但最了不起的數(shù)字是深度學(xué)習(xí)開發(fā)人員在兩年之內(nèi)有了25倍的增長，現(xiàn)在下載我們的深度神經(jīng)網(wǎng)絡(luò)實驗室引擎的開發(fā)人員已經(jīng)增長了25倍，下載了5萬5千次。
大家到底用它干什么呢？很多都是AI研究人員，他們來自于全球各地，現(xiàn)在所有的實驗室都會使用我們的GPU平臺來做自己的AI研究，有軟件公司、互聯(lián)網(wǎng)軟件提供商，還有互聯(lián)網(wǎng)公司、汽車公司、政府、醫(yī)療成像、財務(wù)、制造等公司。現(xiàn)在用GPU深度學(xué)習(xí)的領(lǐng)域是非常廣的，非常了不起的。
大家要問為什么AI研究人員選擇GPU，Alex他們發(fā)現(xiàn)GPU的并行運(yùn)算實際是非常符合深度學(xué)習(xí)網(wǎng)絡(luò)的計算特征。那么進(jìn)一步來講，為什么GPU對深度學(xué)習(xí)來講是非常適合的工具呢？我想給大家講一個不是那么嚴(yán)肅的例子說明一下為什么GPU非常重要。
大腦就像一個GPU。比如我讓大家想象乒乓球，大家閉上眼睛，你們大腦會形成一個幾個人打乒乓球的圖像，如果讓大家想象功夫熊貓，那么腦子里會出現(xiàn)是類似的功夫熊貓圖像。所以我們的大腦在思考時會生成一些圖片。反過來，GPU的構(gòu)架也像大腦一樣，它不是由一個處理器進(jìn)行序列的運(yùn)算，我們的GPU有上千個處理器，非常小的處理器組合在一起來共同解決問題，這上千個處理器會進(jìn)行數(shù)學(xué)計算、互相連接、分享信息，最終能夠解決一個很大的問題，就好像是我們的大腦一樣。所以說大腦就像GPU，因為大腦可以產(chǎn)生圖片，而GPU也像人的大腦一樣，所以有可能這種新的計算模式、新的計算模型可以解決虛擬現(xiàn)實的問題，它確實是非常適合GPU的。
深度學(xué)習(xí)是一種新的計算模式，它會涉及軟件的方方面面。深度學(xué)習(xí)首先要設(shè)計一個網(wǎng)絡(luò)并且對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，針對一個網(wǎng)絡(luò)的訓(xùn)練需要幾十億甚至更多的操作，涉及上百萬甚至有更多的數(shù)據(jù)，通過這些數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，需要很長的時間。如果沒有一個GPU，這個過程可能需要好幾個月，但GPU把這個時間壓縮到幾天內(nèi)，這也是為什么GPU能夠幫助大家更好地解決問題。
訓(xùn)練是深度學(xué)習(xí)的一個基礎(chǔ)，這個網(wǎng)絡(luò)有了之后，你希望運(yùn)用這個網(wǎng)絡(luò)來進(jìn)行預(yù)測，進(jìn)行推理，進(jìn)行歸類，要對一個信息進(jìn)行推理，比如有幾十億人每天在網(wǎng)上問很多的問題，有可能是圖片，文字，語音，將來有可能是視頻這種形式。在數(shù)據(jù)中心當(dāng)中GPU推理能夠非?？斓仨憫?yīng)。所以深度學(xué)習(xí)的第一部分是訓(xùn)練，第二部分是推理。
深度學(xué)習(xí)的第三部分，有些人叫IoT，智能設(shè)備、智能終端，也許是攝像頭、汽車、機(jī)器人，也許是話筒，這樣互聯(lián)設(shè)備就變成了智能設(shè)備。物聯(lián)網(wǎng)需要有AI進(jìn)行驅(qū)動，需要深度神經(jīng)網(wǎng)絡(luò)進(jìn)行驅(qū)動，大量的智能終端根本目標(biāo)是需要去識別去歸類進(jìn)行交互，要快要準(zhǔn)確，并且盡量在低功耗狀態(tài)下實現(xiàn)所有這些功能。
在接下來這些時間，軟件的開發(fā)會和以前不一樣，我們運(yùn)行軟件的方法也會不一樣，在上面的運(yùn)算也會不一樣，很多設(shè)備上要運(yùn)行什么東西會不一樣，所以深度學(xué)習(xí)將會影響到到計算的各個方面。
現(xiàn)在我們看一下訓(xùn)練，首先我們應(yīng)該意識到訓(xùn)練的復(fù)雜性。前面提到了訓(xùn)練可能是幾十億甚至萬億的運(yùn)算，模型越大數(shù)據(jù)越多，結(jié)果就會越準(zhǔn)確，數(shù)據(jù)多，加上大模型、大的計算量將會帶來深度學(xué)習(xí)更好的結(jié)果，這是非常根本的、非常重要的。
微軟有一個叫ResNet的識別網(wǎng)絡(luò)，如果跟AlexNet比較，AlexNet神經(jīng)網(wǎng)絡(luò)是8層，總計算量是1.4G的浮點運(yùn)算，錯誤率是16%。8層和1.4G，錯誤率是16%，意味著什么？這是當(dāng)時最好的。當(dāng)時計算視覺專家研發(fā)的算法大部分錯誤率可能比16%更高，這說明用傳統(tǒng)計算視覺方式的局限性很大，準(zhǔn)確率沒有那么高。
如果通過深度學(xué)習(xí)，我們在過去幾年中可以實現(xiàn)3.5%的錯誤率，3.5%這是在幾百萬的圖像當(dāng)中進(jìn)行測試152層的一個網(wǎng)絡(luò)，幾年之前只有8層，現(xiàn)在是152層，總共的計算能力是22.6G/flps，這是18倍的增長，這就表明了深度學(xué)習(xí)存在的問題。三年之內(nèi)深度學(xué)習(xí)的計算負(fù)載增長了18倍，這比摩爾定律快很多。
所以問題變得越來越復(fù)雜，越來越難，但是計算的能力卻沒有相應(yīng)速度的增長，這也是為什么整個行業(yè)都開始尋找新的計算模式，為他們都開始來考慮使用GPU計算。
另一個案例更加驚人，是關(guān)于語音識別。語音識別是自然語言理解的基礎(chǔ)，自然語言理解也是智能的基礎(chǔ)。這是百度吳恩達(dá)的實驗室的工作，2014年有2500萬的參數(shù)在這個模型當(dāng)中，訓(xùn)練的材料是7000小時的語料8%的錯誤率。2015年的訓(xùn)練數(shù)據(jù)是此前的2倍，深度學(xué)習(xí)網(wǎng)絡(luò)是原來的4倍大，2倍的數(shù)據(jù)量，4倍的網(wǎng)絡(luò)復(fù)雜性，實現(xiàn)的錯誤率是5%，就在1年之內(nèi)百度的DPS錯誤率降至了40%左右。但是需要付出什么樣的代價？就是計算量的增長。
深度學(xué)習(xí)的方法花了這么長的時間才真正出現(xiàn)，因為這樣的方法從計算條件來說是沒有辦法實現(xiàn)的，此前沒有任何計算機(jī)可以對這樣的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直到GPU出現(xiàn)用于深度學(xué)習(xí)的出現(xiàn)。這是我講的為什么我們對這樣新的計算模式非常振奮，為什么現(xiàn)在在我們這個計算行業(yè)當(dāng)中這個時刻非常重要。
同時這個趨勢在未來還會繼續(xù)，大家要記住我們現(xiàn)在還是5%的錯誤率，我們希望是0%的錯誤率。每個人的聲音都可以被識別，甚至是做得更好，可以去理解詞的語義，所以我們還有很多更大的計算需求。
Pascal是我們針對深度學(xué)習(xí)進(jìn)行優(yōu)化的GPU架構(gòu)。Pascal的處理器是真正的奇跡，Pascal是一個全新的架構(gòu)，用立體的晶體管制成，用立體的封裝，用3D的堆棧，所有這些使得我們的Pascal架構(gòu)實現(xiàn)了巨大的性能提升，新的指令級和新的制造制成、新的封裝方式，以及新的互聯(lián)連接方式把多個GPU連到一起，這樣它們可以做一個團(tuán)隊來開展工作。我們花了3年的時間，1萬個人年的投入，完成了這項我們自己史上最大的工作。
我們也認(rèn)識到處理器還只是開始。在AI計算這塊有這樣一個新的計算模式，計算系統(tǒng)架構(gòu)也會發(fā)生變化，處理器的設(shè)計會發(fā)生變化，算法會發(fā)生變化，我們開發(fā)軟件的方式會發(fā)生變化，系統(tǒng)的設(shè)計也會發(fā)生變化。
我們有一個新的超級計算機(jī)，在一個盒子的大小之內(nèi)，這就是叫DGX-1，替代了大約250臺服務(wù)器，整個數(shù)據(jù)中心都縮成了一個小盒子的大小。這個超級計算機(jī)完全是重新設(shè)計的?？匆幌挛覀兲幚砥鞯某删驮偌由螪GX-1，使得我們在一年之內(nèi)的性能有65倍的提高。相比較這個Alex第一次用我們GPU來訓(xùn)練他的網(wǎng)絡(luò)的時候，這是65倍的提高。這比摩爾定律的速度要快很多，比整個半導(dǎo)體的發(fā)展要快很多，比任何其他的在計算的進(jìn)步方面要快很多。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
