0
| 本文作者： 吳德新 | 2016-09-13 22:37 |
編者按：雷鋒網2016年9月13日消息，NVIDIA在北京舉辦了GPU技術大會（GPU Tech Conference），這也是GTC第一次在國內舉辦。在這次大會上，NVIDIA發(fā)布了Tesla P4、P40深度學習芯片，此外黃仁勛也在北京與數以萬計的AI、游戲行業(yè)的開發(fā)者們分享了他對GPU和未來計算的認知。以下內容是根據黃仁勛在GTC China 2016上的演講實錄整理。
2012年一個年輕的研究員叫Alex Krizhevsky。在多倫多大學AI實驗室，他設計了一個可以學習的軟件，這個軟件靠自己就能進行視覺識別。深度學習這個時候已經發(fā)展了一段時間，可能有20年。
Alex所設計的這個網絡，它有一層一層的神經網絡，包括卷積神經網絡、激發(fā)層、輸入和輸出，可以進行區(qū)分。這樣一個神經網絡可以學會識別影像或者是規(guī)律。深層神經網絡所帶來的結果是它會非常有效，會超出你的想象，但是它進行訓練需要的計算資源超過了現代計算機的能力，它需要幾個月的時間去訓練一個網絡才能真正地識別圖像。
Alex當時的看法是，有一個叫做GPU的新型處理器，通過一種叫CUDA的計算模式，可以適用于并行計算，用于非常密集的訓練。2012年他當時設計了叫Alex的網絡，提交給了一個大規(guī)模計算視覺識別大賽，是一個全球的競賽，并且贏得了這個大賽。
AlexNet戰(zhàn)勝了所有由其他計算視覺專家所開發(fā)的算法。Alex當時只用兩個NVIDIA GTX580，在通過數據訓練了幾天后，AlexNet的結果和質量引起關注。所有搞計算視覺的科學家，所有的AI科學家都非常關注。在2012年，Alex Krizhevsky啟動了計算機深度學習的基礎，這是現代AI的一個大爆炸。他的工作和成果在全世界引起了很大反響。
我相信那個時刻會被記住，因為它確實改變了世界。之后有很多研究開始圍繞深度學習進行。2012年斯坦福大學的吳教授（吳恩達）和我們開發(fā)了一個非常大規(guī)模的GPU配置用于深度學習的訓練，很快在三年之后每一年都會有新的網絡出來，能夠不斷地戰(zhàn)勝其他方案獲得更好的記錄。
到了2015年，谷歌和微軟都實現了人類般的視覺識別能力。它是由軟件寫就的，在GPU上經過訓練可以實現比人類更高的視覺識別能力。2015年百度也宣布他們的語音識別達到了超越人類的水平，這是非常重要的一個事件。這是第一次計算機能自己寫程序，實現超過人類的水平。
視覺和語音是兩個非常重要的感官輸入，是人類智能的基礎?，F在我們已經有了一些基礎的支柱，讓我們能夠進一步推進AI的發(fā)展，這在之前是難以想象的。如果聲音和視覺的輸入值不可靠的話，怎么能夠有機器可以去學習，可以有人類一樣的行為。我們相信這個基礎已經有了，這也是為什么我們認為現在是AI時代的開始。
全世界的研究者都看到了這些結果，現在所有的AI實驗室都開始使用GPU跑深度學習，這樣他們也可以開始建立未來AI的基礎。基本上所有的AI研究者都開始用我們的GPU。
GPU的核心是模擬物理世界，我們用GPU創(chuàng)建虛擬世界用于游戲、設計，用于講故事，比如制作電影。模擬環(huán)境、模擬物理屬性、模擬周圍所看到的世界，構建虛擬世界的過程如同人類大腦在想象時進行的計算。因為深度學習的發(fā)展，使我們的工作進入新的階段，人工智能。對人類智能的模擬會是我們所做的最重要的工作之一，而且我們對此非常激動。
今天也是我們第一次在中國舉辦GTC大會，這次很大一部分內容會是關于人工智能和深度學習。我們是一個計算公司，SDK對于我們來講是最重要的產品，GTC是我們最重要的一場盛會。大家可以看一下過去幾年的成長，這是非常了不起的增速。
今年GTC有16000名人員參加。下載我們SDK的開發(fā)人員增長了3倍，達到了40萬開發(fā)人員。但最了不起的數字是深度學習開發(fā)人員在兩年之內有了25倍的增長，現在下載我們的深度神經網絡實驗室引擎的開發(fā)人員已經增長了25倍，下載了5萬5千次。
大家到底用它干什么呢？很多都是AI研究人員，他們來自于全球各地，現在所有的實驗室都會使用我們的GPU平臺來做自己的AI研究，有軟件公司、互聯(lián)網軟件提供商，還有互聯(lián)網公司、汽車公司、政府、醫(yī)療成像、財務、制造等公司?，F在用GPU深度學習的領域是非常廣的，非常了不起的。
大家要問為什么AI研究人員選擇GPU，Alex他們發(fā)現GPU的并行運算實際是非常符合深度學習網絡的計算特征。那么進一步來講，為什么GPU對深度學習來講是非常適合的工具呢？我想給大家講一個不是那么嚴肅的例子說明一下為什么GPU非常重要。
大腦就像一個GPU。比如我讓大家想象乒乓球，大家閉上眼睛，你們大腦會形成一個幾個人打乒乓球的圖像，如果讓大家想象功夫熊貓，那么腦子里會出現是類似的功夫熊貓圖像。所以我們的大腦在思考時會生成一些圖片。反過來，GPU的構架也像大腦一樣，它不是由一個處理器進行序列的運算，我們的GPU有上千個處理器，非常小的處理器組合在一起來共同解決問題，這上千個處理器會進行數學計算、互相連接、分享信息，最終能夠解決一個很大的問題，就好像是我們的大腦一樣。所以說大腦就像GPU，因為大腦可以產生圖片，而GPU也像人的大腦一樣，所以有可能這種新的計算模式、新的計算模型可以解決虛擬現實的問題，它確實是非常適合GPU的。
深度學習是一種新的計算模式，它會涉及軟件的方方面面。深度學習首先要設計一個網絡并且對網絡進行訓練，針對一個網絡的訓練需要幾十億甚至更多的操作，涉及上百萬甚至有更多的數據，通過這些數據對網絡進行訓練，需要很長的時間。如果沒有一個GPU，這個過程可能需要好幾個月，但GPU把這個時間壓縮到幾天內，這也是為什么GPU能夠幫助大家更好地解決問題。
訓練是深度學習的一個基礎，這個網絡有了之后，你希望運用這個網絡來進行預測，進行推理，進行歸類，要對一個信息進行推理，比如有幾十億人每天在網上問很多的問題，有可能是圖片，文字，語音，將來有可能是視頻這種形式。在數據中心當中GPU推理能夠非常快地響應。所以深度學習的第一部分是訓練，第二部分是推理。
深度學習的第三部分，有些人叫IoT，智能設備、智能終端，也許是攝像頭、汽車、機器人，也許是話筒，這樣互聯(lián)設備就變成了智能設備。物聯(lián)網需要有AI進行驅動，需要深度神經網絡進行驅動，大量的智能終端根本目標是需要去識別去歸類進行交互，要快要準確，并且盡量在低功耗狀態(tài)下實現所有這些功能。
在接下來這些時間，軟件的開發(fā)會和以前不一樣，我們運行軟件的方法也會不一樣，在上面的運算也會不一樣，很多設備上要運行什么東西會不一樣，所以深度學習將會影響到到計算的各個方面。
現在我們看一下訓練，首先我們應該意識到訓練的復雜性。前面提到了訓練可能是幾十億甚至萬億的運算，模型越大數據越多，結果就會越準確，數據多，加上大模型、大的計算量將會帶來深度學習更好的結果，這是非常根本的、非常重要的。
微軟有一個叫ResNet的識別網絡，如果跟AlexNet比較，AlexNet神經網絡是8層，總計算量是1.4G的浮點運算，錯誤率是16%。8層和1.4G，錯誤率是16%，意味著什么？這是當時最好的。當時計算視覺專家研發(fā)的算法大部分錯誤率可能比16%更高，這說明用傳統(tǒng)計算視覺方式的局限性很大，準確率沒有那么高。
如果通過深度學習，我們在過去幾年中可以實現3.5%的錯誤率，3.5%這是在幾百萬的圖像當中進行測試152層的一個網絡，幾年之前只有8層，現在是152層，總共的計算能力是22.6G/flps，這是18倍的增長，這就表明了深度學習存在的問題。三年之內深度學習的計算負載增長了18倍，這比摩爾定律快很多。
所以問題變得越來越復雜，越來越難，但是計算的能力卻沒有相應速度的增長，這也是為什么整個行業(yè)都開始尋找新的計算模式，為他們都開始來考慮使用GPU計算。
另一個案例更加驚人，是關于語音識別。語音識別是自然語言理解的基礎，自然語言理解也是智能的基礎。這是百度吳恩達的實驗室的工作，2014年有2500萬的參數在這個模型當中，訓練的材料是7000小時的語料8%的錯誤率。2015年的訓練數據是此前的2倍，深度學習網絡是原來的4倍大，2倍的數據量，4倍的網絡復雜性，實現的錯誤率是5%，就在1年之內百度的DPS錯誤率降至了40%左右。但是需要付出什么樣的代價？就是計算量的增長。
深度學習的方法花了這么長的時間才真正出現，因為這樣的方法從計算條件來說是沒有辦法實現的，此前沒有任何計算機可以對這樣的網絡進行訓練，直到GPU出現用于深度學習的出現。這是我講的為什么我們對這樣新的計算模式非常振奮，為什么現在在我們這個計算行業(yè)當中這個時刻非常重要。
同時這個趨勢在未來還會繼續(xù)，大家要記住我們現在還是5%的錯誤率，我們希望是0%的錯誤率。每個人的聲音都可以被識別，甚至是做得更好，可以去理解詞的語義，所以我們還有很多更大的計算需求。
Pascal是我們針對深度學習進行優(yōu)化的GPU架構。Pascal的處理器是真正的奇跡，Pascal是一個全新的架構，用立體的晶體管制成，用立體的封裝，用3D的堆棧，所有這些使得我們的Pascal架構實現了巨大的性能提升，新的指令級和新的制造制成、新的封裝方式，以及新的互聯(lián)連接方式把多個GPU連到一起，這樣它們可以做一個團隊來開展工作。我們花了3年的時間，1萬個人年的投入，完成了這項我們自己史上最大的工作。
我們也認識到處理器還只是開始。在AI計算這塊有這樣一個新的計算模式，計算系統(tǒng)架構也會發(fā)生變化，處理器的設計會發(fā)生變化，算法會發(fā)生變化，我們開發(fā)軟件的方式會發(fā)生變化，系統(tǒng)的設計也會發(fā)生變化。
我們有一個新的超級計算機，在一個盒子的大小之內，這就是叫DGX-1，替代了大約250臺服務器，整個數據中心都縮成了一個小盒子的大小。這個超級計算機完全是重新設計的。看一下我們處理器的成就再加上DGX-1，使得我們在一年之內的性能有65倍的提高。相比較這個Alex第一次用我們GPU來訓練他的網絡的時候，這是65倍的提高。這比摩爾定律的速度要快很多，比整個半導體的發(fā)展要快很多，比任何其他的在計算的進步方面要快很多。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
