編者按：本文是百度首席科學(xué)家吳恩達在GTC China 2016上的演講實錄整理。在今年的GTC China上，吳恩達的議題分享是到底什么是神經(jīng)網(wǎng)絡(luò)，為什么GPU非常適合對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。 

大家好，現(xiàn)在人們說人工智能是新的電能。電能改變了很多不同的行業(yè)，我覺得現(xiàn)在人工智能也會對很多行業(yè)帶來一樣大的改變?，F(xiàn)在人工智能的計算大部分都需要依賴GPU，我今天想跟大家分享這是為什么，也跟大家分享一下人工智能對你們的工作會有怎么樣的影響。

我們在人工智能領(lǐng)域的人都是非常幸運的，因為很早的時候大家還不清楚深度學(xué)習(xí)是多么的重要，當時黃仁勛就在人工智能方面做了很多工作，生產(chǎn)出這種GPU的平臺，使得百度和其他公司能夠取得很多的成就。

兩個星期之前，百度發(fā)布了很多技術(shù)為大家提供服務(wù)，其中很多都是使用機器學(xué)習(xí)和深度學(xué)習(xí)，尤其是基于GPU的學(xué)習(xí)來進行訓(xùn)練的。到底什么是深度學(xué)習(xí)，我們往往會把它和大腦中的神經(jīng)元做一個類比，我希望更深地介紹一下技術(shù)方面的問題，到底什么是神經(jīng)網(wǎng)絡(luò)，為什么我們覺得GPU非常適合對這些神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。

我們所做的深度學(xué)習(xí)的工作99%都可以類比成將不同的矩陣進行相乘或者矩陣和向量進行相乘。從第一天開始，GPU在矩陣相乘上就是非常高效的，所以整個領(lǐng)域都使用GPU平臺來做他們的工作。

當下，基本上所有AI的經(jīng)濟價值都來自于一種叫做監(jiān)督式學(xué)習(xí)的模式。

什么叫做監(jiān)督式學(xué)習(xí)？輸入什么就輸出什么，如果說進行人臉識別，你想對人臉識別的系統(tǒng)進行訓(xùn)練，首先是一些數(shù)據(jù)組，比如一張臉和一個不是臉，我們對神經(jīng)網(wǎng)絡(luò)通過不同的矩陣相乘進行訓(xùn)練，這就是我們進行人臉識別的做法。很多深度學(xué)習(xí)的經(jīng)濟價值在于找到非常聰明的辦法來使用監(jiān)督式學(xué)習(xí)。有比較多的例子，比如想識別垃圾郵件；如果你有足夠的數(shù)據(jù)，在百度看到很多用戶和廣告的信息也可以訓(xùn)練一個模型來預(yù)測用戶會不會點擊一個廣告。所以就是要找到非常聰明的監(jiān)督式學(xué)習(xí)模型，這也帶來了很多的經(jīng)濟價值。有很多現(xiàn)在我們所做的基礎(chǔ)研究都是關(guān)于監(jiān)督式學(xué)習(xí)的，還有加強式學(xué)習(xí)和很多其他的學(xué)習(xí)，希望未來的幾年在其他領(lǐng)域也會進行。這種監(jiān)督式學(xué)習(xí)的公式已經(jīng)足以對很多你們現(xiàn)在的工作帶來改變。

我所講的這些技術(shù)所有細節(jié)其實在20年前就有了，那為什么現(xiàn)在深度學(xué)習(xí)才開始真正發(fā)展起來呢？

有幾個主要的趨勢：第一是深度學(xué)習(xí)在這幾年才剛剛發(fā)展起來的原因是規(guī)?；?。我喜歡做一個類比，建立人工智能就像是建立一個火箭一樣，到底什么叫做火箭，你要造一個火箭首先需要一個大的引擎，然后需要很多的火箭燃料，這兩個都是非常大。如果引擎非常大，但是燃料非常少，這個火箭也飛不了多遠。如果說引擎非常小，燃料非常多，有可能火箭根本就無法起飛。只有引擎非常大燃料非常多的時候才能建造一個非常好的火箭。神經(jīng)網(wǎng)絡(luò)就像火箭的引擎，現(xiàn)在我們能夠建立這樣的神經(jīng)網(wǎng)絡(luò)，是因為現(xiàn)在規(guī)模化，是因為GPU的發(fā)展。而前面提到的火箭燃料就是今天大量的互聯(lián)網(wǎng)公司獲得的數(shù)據(jù)。

算法的創(chuàng)新也是非常重要的。對我們來講首先要建立一個非常好的網(wǎng)絡(luò)，然后要有充足的數(shù)據(jù)，這是一個基礎(chǔ)。在過去的幾年，我看到這樣一些趨勢，也就是規(guī)?；?，大概在十年前我們都通過普通的CPU進行深度學(xué)習(xí)的訓(xùn)練，當時大概有100萬的連接，進步是非常慢的。2008年的時候我們寫了第一篇在CUDA上進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練的文章，當時是斯坦福大學(xué)的一個研究，有了10倍的轉(zhuǎn)變。

2001年我?guī)ьI(lǐng)谷歌的一個團隊，我們使用CPU計算進一步實現(xiàn)規(guī)?；煤芏嗟腃PU。但是很快我們就意識到使用很多CPU使用云計算其實并不能真正促進深度學(xué)習(xí)發(fā)展，當時在斯坦福以及后來在百度我們意識到使用HPC高性能計算。最近使用超級計算機才能更加促進深度學(xué)習(xí)算法進步的一個方向，所以最先進的深度學(xué)習(xí)的系統(tǒng)已經(jīng)開始使用高性能算法了。我們要訓(xùn)練一個語音識別的模型需要20百萬億次，我們需要花100萬美元的電進行一個模型的訓(xùn)練，我們的一個研究人員要進行一個模型的訓(xùn)練需要花100美元的數(shù)據(jù)，需要4兆字節(jié)的數(shù)據(jù)。

百度是全球第一個為深度學(xué)習(xí)建立GPU群的公司，我們不光進行訓(xùn)練，而是真正的進行運作，我們早期的投資是看好GPU能夠幫助我們在這方面取得領(lǐng)先的能力，能夠促進AI能力的發(fā)展。

接下來我想和大家分享一個例子，向大家介紹一下為什么深度學(xué)習(xí)對很多的百度AI應(yīng)用進行了改變。

以前語音識別系統(tǒng)分為很多的階段，首先輸入一個音頻，要抓取音頻的特征，獲得音位，要有語言的模型，然后再轉(zhuǎn)錄。在2011年的時候，在百度建立一個語音識別的系統(tǒng)，我們認為我們花了幾十年的時間來做語音識別，我們還是把整個的工作全部都用神經(jīng)網(wǎng)絡(luò)給取代。我們發(fā)現(xiàn)有了很大的神經(jīng)網(wǎng)絡(luò)，相當于一個火箭的引擎，使用端對端的學(xué)習(xí)方法可以幫助我們對最好的語音識別系統(tǒng)進行訓(xùn)練。

上個月我們跟斯坦福大學(xué)和華盛頓大學(xué)合作發(fā)現(xiàn)如果你想用手機來輸入某個信息，用語音識別比用鍵盤可以快3倍，這些結(jié)果都是依賴我們的DSP系統(tǒng)。

之前我們講到規(guī)模的重要性，包括計算的規(guī)模和數(shù)據(jù)的規(guī)模，對于這些深度學(xué)習(xí)系統(tǒng)來進行訓(xùn)練，這里我想給大家介紹一個簡單的方法，如果能夠提升機器學(xué)習(xí)系統(tǒng)的表現(xiàn)，這當然有點過于簡單了，但是我的團隊問我怎么提升他們的機器學(xué)習(xí)系統(tǒng)的時候，我首先會把這個簡單的方法告訴他們。

首先要問他們，目前在訓(xùn)練數(shù)據(jù)上表現(xiàn)好嗎？如果不是的話，那我就會跟他們說你的這個神經(jīng)網(wǎng)絡(luò)需要有更大的規(guī)模，也就是說火箭的引擎要更強、更大。然后你繼續(xù)在這個方面進行改進，直到你在訓(xùn)練數(shù)據(jù)上能夠有好的表現(xiàn)，在這之后就問你測試數(shù)據(jù)上表現(xiàn)好嗎，如果不是的話我就跟他們說數(shù)據(jù)要更多，也就是說要有更多的火箭燃料。再繼續(xù)在這個方面進行改進，直到在測數(shù)據(jù)上表現(xiàn)得好。這是一個非常簡單的公式，真實世界會更加復(fù)雜，這過于簡單，但這樣一個簡單的方法有很大的幫助，幫助我們提升了系統(tǒng)的性能，我也相信能夠幫助大家的機器學(xué)習(xí)系統(tǒng)的性能提升。

過去幾年很多性能提升都在于計算以及數(shù)據(jù)規(guī)模的提升，之所以計算的規(guī)模提升很多在于GPU計算的出現(xiàn)，實際比這復(fù)雜得多，如果大家想要了解具體的細節(jié)，如何提升機器學(xué)習(xí)的表現(xiàn)，大家可以去參照我所寫的一本書，從這個網(wǎng)站可以拿到免費的書。

前面我講到用GPU進行訓(xùn)練，我也看到這個對于百度的工作以及很多其他公司的工作有很大的幫助。另外一個趨勢，用GPU不僅進行訓(xùn)練，也包括提供在線服務(wù)。HPC訓(xùn)練的巨大的神經(jīng)網(wǎng)絡(luò)，我們發(fā)現(xiàn)我們有個問題，怎么樣可以把這么大的神經(jīng)網(wǎng)絡(luò)放在服務(wù)器上面提供在線服務(wù)？

如果看一下傳統(tǒng)的提供在線服務(wù)的架構(gòu)，傳統(tǒng)的CPU服務(wù)器的架構(gòu)，架構(gòu)是這樣的，比如這是CPU服務(wù)器，有幾個線程，如果有一個用戶有一些數(shù)據(jù)過來，他給了一個4乘1的向量，比如是一些語音數(shù)據(jù)，你把這個交給一個線程進行計算然后會有輸出。第二個用戶過來了，還是用第二個線程幫他進行計算，第三第四也是一樣。這是比較傳統(tǒng)的CPU架構(gòu)提供在線的服務(wù)。因為我們在超級計算及用很多GPU，訓(xùn)練非常大的神經(jīng)網(wǎng)絡(luò)，我們發(fā)現(xiàn)這些非常大的模型部署在傳統(tǒng)的CPU當中是非常困難的，因為這個架構(gòu)不適合。

百度是第一家宣布把GPU投入到業(yè)務(wù)中的大型公司，也就是進行推理和提供服務(wù)，而不僅僅限于訓(xùn)練。

我們有一個專門的技術(shù)叫Batch Dispatch，我們把數(shù)據(jù)放到我們的數(shù)據(jù)中心當中，如果用戶出現(xiàn)了，當他這端有一些數(shù)據(jù)的輸入，我們會暫時讓這個數(shù)據(jù)稍微等一點點時間，然后再等幾位用戶出現(xiàn)，各自都有自己的數(shù)據(jù)，把他們做成一個批次。我們把這些向量堆疊到一起變成一個矩陣，這是第一第二第三第四，變成了一個4乘4的矩陣。同時交給GPU處理器進行處理，它是同時對這四個用戶的數(shù)據(jù)進行處理，這些結(jié)果也同時會出來，GPU有非常強的并行處理能力，可以非常高效的進行并行處理，我們把結(jié)果拿到之后再把它們分開，分別提供給四個用戶。

我們發(fā)現(xiàn)這樣使得我們可以有更大的模型規(guī)模，而且可以以更低的成本給更多的用戶提供服務(wù)。昨天我們在百度的數(shù)據(jù)中心和數(shù)據(jù)中心的負責人，在百度我們看到的一個趨勢，現(xiàn)在越來越多的使用GPU及高性能計算在數(shù)據(jù)中心當中，因此我們的團隊在重新設(shè)計數(shù)據(jù)中心來更好地利用高密度的計算模式，我們有團隊在重新設(shè)計供電、散熱，使得我們可以把更高密度的計算站納入到我們的數(shù)據(jù)中心當中進行訓(xùn)練，然后進行推理。大家有些人可能是做數(shù)據(jù)中心工作的，這里邊有很多的工作是可以開展對于數(shù)據(jù)中心的架構(gòu)來進行重新的設(shè)計，從而使用這些高密度的GPU。

之前我講到了深度學(xué)習(xí)，首先第一個就是計算的規(guī)模和數(shù)據(jù)的規(guī)模。第二個我所看到的過去幾年的趨勢，深度學(xué)習(xí)現(xiàn)在可以給出更復(fù)雜的輸出。我的意思是五年之前大部分的機器學(xué)習(xí)所輸出的都只是整數(shù)，比如垃圾郵件分類，你輸入一個郵件，輸入的是0或1是不是垃圾，圖片也是一樣的，輸出的是一個整數(shù)，現(xiàn)在發(fā)生了變化，深度學(xué)習(xí)越來越多的可以去輸出非常復(fù)雜的結(jié)果，比如一個句子或者是一個圖像。我們的DSP Batch系統(tǒng)輸入音頻片段，可以輸出一個英文或者是中文的句子，圖片說明我們可以把圖片輸進去，輸出是一個圖片說明來描述這個圖片說這是一輛黃色的車在路上開。所以現(xiàn)在神經(jīng)網(wǎng)絡(luò)可以輸出復(fù)雜的東西，比如句子和一些圖片說明，不僅僅是一些整數(shù)。包括翻譯，你可以輸入英文的句子，然后輸出中文的句子，也可以文法的校正，可能你輸入的是語法錯誤的文本，輸出的是語法正確的句子。這個重要的趨勢也是可以非常聰明的使用，可以在AI和深度學(xué)習(xí)方面得到更大的價值挖掘。

當然我們也知道，AI現(xiàn)在主要的局限性在于這樣的學(xué)習(xí)方式，也就是監(jiān)督式學(xué)習(xí)的方式是需要很多的標記數(shù)據(jù)，未來我希望我們能夠?qū)τ诜潜O(jiān)督學(xué)習(xí)有一些突破，但是目前我們可以通過監(jiān)督學(xué)習(xí)去轉(zhuǎn)化很多的行業(yè)來實現(xiàn)巨大的發(fā)展。

剛才我們講到了規(guī)模非常重要，我們需要用大量的數(shù)據(jù)進行大量的模型的訓(xùn)練。規(guī)模非常重要，我們需要用很多的數(shù)據(jù)對大的模型進行訓(xùn)練。還有另外一個原因，

為什么AI的發(fā)展需要計算呢？

我們看一下剛才的神經(jīng)網(wǎng)絡(luò)這個簡單的例子。我們要花很多的時間、很多的實驗去發(fā)現(xiàn)這些神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，我可能在這個方面的工作已經(jīng)有25年的時間了，現(xiàn)在我開始要開始一個新問題的時候我也不知道什么樣的網(wǎng)絡(luò)是合適的，研究者需要進行很多實驗，十幾種幾百種模型才能發(fā)現(xiàn)一個好的模型去完成這種任務(wù)。有這么多的訓(xùn)練數(shù)據(jù)，語音識別系統(tǒng)有5萬小時的數(shù)據(jù)，所以你要進行這樣一個訓(xùn)練可能需要3個月的時間，這樣研究者的時間利用率不是那么高。另外一個原因，百度花很多的努力去優(yōu)化開發(fā)者的效率，因為你們在做這個模型，你不知道到底什么樣的模型，你要做很多的實驗去發(fā)現(xiàn)到底什么是可行的。我們發(fā)現(xiàn)我們投資于計算系統(tǒng)來加速這種實驗的過程、試錯的過程，可以使得研究者更加的高效，可以使得他們有更多的時間可以更快的去發(fā)明新的想法。

因此在這個方面，我們非常強調(diào)，第一我們是投資計算平臺，基于GPU的HPC計算平臺。第二我們是很大的投資于開發(fā)易于使用的深度學(xué)習(xí)工具，我們把我們自己的深度學(xué)習(xí)平臺開源化，它叫PaddlePaddle，易于使用，大家可以非常方便的嘗試深度學(xué)習(xí)的模型，來發(fā)現(xiàn)到底什么樣的模型對你的應(yīng)用是最為合適的。PaddlePaddle支持用多GPU，我們現(xiàn)在不是在一個GPU上進行計算，一次可以用32個、64個、128個GPU進行實驗。

我對AI的未來寄予很高的希望，對人工智能的未來充滿信心，希望幾年后我們可以使用人工智能做到陪伴機器人，做到個性化私教、音樂作曲、機器人醫(yī)生，這些產(chǎn)品和技術(shù)可以為很多行業(yè)帶來巨大的改變，也對人類帶來巨大的價值。這些項目很多都正在研究階段，在人工智能時代如果你聽我們講未來，未來有時候很快就到了。

我想給大家看一個例子，我們正在做一個百度醫(yī)療大腦的項目，這個項目正在研究階段，請大家看看這段視頻。如果你輸入一個問題，寶寶發(fā)燒了出了很多紅疹，百度醫(yī)療大腦這個軟件會理解你的問題，問你很多病情的問題，如果你慢慢回答它的問題，它就可以識別出你的病情是怎么樣的，也可以輸出一些有關(guān)你病情的信息和建議。這個軟件當然不可以替代醫(yī)生，假如患者想用這些信息先要跟醫(yī)生討論，技術(shù)還在研究階段，希望這種技術(shù)未來可以為患者和醫(yī)生帶來很多非常有用的信息。

我覺得我們非常幸運能夠有這么好的GPU平臺，在這個平臺上開發(fā)很多的AI應(yīng)用，在百度我非常振奮的是開發(fā)出AI的工具，不光是幫助我們自己也幫助很多的行業(yè)，我在百度希望能夠在我們的硬件的基礎(chǔ)之上開發(fā)一些AI的工具幫助大家。謝謝大家！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。