雷鋒網(wǎng)按：本文作者陳宗周，《電腦報》創(chuàng)辦人；《環(huán)球科學(xué)》雜志創(chuàng)始人， 現(xiàn)任社長兼主編；中國科技報研究會副理事長。致力于計算機(jī)發(fā)展史的研究，他撰寫的《 PC 機(jī)十年》、《 PC 機(jī)第二個十年》、《軟件輝煌》、《電腦病毒面面觀》等文章都有較大影響。

本文為陳宗周的《 AI 傳奇系列》第四篇。

發(fā)明個人電腦與互聯(lián)網(wǎng)，是人類的兩大傳奇。現(xiàn)在，AI正在成為我們親手締造的又一個傳奇。正像蒸汽機(jī)開啟了工業(yè)革命時代一樣，AI 也將把人類社會帶入新世紀(jì)。

深度學(xué)習(xí)就像一只雄鷹，高飛還需要強(qiáng)勁的翅膀。而裝上這兩只翅膀，兩位華人發(fā)揮了很大的作用。

不是只有好算法就能成功

深度學(xué)習(xí)迅速成為統(tǒng)治 AI 的最熱門技術(shù)，除在思想和算法上有重大突破之外，它誕生時的計算環(huán)境與信息環(huán)境也有極大變化。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)（Machine Learning， ML）領(lǐng)域的分支學(xué)科。機(jī)器學(xué)習(xí)思路是讓計算機(jī)自動學(xué)習(xí)相關(guān)知識并解決實際問題。實現(xiàn)機(jī)器學(xué)習(xí)有很多方法，屬于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)是其中的重要方法之一。

機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)都不是新東西，深度學(xué)習(xí)雖然嚴(yán)格說也不是新東西，而是在 2006 年被欣頓等重新包裝推出時，有很多創(chuàng)造性的新思想和算法，讓機(jī)器學(xué)習(xí)煥然一新。但是，AI 的歷史告訴我們，不是只有好算法就能成功。

比如，深度學(xué)習(xí)用統(tǒng)計學(xué)方法巧妙處理深度神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)的權(quán)重，把概率上相對近似度高的數(shù)據(jù)合并處理，大大降低了數(shù)據(jù)的維數(shù)，也就是降低了復(fù)雜度，由于這項關(guān)鍵技術(shù)，欣頓把自己構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)也稱為深度置信網(wǎng)絡(luò)。維數(shù)雖然相對降低，但計算量依然驚人。

神經(jīng)網(wǎng)絡(luò)模仿人的大腦，用學(xué)習(xí)的方法獲取準(zhǔn)確知識并用之解決問題。人工神經(jīng)網(wǎng)絡(luò)后來發(fā)展成多層神經(jīng)網(wǎng)絡(luò)，在輸入層和輸出層之間加上隱層，隱層還可不斷增加。奪得 2015 年 ImageNet 圖像識別競賽冠軍的微軟 ResNet 系統(tǒng)，就是 152 層的深度神經(jīng)網(wǎng)絡(luò)。

像人類學(xué)習(xí)可以分為有老師的學(xué)習(xí)和無老師的學(xué)習(xí)一樣，機(jī)器學(xué)習(xí)可以分為監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，監(jiān)督學(xué)習(xí)必須使用經(jīng)過標(biāo)注的數(shù)據(jù)，無監(jiān)督學(xué)習(xí)使用的數(shù)據(jù)不需經(jīng)過標(biāo)注。

神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個數(shù)據(jù)驅(qū)動模型，需要提供數(shù)據(jù)讓機(jī)器去學(xué)習(xí)，然后根據(jù)學(xué)習(xí)的結(jié)果不斷調(diào)整、優(yōu)化模型中的參數(shù)，達(dá)到使模型收斂，也就是達(dá)到預(yù)期學(xué)習(xí)效果。這一過程叫訓(xùn)練。

一個神經(jīng)網(wǎng)絡(luò)系統(tǒng)研制中一般需要三個數(shù)據(jù)集，訓(xùn)練集、工作集、測試集。訓(xùn)練集規(guī)模越大，訓(xùn)練效果也就是學(xué)習(xí)效果越好。

神經(jīng)網(wǎng)絡(luò)系統(tǒng)如果訓(xùn)練數(shù)據(jù)太少，會出現(xiàn)“過擬合”。這個專業(yè)術(shù)語的意思是學(xué)習(xí)結(jié)果太針對特定情景，不能推廣。而學(xué)習(xí)結(jié)果能廣泛適用，則稱為“泛化”。正像人類學(xué)習(xí)能舉一反三是因為掌握大量知識一樣，機(jī)器學(xué)習(xí)也需要大量數(shù)據(jù)。形象地說，機(jī)器學(xué)習(xí)需要大量的數(shù)據(jù)“喂”進(jìn)機(jī)器，“喂”進(jìn)數(shù)據(jù)越多，質(zhì)量越好，學(xué)習(xí)效果越好。

欣頓想了很多辦法來減少對監(jiān)督學(xué)習(xí)的需求，因為這意味著減少工作量和提高訓(xùn)練速度。他的創(chuàng)新思路是把無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)結(jié)合使用。先讓機(jī)器自己進(jìn)行無監(jiān)督學(xué)習(xí)，也即自動處理沒有經(jīng)過標(biāo)注的數(shù)據(jù)，進(jìn)行逐層預(yù)訓(xùn)練。最后階段進(jìn)行監(jiān)督學(xué)習(xí)，即用經(jīng)過標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練。這樣大大提高了訓(xùn)練的速度。欣頓形象地比喻說：“想象一下小孩子，當(dāng)他們學(xué)著辨認(rèn)牛時，并非需要去看幾百萬張媽媽們標(biāo)記上‘?！膱D片，他們僅僅是自己學(xué)習(xí)牛的樣子，然后問道：‘這是什么？’ 媽媽會說：‘這是一頭牛。’他們就學(xué)會了?！?/p>

這是深度學(xué)習(xí)巧妙的學(xué)習(xí)過程，但即使有這些發(fā)明，深度學(xué)習(xí)也必須在計算能力大大增強(qiáng)和海量數(shù)據(jù)出現(xiàn)的情況下，才能充分發(fā)揮作用。

GPU誕生：瘋狂冒險家黃仁勛

被人工智能專家、日本人工智能學(xué)會倫理委員松尾豐稱為AI領(lǐng)域五十年重大突破和一次飛躍的深度學(xué)習(xí)，就像一只雄鷹，高飛還需要強(qiáng)勁的翅膀。而裝上這兩只翅膀，兩位華人發(fā)揮了很大的作用，他和她分別提供了 GPU 強(qiáng)大計算能力和 ImageNet 大數(shù)據(jù)集。

GPU 生產(chǎn)商英偉達(dá)公司 CEO 黃仁勛（Jen-Hsun Huang），1963 年生于臺北，1984 年畢業(yè)于俄勒岡大學(xué)電機(jī)工程專業(yè)，斯坦福大學(xué)碩士。

中國 AI 專家、格靈深瞳公司 CEO 趙勇博士這樣評價：有人說是深度學(xué)習(xí)成全了英偉達(dá)的 GPGPU（通用GPU），其實是 GPGPU，成全了深度學(xué)習(xí)。

他堅持認(rèn)為：如果沒有英偉達(dá)的 CUDA（計算統(tǒng)一設(shè)備架構(gòu)）平臺，科學(xué)界證實深度學(xué)習(xí)巨大潛力的時間不知道還要推遲多久。更難能可貴的是，GPGPU 技術(shù)使得在 PC 級別的計算機(jī)上進(jìn)行高密度的高性能運(yùn)算成本大幅降低，使得深度學(xué)習(xí)技術(shù)迅速地在科技界發(fā)展和普及起來。

趙勇博士太絕對，比較中立的說法是，深度學(xué)習(xí)和 GPU 互相成全，深度學(xué)習(xí)借助 GPU 強(qiáng)大并行計算處理能力迅速展示了自己的工程可行性和廣泛應(yīng)用前景，GPU 又因為深度學(xué)習(xí)打開 AI 一個個應(yīng)用新市場而同步得到大發(fā)展。

GPU，正是黃仁勛創(chuàng)辦的英偉達(dá)（NVIDIA）公司首創(chuàng)。

不少人很奇怪，硅谷的這家游戲顯卡公司，怎么突然在深度學(xué)習(xí)中扮演重要角色呢？這實際上也是硅谷華人黃仁勛的勵志故事。他 1993 年創(chuàng)辦芯片設(shè)計公司英偉達(dá)后，一直在芯片龍頭企業(yè)英特爾等的縫隙下艱難發(fā)展。雖然，1999 年英偉達(dá)推出了革命性的圖形芯片 GeForce256，并由此發(fā)明了 GPU（圖形處理器，也即圖形處理單元）這個詞。但主要用于游戲顯卡的 GPU，被認(rèn)為是 PC 產(chǎn)業(yè)附屬的一個細(xì)分市場，前途并不廣闊。工程師出身的黃仁勛是一個喜歡在實驗室與科研人員研討前沿進(jìn)展、相信技術(shù)能改變一切的瘋狂冒險家。所以，當(dāng)英偉達(dá)首席科學(xué)家戴維·科克（David Kirk）提出要發(fā)展高性能的通用 GPU時，他立刻堅定支持，相信這位領(lǐng)頭開發(fā)出全世界最暢銷的獨立顯卡的科學(xué)家。

今天看來，用高性能通用 GPU 讓個人擁有幾百美元的廉價超級計算機(jī)、能支持大規(guī)模并行計算，是一個偉大的想法。但在 2007 年前后，英偉達(dá)情況非常不妙，股價從最高37美元跌落到6美元。而且，科克設(shè)想的強(qiáng)大的 GPU 計算平臺，市場需求在哪里？

在這樣的背景下，黃仁勛頂住內(nèi)外壓力于2007年推出了基于 CUDA 的通用 GPUbeta 版，之后公司的所有 GPU 都支持這樣的架構(gòu)，吸引使用各種編程語言的工程師紛紛用英偉達(dá)的 GPU 進(jìn)行開發(fā)，增強(qiáng)了 GPU的開放性和通用性。

轉(zhuǎn)機(jī)出現(xiàn)了，由于傳統(tǒng) CPU 在設(shè)計上不太關(guān)注并行計算，而 GPU 從一開始在底層設(shè)計時就考慮支持單指令多數(shù)據(jù)流，所以 GPU 大規(guī)模并行計算方面的強(qiáng)大能力遠(yuǎn)高于 CPU。在處理速度方面，2010年，NVIDIA 480 GPU 芯片，已經(jīng)達(dá)到每秒 1.3 萬億次浮點運(yùn)算。到 2015 年的 Titan X，更達(dá)到 6.1 萬億。不少專家對 GPU 和 CPU 做了比較，認(rèn)為在執(zhí)行特定任務(wù)時，前者速度是后者的100到300倍。

深度學(xué)習(xí)涉及的計算，正好比較特定，主要進(jìn)行高速度、大規(guī)模的矩陣運(yùn)算。這樣的應(yīng)用場景下，計算能力強(qiáng)大而價格低廉的 GPU，成為最好選擇。欣頓的實驗室買了一大堆 GPU 設(shè)備，其他的神經(jīng)網(wǎng)絡(luò)實驗室也如此。隨著深度學(xué)習(xí)取得巨大成功，幾乎作為標(biāo)配的 GPU 同步得到極大發(fā)展。

2016年，英偉達(dá)因為 AI 方面的遠(yuǎn)見而成為芯片行業(yè)的最大贏家，股價暴漲一倍多。在2017年的 CES 大展中，更傳出英偉達(dá)可能很快超越英特爾的驚人消息。這些傳言，背后是對 GPU 和深度學(xué)習(xí)專用芯片未來的暢想。

欣頓們和深度學(xué)習(xí)成功了，黃仁勛和英偉達(dá)也成功了。

ImageNet 締造者：拼命三郎李飛飛

創(chuàng)建 ImageNet 的斯坦福大學(xué) AI 實驗室主任李飛飛（Fei Fei Lee）， 則是與深度學(xué)習(xí)密不可分的另一硅谷傳奇華人。

李飛飛 1976 年出生于北京，16 歲隨父母去了美國。剛到美國日子非常艱難，父親給別人修照相機(jī)，媽媽當(dāng)收銀員，而她一邊上學(xué)一邊去中國餐廳打工。在這樣的情況下，自稱拼命三郎的李飛飛考上普林斯頓大學(xué)物理系。

1999 年大學(xué)畢業(yè)后，她放棄華爾街 10 萬美元年薪，選擇去西藏研究藏醫(yī)一年。然后，獲得全新人生感悟的她，去了加州理工學(xué)院電子工程系讀 AI 專業(yè)博士，她進(jìn)校時正是 AI 低潮期。母親此時不幸中風(fēng)還患上癌癥，學(xué)習(xí)、科研與生活多副重?fù)?dān)壓在李飛飛身上。 “如果重新來一次，我不認(rèn)為自己還能挺過來。” 她事后對人這樣說。

但是，華人女子李飛飛無比強(qiáng)大的內(nèi)心支撐她度過艱難。然后，她創(chuàng)造了一項項學(xué)術(shù)奇跡。從加州理工學(xué)院到斯坦福大學(xué)，她發(fā)表超過 100 篇 AI 學(xué)術(shù)論文，33 歲獲得斯坦福大學(xué)終身教授職位，又成為該校的 AI 實驗室主任。

真正使李飛飛名揚(yáng)世界的，是她創(chuàng)建的 ImageNet 。我們在第三回已經(jīng)看到，正是由于這個圖像大數(shù)據(jù)平臺，深度學(xué)習(xí)走向輝煌。

從 2007 年起，ImageNet 下載了近 10 億張圖片。這是一個龐大的數(shù)據(jù)集，要對這些數(shù)據(jù)進(jìn)行標(biāo)注，工作非常浩繁。李飛飛巧妙地在亞馬遜網(wǎng)站土耳其機(jī)器人（Mechanical Turk）平臺上，用互聯(lián)網(wǎng)眾包模式來標(biāo)注圖片。高峰期時，ImageNet 是亞馬遜土耳其機(jī)器人平臺上最大雇主之一，來自 167 個國家的近 5 萬人，用眾包方式協(xié)同工作，篩選、排序、標(biāo)注了近 10 億張照片。 

李飛飛回憶說，現(xiàn)在回頭去看，用大數(shù)據(jù)來訓(xùn)練計算機(jī)算法的做法重要意義顯而易見。在這段旅途中，她覺得很孤獨，研究經(jīng)費(fèi)也一直麻煩不斷。

2009 年，ImageNet終于誕生了。這是有 1500 萬張經(jīng)過標(biāo)注圖片、含 22000 類物品的數(shù)據(jù)庫，僅僅是貓，就有超過 62000 只、長相姿勢各異的不同品種家貓和野貓。無論在質(zhì)量上還是數(shù)量上，這都是一個規(guī)?？涨暗臄?shù)據(jù)庫。只有在互聯(lián)網(wǎng)時代，深度學(xué)習(xí)這樣的卓越創(chuàng)造，才能因大數(shù)據(jù)而升華。

大數(shù)據(jù)威力很快顯示出來了，ImageNet 大數(shù)據(jù)集開源，成為檢驗各種 AI 算法的最權(quán)威平臺，也成為評價 AI 科研機(jī)構(gòu)和科技公司 AI 實力的最好競技場，自然成為全球科技界和媒體關(guān)注的焦點。

頗有意思的是，深度學(xué)習(xí)與 ImageNet 也互相成全，互為造星者。2012 年的 ImageNet 圖像識別競賽中，讓計算機(jī)學(xué)習(xí) 1000 萬張圖片，然后用 15 萬張圖片進(jìn)行測試，檢驗各種算法的識別準(zhǔn)確率（實際上是錯誤率），在這樣的大數(shù)據(jù)競賽環(huán)境中，深度學(xué)習(xí)大放異彩。最不跟風(fēng)追求時尚的李飛飛，也成為世界聞名的硅谷科技明星。2016年11月，李飛飛加盟谷歌公司，負(fù)責(zé)谷歌云。這位總能面對挑戰(zhàn)的女科學(xué)家，又走上自己的新旅程。

目睹大數(shù)據(jù)對深度學(xué)習(xí)成功的關(guān)鍵性作用，松尾豐這樣感慨：如果互聯(lián)網(wǎng)網(wǎng)頁的出現(xiàn)能再提早 15 年，也許今天硅谷的王冠就應(yīng)該戴在日本的頭上。他仍然在為日本的五代機(jī)而惋惜，認(rèn)為如果有互聯(lián)網(wǎng)帶來大數(shù)據(jù)這樣的信息環(huán)境，五代機(jī)可能就成功了。這位日本專家的分析或許有偏頗，但也反映出大數(shù)據(jù)對于深度學(xué)習(xí)不可或缺。

好風(fēng)憑借力，送我上青云。深度學(xué)習(xí)借助 GPU 和大數(shù)據(jù)兩只有力的翅膀，直上云霄。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。