編者注：本文是在“人機大戰(zhàn)”AlphaGo 4:1 獲勝后，雷鋒網(wǎng)采編的《人類群星閃耀時》系列文章的第一篇。謹(jǐn)以此系列向在人工智能和深度學(xué)習(xí)領(lǐng)域做出了接觸貢獻的天才們致敬。

20世紀(jì)60年代的英國：杰夫·辛頓（Geoff Hinton）還在讀高中時，他的同學(xué)給他安利了一個說法：大腦的工作就像一張全息圖。他深以為然。

80年代初期：辛頓發(fā)起了雄心壯志的計劃——利用計算機硬件和軟件來模擬人類大腦，創(chuàng)建一個純粹的人工智能。

2006年：辛頓突破性地提出深度學(xué)習(xí)的概念，讓人工智能變成現(xiàn)實成為可能。

深度學(xué)習(xí)的濫觴：科學(xué)家你不懂大腦

他是深度學(xué)習(xí)鼻祖杰夫·辛頓（Geoff Hinton），是反向傳播和對比發(fā)散訓(xùn)練算法的共同發(fā)明人，當(dāng)年高中基友的觀點看起來只是一個小小的啟示，但對他以及世界科技發(fā)展來說，卻是一個關(guān)鍵時刻——辛頓回憶起來時表示：“聽到那個觀點時，我真的很興奮?！睕]錯，這就是后來深度學(xué)習(xí)的靈感來源。

三十年之間，深度學(xué)習(xí)的研究在學(xué)術(shù)界看來似乎是個異類。但現(xiàn)在，辛頓和他的深度學(xué)習(xí)團隊——包括紐約大學(xué)（NYU）教授、卷積網(wǎng)絡(luò)之父燕樂存（Yann LeCun）和加拿大蒙特利爾大學(xué)教授、機器學(xué)習(xí)大神本吉奧（ Yoshua Bengio），儼然稱為互聯(lián)網(wǎng)領(lǐng)域最星光熠熠的名字。辛頓是加拿大多倫多大學(xué)的教授，目前也有一部分時間為Google工作。在Google，他利用深度學(xué)習(xí)技術(shù)來提高語音識別，圖像識別等其他在線工具。樂存則就職于Facebook，做著相似的工作。是的，近年來人工智能突然在微軟、IBM、Facebook、百度等巨頭中風(fēng)靡了起來。 

本吉奧

20世紀(jì)50年代，數(shù)字神經(jīng)網(wǎng)絡(luò)就被發(fā)明了出來，但計算機科學(xué)家花費了數(shù)十年來研究如何駕馭百萬乃至億級神經(jīng)元之間那龐大到如天文數(shù)字一般的組合關(guān)系。這一過程的關(guān)鍵是要將神經(jīng)網(wǎng)絡(luò)組織成為堆疊層（stacked layer）。一個相對來說比較簡單的任務(wù)就是人臉識別。當(dāng)某神經(jīng)網(wǎng)絡(luò)中的一組比特被發(fā)現(xiàn)能夠形成某種圖案——例如，一只眼睛——這一結(jié)果就會被向上轉(zhuǎn)移至該神經(jīng)網(wǎng)絡(luò)的另一層以做進一步分析。接下來的這一層可能會將兩只眼睛拼在一起，將這一有意義的數(shù)據(jù)塊傳遞到層級結(jié)構(gòu)的第三層，該層可以將眼睛和鼻子的圖像結(jié)合到一起來進行分析。識別一張人臉可能需要數(shù)百萬個這種節(jié)點，并需要堆疊高達15個層級。

60年代，當(dāng)時正在劍橋大學(xué)學(xué)習(xí)心理學(xué)的本科生辛頓意識到，科學(xué)家并沒有真正理解大腦，他們并沒有完全了解十億神經(jīng)元是如何學(xué)習(xí)或計算的，以及如何提升智力。而在辛頓看來，這些都是關(guān)乎1950年代人工智能研究夢想的大問題。受到當(dāng)年高中那段對話的啟發(fā)，辛頓開始在劍橋大學(xué)和蘇格蘭愛丁堡大學(xué)探索神經(jīng)網(wǎng)絡(luò)。

深度學(xué)習(xí)的崎嶇發(fā)展

1978年，辛頓從愛丁堡獲得人工智能博士學(xué)位。80年代初期，辛頓發(fā)起了雄心壯志的計劃——利用計算機硬件和軟件來模擬人類大腦，創(chuàng)建一個純粹的人工智能——這是后人所稱的“深度學(xué)習(xí)”。

1989年，辛頓、燕樂存等人開始將1974年提出的標(biāo)準(zhǔn)反向傳播算法應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)。當(dāng)年，盡管算法可以成功執(zhí)行，但計算代價非常巨大。那時的電腦性能還遠遠不能處理神經(jīng)網(wǎng)絡(luò)需要的巨大數(shù)據(jù)集，神經(jīng)網(wǎng)路的訓(xùn)練時間達到3天，因而無法投入實際使用。與此同時，神經(jīng)網(wǎng)絡(luò)也受到了其他更加簡單模型的挑戰(zhàn)，比如支持向量機等模型在20世紀(jì)90年代到21世紀(jì)初成為更加流行的機器學(xué)習(xí)算法。

為了解決這些問題，在1992年9月和1993年10月之間，辛頓撰寫了近200篇領(lǐng)域相關(guān)的文章，介紹他利用神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)，記憶，感知和符號處理方法的研究。

對如今來說最重要的創(chuàng)新之一是，辛頓是多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的最重要研究者之一，他在訓(xùn)練“專家乘積”中最早提出單層RBM的訓(xùn)練方法——對比分歧（contrast divergence，CD）。對比分歧提供了一種對最大似然的近似，被理想地用于學(xué)習(xí)受限玻爾茲曼機的權(quán)重。當(dāng)單層RBM被訓(xùn)練完畢后，另一層RBM可被堆疊在已經(jīng)訓(xùn)練完成的RBM上，形成一個多層模型。每次堆疊時，原有的多層網(wǎng)絡(luò)輸入層被初始化為訓(xùn)練樣本。

燕樂存

也就是說，辛頓發(fā)明的訓(xùn)練方法對50年代的數(shù)字神經(jīng)網(wǎng)絡(luò)進行了極大的改進，因為它能夠從數(shù)學(xué)層面上優(yōu)化每一層的結(jié)果從而使神經(jīng)網(wǎng)絡(luò)在形成堆疊層時加快學(xué)習(xí)速度。

辛頓和樂存如今回憶起來，都表示這過程異常地艱難。事實是，直到2004年——距離辛頓第一次研究反向傳播算法神經(jīng)網(wǎng)絡(luò)已經(jīng)20年——學(xué)術(shù)界仍然對其毫無興趣。

同樣在2004年，在加拿大先進項目研究所（CIFAR）的微薄資金支持下，以及樂存和本吉奧的幫助下，辛頓建立了神經(jīng)計算和自適應(yīng)感知項目。

辛頓邀請了些計算機科學(xué)家、生物學(xué)家、電氣工程師、神經(jīng)科學(xué)家、物理學(xué)家和心理學(xué)家，來開始他的模擬生物智能研究——模擬大腦如何篩選大量的視覺、聽覺以及書面線索來理解和應(yīng)對它的環(huán)境。他們的成果，不僅證明了辛頓的研究的意義，也推動了世界人工智能的發(fā)展。

2006年開始，辛頓將畢生的研究成為“深度學(xué)習(xí)”，這一概念也從此逐漸受人關(guān)注。數(shù)年后，當(dāng)深度學(xué)習(xí)算法被移植到GPU集群中后，其速度有了顯著提高。

也許僅靠深度學(xué)習(xí)的代碼并不足以產(chǎn)生復(fù)雜的邏輯思維，但是它是IBM的沃森電腦、Google搜索引擎以及Facebook算法等當(dāng)下所有人工智能產(chǎn)品的主要組成部分，而結(jié)合了并行計算、大數(shù)據(jù)和更深層次算法的深度學(xué)習(xí)也讓匍匐前進60年的人工智能一鳴驚人。

圖片來源：wired

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。