雷鋒網(wǎng)按：本文作者陳宗周，環(huán)球科學(xué)雜志社社長(zhǎng)、總編輯，創(chuàng)辦了《環(huán)球科學(xué)》丶《電腦報(bào)》丶《知識(shí)經(jīng)濟(jì)》等科技媒體，是全國有影響的媒體人、科學(xué)作家、媒體企業(yè)家，對(duì)科技史、前沿科技、數(shù)字技術(shù)、互聯(lián)網(wǎng)、人工智能的進(jìn)展保持長(zhǎng)期研究，并寫有大量相關(guān)文章。先后擔(dān)任中科普傳媒有限公司總經(jīng)理、天極網(wǎng)董事長(zhǎng)、中國科技報(bào)研究會(huì)副理事長(zhǎng)等職務(wù)，也是中囯科協(xié)第七屆全國委員會(huì)委員。

本文為陳宗周的《AI 傳奇系列》第三篇，由《環(huán)球科學(xué)》授權(quán)刊載。

發(fā)明個(gè)人電腦與互聯(lián)網(wǎng)，是人類的兩大傳奇?，F(xiàn)在，AI 正在成為我們親手締造的又一個(gè)傳奇。正像蒸汽機(jī)開啟了工業(yè)革命時(shí)代一樣，AI 也將把人類社會(huì)帶入新世紀(jì)。

正是杰夫·欣頓（Geoffrey Hinton）等科學(xué)家在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域鍥而不舍的研究與探索，深度學(xué)習(xí)才會(huì)脫穎而出，創(chuàng)造出今天 AI 的一個(gè)個(gè)奇跡。

實(shí)習(xí)生培訓(xùn)班的老人

2012 年的一天，谷歌公司的實(shí)習(xí)生培訓(xùn)班里，來了一位頭發(fā)花白的奇怪老人。在這群年輕實(shí)習(xí)生中，他顯得非常特別，不但年齡很大，卻仿佛什么都不懂。比如，培訓(xùn)老師說：“輸入你的 LDAP（輕量目錄數(shù)據(jù)庫）用戶登錄碼。”老人會(huì)立刻舉手問道：“什么是 LDAP？”培訓(xùn)班上的年輕人都在想，“那個(gè)老家伙是誰？為什么他連 LDAP 都不知道？”

直到有一天，有人在餐廳午餐時(shí)發(fā)現(xiàn)老人，立刻走過來熱情地說，“欣頓教授，我選修了你的課。你在這里做什么？”實(shí)習(xí)生們大為驚訝，原來天天和他們坐在一起的這位老實(shí)習(xí)生，是“深度學(xué)習(xí)教父”、加拿大多倫多大學(xué)計(jì)算機(jī)系教授杰夫·欣頓。

不過，那時(shí)的欣頓，在 AI 圈子里雖已很有名氣，但和今天的影響相比，不可同日而語。現(xiàn)在，欣頓引領(lǐng)的深度學(xué)習(xí)技術(shù)潮流，已經(jīng)席卷全球，成為 AI 這一輪復(fù)興的關(guān)鍵技術(shù)。杰夫·欣頓也成為媒體追捧的科技巨星。

欣頓居然在谷歌公司參加過實(shí)習(xí)生培訓(xùn)，這是一段頗有戲劇性的故事。谷歌大腦（Google Brain）負(fù)責(zé)人杰夫·迪恩邀請(qǐng)欣頓到谷歌工作，他自己也愿意到谷歌短期工作三個(gè)月，雙方一拍即合?？墒枪雀栌幸恍┕殴值囊?guī)定，短期工作的欣頓必須經(jīng)過實(shí)習(xí)生培訓(xùn)。這樣，六十多歲的他，出現(xiàn)在實(shí)習(xí)生隊(duì)伍里。

2013年春天，谷歌收購了多倫多的 DNNresearch 公司。這家深度神經(jīng)網(wǎng)絡(luò)研究公司，前一年剛創(chuàng)辦，連欣頓共三人。收購后，欣頓很自然地成為谷歌公司AI顧問。大感意外的他，這樣告訴別人：“我以為他們對(duì)我們的知識(shí)產(chǎn)權(quán)感興趣，結(jié)果他們對(duì)我們這幾個(gè)人感興趣?！?/p>

是的，雄心勃勃在 AI 領(lǐng)域進(jìn)取的谷歌，感興趣的正是欣頓這位深度學(xué)習(xí)領(lǐng)軍人物。這次收購，打響了高科技公司巨頭的深度學(xué)習(xí)人才爭(zhēng)奪戰(zhàn)第一槍。后來，曾在欣頓門下做過博士后的紐約大學(xué)計(jì)算機(jī)系教授雅恩·樂昆（Yann LeCun，即楊立昆）、蒙特利爾大學(xué)教授約書亞·本希奧（Yoshua Bengio）先后被 Facebook、微軟聘用。欣頓和這兩位教授，被稱為深度學(xué)習(xí)的“加拿大黑手黨三人幫”，他們都與加拿大有淵源，又成為深度學(xué)習(xí)的先驅(qū)。他們被高科技巨頭公司網(wǎng)羅，是深度學(xué)習(xí)人才戰(zhàn)的標(biāo)志。隨著越來越多的企業(yè)加入這場(chǎng) AI 人才大戰(zhàn)，AI 在各行各業(yè)的深入應(yīng)用也不斷加快。

人工神經(jīng)網(wǎng)絡(luò)道路崎嶇

當(dāng)前的 AI 熱潮，與以前兩次有極大不同的是，不但科研人員大量流向企業(yè)，投資主體也已經(jīng)從政府轉(zhuǎn)向企業(yè)?；仡櫽?jì)算機(jī)和互聯(lián)網(wǎng)走過的道路，同樣都有這樣的路徑：從軍事和科研領(lǐng)域轉(zhuǎn)向商用，再轉(zhuǎn)向大規(guī)模民用，從而在全社會(huì)普及。今天的 AI，正在向全社會(huì)普及之中。而這一切，與欣頓為代表的一批深度學(xué)習(xí)領(lǐng)域科學(xué)家在 AI 寒冬中頑強(qiáng)堅(jiān)持科研方向有很大關(guān)系。

杰夫·欣頓 1947 年出生于英國。他的家族有很深的學(xué)術(shù)淵源，他的曾祖父的岳父就是喬治·布爾（George Boole），是符號(hào)邏輯領(lǐng)域的先驅(qū)，這是促進(jìn)計(jì)算機(jī)誕生與發(fā)展的重要基礎(chǔ)研究之一，“布爾代數(shù)”就是以他的姓命名。

欣頓很早就開始思考人的大腦。16 歲時(shí)一位同學(xué)給他介紹關(guān)于記憶的理論：大腦對(duì)于事物和概念的記憶，不是存儲(chǔ)在某個(gè)單一的地點(diǎn)，而是像全息照片一樣，分布式存儲(chǔ)于一個(gè)巨大神經(jīng)元網(wǎng)絡(luò)里。全息照片、分布式、神經(jīng)元網(wǎng)絡(luò)，這些概念深深啟發(fā)了他，讓他對(duì)神經(jīng)網(wǎng)絡(luò)產(chǎn)生了濃厚興趣。

很自然地，他進(jìn)入劍橋大學(xué)心理學(xué)專業(yè)并于 1970 年本科畢業(yè)。1978 年，他取得愛丁堡大學(xué) AI 專業(yè)博士學(xué)位，這所大學(xué)的 AI 實(shí)驗(yàn)室，是世界上最早建立的四個(gè) AI 研究基地之一。博士畢業(yè)后，他在卡內(nèi)基梅隆大學(xué)等多所高校游學(xué)，最后到加拿大多倫多大學(xué)任教。無論他走到哪里，他的研究方向始終聚焦人工神經(jīng)網(wǎng)絡(luò)。他在神經(jīng)網(wǎng)絡(luò)方面的漫長(zhǎng)學(xué)術(shù)生涯，幾乎與 AI 學(xué)科同齡。

人工神經(jīng)網(wǎng)絡(luò)（ANN），簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)，是AI的重要研究領(lǐng)域。AI 研究領(lǐng)域一直有兩大學(xué)派，一派是符號(hào)學(xué)派，被稱為符號(hào)主義;另一派是聯(lián)結(jié)學(xué)派，也被稱為聯(lián)結(jié)主義。兩大學(xué)派都從人腦得到啟示，開始 AI研究。符號(hào)學(xué)派從人腦的推理功能出發(fā)，認(rèn)為要模擬人腦的邏輯推理思維，就要把相關(guān)的信息抽象為符號(hào)，然后進(jìn)行符號(hào)運(yùn)算，從而實(shí)現(xiàn)推理功能。聯(lián)結(jié)學(xué)派則從人腦的組織出發(fā)，進(jìn)行機(jī)器模擬。人腦有大量被稱為神經(jīng)元的腦細(xì)胞，人之所以能夠進(jìn)行思維，就是因?yàn)檫@些神經(jīng)元互相聯(lián)結(jié)，處理各種信息。同樣，如果用機(jī)器模擬神經(jīng)元，并建立人工神經(jīng)元聯(lián)結(jié)網(wǎng)絡(luò)，這樣的人工神經(jīng)網(wǎng)絡(luò)就能夠進(jìn)行思維。屬于聯(lián)結(jié)學(xué)派的人工神經(jīng)網(wǎng)絡(luò)，一直按照這樣的思路進(jìn)行研究。

正像 AI 領(lǐng)域的所有研究一樣，人工神經(jīng)網(wǎng)絡(luò)道路注定不會(huì)平坦。

神經(jīng)網(wǎng)絡(luò)概念實(shí)際上先于 AI，在 20 世紀(jì) 40 年代就出現(xiàn)了。AI 學(xué)科的創(chuàng)始人之一的馬文·明斯基 1951 年就研制出基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)，他在達(dá)特茅斯會(huì)議期間拿出來交流的，正是這一神經(jīng)網(wǎng)絡(luò)系統(tǒng)。1957 年康奈爾大學(xué)心理學(xué)教授弗蘭克·羅森布拉特（Frank Rosenblatt）提出的“感知器”（Perceptron），是第一次用算法來精確定義神經(jīng)網(wǎng)絡(luò)和第一個(gè)具有自組織自學(xué)習(xí)能力的數(shù)學(xué)模型。另一方面，這臺(tái)電子感知機(jī)因?yàn)槟茏x入并識(shí)別簡(jiǎn)單的字母和圖像，而在當(dāng)時(shí)引起轟動(dòng)，引來對(duì)AI的無數(shù)美好遐想。

但那個(gè)時(shí)代的神經(jīng)網(wǎng)絡(luò)系統(tǒng)不可能實(shí)用，馬文·明斯基自己也對(duì)感知機(jī)提出嚴(yán)厲批評(píng)。人工神經(jīng)網(wǎng)絡(luò)的研究，很快在 AI 的第一次寒冬中進(jìn)入低潮。

寒冬中的堅(jiān)持

杰夫·欣頓博士畢業(yè)不久，AI 剛好迎來第二次高潮。一直在神經(jīng)網(wǎng)絡(luò)領(lǐng)域耕耘的他并沒有感到好時(shí)光到來，因?yàn)槟莻€(gè)時(shí)代符號(hào)學(xué)派占了上風(fēng)，名噪一時(shí)的專家系統(tǒng)、智能推理機(jī)，都是符號(hào)主義的勝利。而到了 AI 的第二次寒冬，所有的AI項(xiàng)目卻都受到重創(chuàng)，神經(jīng)網(wǎng)絡(luò)也如此。

人工神經(jīng)網(wǎng)絡(luò)想法非常好，研究成果也大量出現(xiàn)。但隨著對(duì)人腦研究的深入，人們發(fā)現(xiàn)，人腦的確是宇宙中最復(fù)雜的精靈之物，模仿人腦的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，談何容易。

一個(gè)人類的大腦保守估計(jì)有 1000 億個(gè)神經(jīng)元。人們常常比喻人腦像一臺(tái)電腦，實(shí)際上每一個(gè)神經(jīng)元都是一臺(tái)電腦。每一個(gè)神經(jīng)元有無數(shù)突觸與其他神經(jīng)元相連，估計(jì)突觸的數(shù)量在 100 萬億到 1000 萬億之間。谷歌大腦是最著名的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，即使在今天，目標(biāo)也不過是達(dá)到大腦某一部分的功能。

由于人工神經(jīng)網(wǎng)絡(luò)的高度復(fù)雜性，這一研究方向一度被認(rèn)為是學(xué)術(shù)死路。在AI第二次進(jìn)入低谷時(shí)，很多同行開始轉(zhuǎn)去研究別的領(lǐng)域，但是欣頓等人仍然在這里堅(jiān)守，他因而被視為不可理喻的怪人，說起神經(jīng)網(wǎng)絡(luò)，人們都用不屑的眼神看著他。盡管欣頓在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域碩果累累，并在 1998 年被選為英國皇家學(xué)會(huì)院士，還獲得了很多其他榮譽(yù)，但仍不能扭轉(zhuǎn)人們的偏見。很長(zhǎng)一段時(shí)間里，多倫多大學(xué)計(jì)算機(jī)系私下流行著一句對(duì)新生的警告：不要去欣頓的實(shí)驗(yàn)室。

欣頓不為所動(dòng)，仍然堅(jiān)持自己的神經(jīng)網(wǎng)絡(luò)研究方向。據(jù)說他有一種激勵(lì)自己的特殊方法，每周發(fā)泄般大吼一次：我發(fā)現(xiàn)大腦是怎樣工作的啦！這樣的習(xí)慣，幾十年一直保持下來。

在神經(jīng)網(wǎng)絡(luò)相關(guān)學(xué)術(shù)論文很難得到發(fā)表的那段時(shí)間，他堅(jiān)持寫了兩百多篇研究論文，為后來的突破打下了堅(jiān)實(shí)的基礎(chǔ)?？蒲薪?jīng)費(fèi)又成為他的大問題。但功夫不負(fù)有心人。2004 年，欣頓終于從加拿大高等研究所（CIFAR）獲得了每年50萬美元的經(jīng)費(fèi)支持，如果和日本五代機(jī)等知名AI項(xiàng)目得到的巨額資金相比，這實(shí)在是一筆微薄的經(jīng)費(fèi)。但是，名為“神經(jīng)計(jì)算和適應(yīng)感知”的這一項(xiàng)目，在樂昆和本希奧兩位志同道合者的良好合作下，他們將一批一流的計(jì)算機(jī)、生物學(xué)、電子工程、神經(jīng)科學(xué)、物理學(xué)和心理學(xué)專家團(tuán)結(jié)在一起，共同探索神經(jīng)網(wǎng)絡(luò)模擬人腦智能的新方法。

深度學(xué)習(xí)登場(chǎng)

重大突破出現(xiàn)了。2006年7月28日，欣頓和學(xué)生題為《用神經(jīng)網(wǎng)絡(luò)降低數(shù)據(jù)維數(shù)》的論文在美國權(quán)威的《Science》雜志發(fā)表，這篇論文被認(rèn)為是深度學(xué)習(xí)領(lǐng)域開創(chuàng)性論文。論文中介紹了神經(jīng)網(wǎng)絡(luò)的一些新思想和新方法，引起AI和人工神經(jīng)網(wǎng)絡(luò)界的關(guān)注。而他們和經(jīng)費(fèi)支持者 CIFAR 一起，開始把新思想和新方法，用20年前就出現(xiàn)過但沒引起重視的一個(gè)術(shù)語“深度學(xué)習(xí)”（Deep Learning）來描述和包裝。深度學(xué)習(xí)開始登場(chǎng)，漸漸地成為AI和神經(jīng)網(wǎng)絡(luò)最熱門的研究方向，在有些場(chǎng)合，深度學(xué)習(xí)甚至成為神經(jīng)網(wǎng)絡(luò)的代名詞。

盡管 2006 年以后深度學(xué)習(xí)就開始引起關(guān)注，但震撼性的影響發(fā)生在 6 年后，在前面提到的 2012 年 ImageNet 圖像識(shí)別競(jìng)賽上。ImageNet 是斯坦福大學(xué)華裔女科學(xué)家李飛飛和普林斯頓大學(xué)華裔教授李凱 2007 年起合作開發(fā)的大型圖像識(shí)別項(xiàng)目基礎(chǔ)上創(chuàng)辦的權(quán)威競(jìng)賽，這項(xiàng)競(jìng)賽已經(jīng)成為圖像識(shí)別領(lǐng)域當(dāng)年最高水平者之間的較量。

欣頓的兩位學(xué)生組成多倫多大學(xué)小組，在 2012 年的競(jìng)賽中采用深度學(xué)習(xí)贏得了競(jìng)賽的圖像分類比賽冠軍，不僅識(shí)別出猴子，而且區(qū)分出蜘蛛猴和吼猴，以及各種各樣不同品種的貓。

一次比賽的冠軍也許并不重要，重要的是欣頓小組用了與其他參賽者完全不同的方法，得到顛覆性的結(jié)果。競(jìng)賽中，他們采用深度學(xué)習(xí)的識(shí)別結(jié)果，準(zhǔn)確率超過第二名東京大學(xué)10%以上，而第二到第四名都采用傳統(tǒng)計(jì)算機(jī)圖像識(shí)別方法進(jìn)行分類，他們之間準(zhǔn)確率的差別不超過1%。也就是說，采用深度學(xué)習(xí)，把圖像識(shí)別的準(zhǔn)確率進(jìn)步一下子提高了一個(gè)數(shù)量級(jí)。2012 年 10 月，在意大利佛羅倫薩的研討會(huì)上，競(jìng)賽組織者李飛飛宣布了這一壓倒性的結(jié)果，在計(jì)算機(jī)視覺領(lǐng)域產(chǎn)生了極大的震動(dòng)，并迅速波及到整個(gè) AI 界和產(chǎn)業(yè)界。

深度學(xué)習(xí)的熱潮從此掀起，一波接一波向前迅猛推進(jìn)，不斷進(jìn)入一個(gè)又一個(gè)領(lǐng)域并連戰(zhàn)連捷，勢(shì)如破竹，形成今天銳不可擋的AI狂潮。

未完待續(xù)……

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。