0
| 本文作者： 大壯旅 | 2016-12-19 08:40 |
雷鋒網(wǎng)按：如果說到在機(jī)器學(xué)習(xí)領(lǐng)域領(lǐng)先的公司，想必你不會(huì)忽略谷歌。從谷歌翻譯到從機(jī)器視覺，谷歌一直努力將機(jī)器學(xué)習(xí)應(yīng)用于可能想象的任何地方。本文會(huì)講三個(gè)故事，它們?cè)?Google 翻譯向 AI 的成功轉(zhuǎn)型中整合在了一起：一個(gè)技術(shù)故事，一個(gè)制度故事和一個(gè)關(guān)于思想演變的故事。本文源自紐約時(shí)報(bào)，作者Gideon Lewis-Kraus，雷鋒網(wǎng)編譯，未經(jīng)許可不得轉(zhuǎn)載。
如果對(duì)前情不太熟悉的讀者，歡迎點(diǎn)擊閱讀《谷歌大腦是如何煉成的：萬字無刪減版全解密（一）》。
Jeff Dean
雖然 Jeff Dean 頂著高級(jí)研究員的頭銜，但其實(shí)他才是谷歌大腦部門的真正大腦。Dean 長著像卷福一樣的長臉，眼窩深陷、身材健壯且精力充沛，總是在談話中透出一股熱情。
Dean 的父親是一位醫(yī)學(xué)人類學(xué)家兼公共衛(wèi)生流行病學(xué)家，經(jīng)常輾轉(zhuǎn)于世界各地。因此， Dean 的童年也是在周游世界中度過的，明尼蘇達(dá)州、夏威夷、波士頓、阿肯色、亞特蘭大和日內(nèi)瓦、烏干達(dá)、索馬里等地都留有他的身影。
同時(shí)，Dean 從小就擅長制作軟件，他在高中和大學(xué)時(shí)編寫的軟件就被世界衛(wèi)生組織買走使用。1999年，Dean 正式加入谷歌，當(dāng)時(shí)他才 25 歲。從那時(shí)起，他幾乎參與了谷歌所有重大項(xiàng)目的核心軟件系統(tǒng)開發(fā)。作為一位功勛卓著的谷歌人，Dean 在谷歌內(nèi)部甚至成了一種文化，每個(gè)人都會(huì)拿他當(dāng)俏皮梗的素材。
2011 年年初，Dean 在谷歌的休息室遇見了吳恩達(dá)，后者是斯坦福大學(xué)的計(jì)算機(jī)科學(xué)家，同時(shí)也是谷歌的顧問。吳恩達(dá)表示自己正在幫助谷歌推進(jìn)一個(gè)名為 Project Marvin 的項(xiàng)目（以著名的 AI 先驅(qū)馬文·明斯基命名），模仿人類大腦結(jié)構(gòu)的數(shù)字網(wǎng)格，用于研究“神經(jīng)網(wǎng)絡(luò)”。
1990 年在明尼蘇達(dá)大學(xué)讀大學(xué)時(shí)，Dean 也曾接觸過此類技術(shù)，當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)的概念就已經(jīng)開始流行了。而最近五年里，專注于神經(jīng)科學(xué)研究的學(xué)者數(shù)量再次開始快速增長。吳恩達(dá)表示，在谷歌 X 實(shí)驗(yàn)室中秘密推進(jìn)的 Project Marvin 項(xiàng)目已經(jīng)取得了一些進(jìn)展。
Dean 對(duì)這個(gè)項(xiàng)目很感興趣，于是決定分出自己 20% 的時(shí)間投入其中（每位谷歌員工都要拿出自己 20% 的時(shí)間從事核心職務(wù)外的“私活”）。隨后，Dean 又拉來了一位得力助手，Greg Corrado 擁有神經(jīng)科學(xué)背景。同年春季末，該團(tuán)隊(duì)又迎來了第一位實(shí)習(xí)生——吳恩達(dá)最出色的學(xué)生 Quoc Le 。在那之后，Project Marvin 項(xiàng)目在谷歌工程師口中變成了“谷歌大腦”。
“人工智能”一詞誕生于 1956 年，當(dāng)時(shí)大多數(shù)研究人員認(rèn)為創(chuàng)造 AI 的最佳方法是寫一個(gè)非常高大全的程序，將邏輯推理的規(guī)則和有關(guān)世界的知識(shí)囊括其中。舉例來說，如果你想將英語翻譯成日語，需要將英日雙語的語法和詞匯全部囊括其中。這種觀點(diǎn)通常被稱為“符號(hào)化 AI ”，因?yàn)樗鼘?duì)認(rèn)知的定義是基于符號(hào)邏輯的，這種解決方案已經(jīng)嚴(yán)重過時(shí)。
說這種方案過時(shí)主要有兩個(gè)原因：一是它非常耗費(fèi)人力和時(shí)間，二是只有在規(guī)則和定義非常清楚的領(lǐng)域才有用：如數(shù)學(xué)計(jì)算和國際象棋。但如果拿這種方案來解決翻譯問題，就會(huì)捉襟見肘，因?yàn)檎Z言無法與詞典上的定義一一對(duì)應(yīng)，而且語言的使用中會(huì)出現(xiàn)各種變形和例外。不過，在數(shù)學(xué)和國際象棋上符號(hào)化 AI 確實(shí)非常強(qiáng)悍，絕對(duì)無愧于“通用智能”的名頭。
1961 年的這個(gè)紀(jì)錄片點(diǎn)出了人工智能研究中的一個(gè)共識(shí)：如果可以讓計(jì)算機(jī)模擬高階認(rèn)知任務(wù)（比如數(shù)學(xué)或象棋），就能沿著這種方法最終開發(fā)出類似于意識(shí)的東西。
不過，此類系統(tǒng)的能力確實(shí)有限。上世紀(jì) 80 年代，卡耐基梅隆大學(xué)的研究人員指出，讓計(jì)算機(jī)做成人能做的事情很簡單，但讓計(jì)算機(jī)做一歲兒童做的事情卻幾乎不可能，比如拿起一個(gè)球或識(shí)別一只貓。十幾年后，雖然深藍(lán)計(jì)算機(jī)在國際象棋上戰(zhàn)勝世界冠軍，但它離理想中的“通用智能”差的還很遠(yuǎn)。
關(guān)于人工智能，研究人員還有另一種看法，這種觀點(diǎn)認(rèn)為電腦的學(xué)習(xí)是自下而上的，即它們會(huì)從底層數(shù)據(jù)開始學(xué)習(xí)，而非頂層規(guī)則。這一觀點(diǎn)上世紀(jì) 40 年代就誕生了，當(dāng)時(shí)研究人員發(fā)現(xiàn)自動(dòng)智能的最佳模型就是人類大腦本身。
其實(shí)，從科學(xué)角度來看，大腦只不過是一堆神經(jīng)元的集合體，神經(jīng)元之間會(huì)產(chǎn)生電荷（也有可能不會(huì)），因此單個(gè)神經(jīng)元并不重要，重要的是它們之間的連接方式。這種特殊的連接方式讓大腦優(yōu)勢盡顯，它不但適應(yīng)能力強(qiáng)，還可以在信息量較少或缺失的情況下工作。同時(shí)，這套系統(tǒng)即使承受重大的損害，也不會(huì)完全失去控制，而且還可以用非常有效的方式存儲(chǔ)大量的知識(shí)，可以清楚區(qū)分不同的模式，同時(shí)又保留足夠的混亂以處理歧義。
其實(shí)我們已經(jīng)可以用電子元件的形式模擬這種結(jié)構(gòu)，1943 年研究人員就發(fā)現(xiàn)，簡單的人工神經(jīng)元如果排布準(zhǔn)確，就可以執(zhí)行基本的邏輯運(yùn)算。從理論上來講，它們甚至可以模擬人類的行為。
在生活中，人類大腦中的神經(jīng)元會(huì)因?yàn)椴煌捏w驗(yàn)而調(diào)節(jié)連接的強(qiáng)弱，人工神經(jīng)網(wǎng)絡(luò)也能完成類似任務(wù)，通過不斷試錯(cuò)來改變?nèi)斯ど窠?jīng)元之間的數(shù)字關(guān)系。人工神經(jīng)網(wǎng)絡(luò)的運(yùn)行不需要預(yù)定的規(guī)則，相反，它可以改變自身以反映說吸納數(shù)據(jù)中的模式。
這種觀點(diǎn)認(rèn)為人工智能是進(jìn)化出來而非創(chuàng)造出來的，如果想獲得一個(gè)靈活且能適應(yīng)環(huán)境的機(jī)制，那么絕對(duì)不能剛開始就教它學(xué)國際象棋。相反，你必須從一些基本的能力，如感官知覺和運(yùn)動(dòng)控制開始，長此以往更高的技能便會(huì)有機(jī)出現(xiàn)。既然我們學(xué)語言都不是靠背誦詞典和語法書的，為什么計(jì)算機(jī)要走這一道路呢？
谷歌大腦是世界上首個(gè)對(duì)這種觀點(diǎn)進(jìn)行商業(yè)投資的機(jī)構(gòu)，Dean、Corrado 和吳恩達(dá)開始合作不久就取得了進(jìn)展，他們從最近的理論大綱以及自 20 世紀(jì)八九十年代的想法中吸取靈感，并充分利用了谷歌巨大的數(shù)據(jù)儲(chǔ)備和龐大的計(jì)算基礎(chǔ)設(shè)施。他們將大量標(biāo)記過的數(shù)據(jù)輸入網(wǎng)絡(luò)，計(jì)算機(jī)的反饋隨之不斷改進(jìn)，越來越接近現(xiàn)實(shí)。
一天，Dean 告訴我“動(dòng)物進(jìn)化出眼睛是自然界的巨變?！碑?dāng)時(shí)我們正在會(huì)議室里，Dean 在白板上畫出了復(fù)雜的時(shí)間線，展示了谷歌大腦與神經(jīng)網(wǎng)絡(luò)發(fā)展歷史的關(guān)系。“現(xiàn)在，電腦也有了‘眼睛’，我們也可以借助‘眼睛’讓計(jì)算機(jī)識(shí)別圖片，機(jī)器人的能力將得到巨大的提升。未來，它們能夠在一個(gè)未知的環(huán)境中，處理許多不同的問題?！边@些正在開發(fā)中的能力看起來雖然比較原始，但絕對(duì)意義深遠(yuǎn)。
Geoffrey Hinton
Dean 表示，誕生一年后，谷歌大腦就在開發(fā)具有一歲兒童智力機(jī)器的實(shí)驗(yàn)中取得了巨大進(jìn)展。谷歌的語音識(shí)別部門順勢將自己的老系統(tǒng)中的一部分改成了神經(jīng)網(wǎng)絡(luò)，借此該系統(tǒng)取得了 20 年來最好的成績。同時(shí)，谷歌的物體識(shí)別系統(tǒng)也躍升了一整個(gè)數(shù)量級(jí)。不過，這并非因?yàn)楣雀璐竽X的團(tuán)隊(duì)想出了什么新點(diǎn)子，而是因?yàn)楣雀柙谠擃I(lǐng)域投入了大量人力物力，填補(bǔ)了原本研發(fā)領(lǐng)域的空缺。
隨后，Geoffrey Hinton 的到來將谷歌的戰(zhàn)果再次擴(kuò)大。成立第二年，吳恩達(dá)離開谷歌（現(xiàn)任百度首席科學(xué)家，領(lǐng)導(dǎo) 1300 人的 AI 團(tuán)隊(duì)，雷鋒網(wǎng)此前也做過相關(guān)報(bào)道），Dean 則請(qǐng)來了 Hinton，原本 Hinton 只想離開多倫多大學(xué)在谷歌待三個(gè)月，因此他成了谷歌的重量級(jí)實(shí)習(xí)生。在實(shí)習(xí)生培訓(xùn)過程中，輔導(dǎo)人員會(huì)說“輸入你的LDAP（目錄訪問協(xié)議）”，從沒在此類公司任職過的 Hinton 舉手問道：“什么是LDAP ？”在場一起接受培訓(xùn)的年輕人，雖然只是剛剛弄清深度學(xué)習(xí)與人工智能的關(guān)系，卻都在想“這個(gè)老家伙是誰？為什么他連 LDAP 都不懂？”
直到有一天，一位學(xué)生在餐廳見到 Hinton 教授并問道“Hinton 教授！我選修了你的課！你在這里做什么？”一切關(guān)于他的質(zhì)疑才煙消云散。
幾個(gè)月后，Hinton 在兩位學(xué)生的幫助下，在 ImageNet 大型圖像識(shí)別競賽中技驚四座，計(jì)算機(jī)不僅識(shí)別出猴子，而且能區(qū)分蛛臉猴和吼猴，以及各種各樣不同品種的貓。隨后，谷歌馬上對(duì) Hinton 和他的學(xué)生伸出了橄欖枝，他們也欣然接受?！拔冶疽詾楣雀枰I我們的知識(shí)產(chǎn)權(quán)，”Hinton 說道。“結(jié)果它們是對(duì)我們這幾個(gè)人感興趣。”
Hinton 出身于一個(gè)傳統(tǒng)的英國家族，他們家非常重視教育，因此出了不少著名學(xué)者。他的曾祖父 George Boole 在符號(hào)邏輯方面的基礎(chǔ)工作為計(jì)算機(jī)專業(yè)打下基礎(chǔ)，Hinton 的另一位曾祖父是著名的外科醫(yī)生，Hinton 的父親則是一個(gè)熱愛冒險(xiǎn)家的昆蟲學(xué)家，而 Hinton 父親的表哥則在 Los Alamos 研究所工作。
Hinton 也很爭氣，他先后在劍橋和愛丁堡兩所高等學(xué)府進(jìn)修，隨后又到卡耐基梅隆大學(xué)教書，現(xiàn)在 Hinton 則轉(zhuǎn)到了多倫多大學(xué)。筆者曾在 Hinton 的辦公室對(duì)他進(jìn)行采訪，當(dāng)時(shí) Hinton 衣帽整齊，一副英國紳士形象。不過，一開口 Hinton 的個(gè)人色彩就擋不住了，他甚至打趣說“電腦恐怕都比美國人更早理解諷刺為何物?！?/p>
上世紀(jì) 60 年代在劍橋求學(xué)時(shí)，Hinton 就開始了對(duì)神經(jīng)網(wǎng)絡(luò)技術(shù)的研究，他是該領(lǐng)域當(dāng)之無愧的先驅(qū)。不過，由于該理念過于超前，每次他向別人提到機(jī)器學(xué)習(xí)，人們都覺得他是在胡扯。
由于受到了感知機(jī)（Perceptron ，50 年代末研發(fā)的人工神經(jīng)網(wǎng)絡(luò)）這一概念被過去熱炒的影響，當(dāng)時(shí)搞神經(jīng)網(wǎng)絡(luò)的研究的人簡直就是學(xué)術(shù)界的異端。當(dāng)時(shí)，《紐約時(shí)報(bào)》還曾撰寫報(bào)道稱，感知機(jī)未來有可能會(huì)“走路、說話、閱讀、寫作甚至再造自己，并意識(shí)到自己的存在”。結(jié)果這證明這一切只是幻想而已。
1954 年，馬文·明斯基在普林斯頓的論文中就將神經(jīng)網(wǎng)絡(luò)選做研究主題，但他對(duì)Rosenblatt 關(guān)于神經(jīng)范式所做的夸張說法已經(jīng)厭倦了。后來，明斯基與麻省理工的同事合作出版了一本書，證明了有些問題即使非常簡單，感知機(jī)也永遠(yuǎn)無法解決。
不過，當(dāng)時(shí)的條件下明斯基抨擊的只是“單層”的神經(jīng)網(wǎng)絡(luò)，而 Hinton 則認(rèn)為若使用多層神經(jīng)網(wǎng)絡(luò)，就可以執(zhí)行復(fù)雜的任務(wù)。簡單來說，神經(jīng)網(wǎng)絡(luò)就是一臺(tái)機(jī)器，能夠從數(shù)據(jù)中發(fā)現(xiàn)模式并以此進(jìn)行分類或預(yù)測。有一層神經(jīng)網(wǎng)絡(luò)，你可以找到簡單的模式，但如果層數(shù)增多，就可以找出模式中的模式。
如果將這一理論套用到圖像識(shí)別中去的話，執(zhí)行圖像識(shí)別的神經(jīng)網(wǎng)絡(luò)主要使用“卷積神經(jīng)網(wǎng)絡(luò)”（這是 1998 年的一篇開創(chuàng)性論文中闡述的概念，該論文的主要作者是法國人 Yann LeCun ，他曾是 Hinton 的學(xué)生，現(xiàn)在則是 Facebook 人工智能實(shí)驗(yàn)室負(fù)責(zé)人），網(wǎng)絡(luò)的第一層負(fù)責(zé)學(xué)習(xí)識(shí)別圖像最基本的視覺效果“邊緣”，也就是判斷一個(gè)像素旁邊是否有東西。
隨后的各層神經(jīng)網(wǎng)絡(luò)都會(huì)從前一層尋找模式，“邊緣”可以是圓型也可以是矩形，而這些形狀可能就是人臉。這種識(shí)別方法與人眼類似，都是將信息組合在一起，從視網(wǎng)膜中的光線感應(yīng)器將信息回傳到大腦的視覺皮層。在處理過程中，那些不相關(guān)的細(xì)節(jié)會(huì)被即可丟掉，因?yàn)槿绻鞣N形狀結(jié)合成一張臉后，你無須在意臉部的位置，只需明確它是一張臉就行。
在 1993 年的一段演示視頻中，Yann LeCun 展示了自己卷積神經(jīng)網(wǎng)絡(luò)的早期版本，該系統(tǒng)隨后派上了大用場，在 20 世紀(jì)末處理了美國銀行經(jīng)手的 10%-20% 的支票。現(xiàn)在，卷積神經(jīng)網(wǎng)絡(luò)則成了圖像識(shí)別系統(tǒng)背后的超級(jí)大腦。
不過，多層的深度神經(jīng)網(wǎng)絡(luò)可不像單層的那么容易搭建。假設(shè)你在訓(xùn)練一個(gè)小孩子，讓他拿起綠色的球放進(jìn)紅色的盒子，這一動(dòng)作很容易學(xué)習(xí)，但如果你要求那個(gè)孩子拿起綠色球穿過三號(hào)門再放進(jìn) A 盒子可就不容易了，他很容易在過程中出錯(cuò)。你如何教會(huì)孩子完成這一系列動(dòng)作呢？總不能一直在他耳邊喋喋不休的重復(fù)吧？
為了解決多層出錯(cuò)的問題，Hinton 和其他幾個(gè)人找到了一種解決方案（也可以說是改進(jìn)了一個(gè)老方案）。當(dāng)時(shí)還是 70 年代末、80 年代初，這一方案重新點(diǎn)燃了學(xué)界對(duì)神經(jīng)網(wǎng)絡(luò)的興趣?！叭藗儗?duì)此非常興奮，”Hinton 說道?！暗鋵?shí)我們錯(cuò)估了其他人的興趣?！焙芸欤琀inton 這樣的人又成了學(xué)界眼中的怪人和神秘主義者。
不過，在哲學(xué)家和心理學(xué)家那里，Hinton 的想法依然很有市場，他們將其稱之為“連接主義”或“并行分布式處理”。雖然加拿大政府一直對(duì) Hinton 全力支持，但它們也難不出計(jì)算能力足夠前行的計(jì)算機(jī)和數(shù)據(jù)?！拔覀冎荒茏晕野参?，一旦時(shí)機(jī)成熟，我們就能做出點(diǎn)什么。”Hinton 說道。
當(dāng)皮查伊抬出“AI 為先”的概念時(shí)，他可不止是在描述公司的商業(yè)戰(zhàn)略，也同時(shí)把這一長久以來都沒有起到多大作用的概念扔給了公司。皮查伊大方的資源分配讓 Dean 和 Hinton 這樣的專家能獲得有力支持，他們有足夠的數(shù)據(jù)和計(jì)算能力來推進(jìn)自己的研究。從科學(xué)角度來說，人的大腦擁有 1000 億個(gè)神經(jīng)元，而每個(gè)神經(jīng)元?jiǎng)t會(huì)與其他 1 萬個(gè)神經(jīng)元連在一起，這就意味著神經(jīng)突觸的數(shù)量在 100 萬億到 1000 萬億之間。如果以上世紀(jì) 40 年代的標(biāo)準(zhǔn)來看，想復(fù)制這樣的復(fù)雜網(wǎng)絡(luò)根本是不可能的。我們離真正的神經(jīng)網(wǎng)絡(luò)還差著十萬八千里。不過，谷歌持續(xù)的投資至少讓我們通過人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了小白鼠大腦部分切片的功能。
要理解規(guī)模的重要性，你就得理解更多相關(guān)細(xì)節(jié)，即機(jī)器究竟對(duì)數(shù)據(jù)作做了什么？我們對(duì) AI 的恐懼，大都因?yàn)橛X得它們會(huì)像一個(gè)神秘的學(xué)者一般在圖書館挖掘?qū)W習(xí)知識(shí)，然后，從前只會(huì)玩曲別針的機(jī)器或許有一天能像對(duì)待一只螞蟻或者萵苣一樣輕松碾死人類。
不過，AI 可不是這樣工作的，它們每天只是在搜索并尋找共同點(diǎn)。開始其模式非常簡單，隨后逐漸深化?，F(xiàn)在最大的危險(xiǎn)則在于我們是否最初就給它灌輸了一些包含偏見的信息。
假設(shè)你想用老式的符號(hào)化 AI 模型打造一個(gè)貓咪識(shí)別程序，首先就必須花大量時(shí)間給機(jī)器灌輸?shù)降资裁词恰柏垺?。隨后在對(duì)照片進(jìn)行學(xué)習(xí)時(shí)，程序會(huì)遵循一大堆“如果”，并通過這些限制條件來識(shí)別貓咪。不過，如果你拿來一張?zhí)K格蘭折耳貓的圖片，它就會(huì)在耳朵這一“如果”上卡住，符號(hào)化 AI 根本就不認(rèn)這種耳朵出現(xiàn)變化的貓咪，這樣的識(shí)別水平連蹣跚學(xué)步的小孩都不如。
不過，換到神經(jīng)網(wǎng)絡(luò)的話，就根本無需貓的定義這個(gè)限制了，二進(jìn)制會(huì)處理一切。得到指令后，神經(jīng)網(wǎng)絡(luò)會(huì)自動(dòng)對(duì)相互連接的交換機(jī)進(jìn)行調(diào)教，將輸入的數(shù)據(jù)變成準(zhǔn)確的輸出數(shù)據(jù)。訓(xùn)練時(shí)用到的數(shù)據(jù)越多，得到的輸出數(shù)據(jù)就越準(zhǔn)確，一旦整個(gè)訓(xùn)練過稱完成，神經(jīng)網(wǎng)絡(luò)就能穩(wěn)定的處理數(shù)據(jù)并做出可靠的預(yù)測，這就是所謂的“監(jiān)督式學(xué)習(xí)”。
不過，需要注意的是，神經(jīng)網(wǎng)絡(luò)有一定的概率性，因此它并非萬金油，不能通吃所有任務(wù)。所以，如果它將狗狗識(shí)別成了貓咪，無需驚慌。但如果將這一情景換到自動(dòng)駕駛領(lǐng)域，我們可就要驚慌了，因?yàn)?0.1% 的錯(cuò)誤率可能就會(huì)要了你的命。
此外，由于監(jiān)督式學(xué)習(xí)是基于標(biāo)記過的數(shù)據(jù)的，因此人類依然會(huì)扮演重要的角色，如果在輸入時(shí)做了錯(cuò)誤的分類，未來在情境識(shí)別時(shí)神經(jīng)網(wǎng)絡(luò)可能就會(huì)出錯(cuò)。
谷歌大腦部門推進(jìn)神速，一年多的時(shí)間，它們就成功讓機(jī)器掌握了一歲小孩的技能。隨后，它們的部門成功從谷歌 X 實(shí)驗(yàn)室“畢業(yè)”，升級(jí)成高一級(jí)的研究機(jī)構(gòu)。不過，當(dāng)時(shí)的谷歌大腦團(tuán)隊(duì)依然只有不到 10 個(gè)工作人員，對(duì)于未來，他們也只有一個(gè)較為模糊的概念。
不過，就像人一樣，在學(xué)會(huì)了形狀并開始認(rèn)識(shí)皮球這一事物后，我們會(huì)為之滿足一段時(shí)間。但最終，人類會(huì)開始產(chǎn)生關(guān)于皮球的問題，這就是語言出現(xiàn)的原因。
在探索過程中，谷歌先整出了一篇關(guān)于貓的論文。這篇論文向我們展示了帶有超過 10 億個(gè)“突觸”連接的神經(jīng)網(wǎng)絡(luò)，這比當(dāng)時(shí)任何公開的神經(jīng)網(wǎng)絡(luò)模型都要大好幾百倍，不過與人類的大腦相比，依然小了好幾個(gè)數(shù)量級(jí)。這個(gè)神經(jīng)網(wǎng)絡(luò)能識(shí)別原始的、無標(biāo)簽的數(shù)據(jù)，并識(shí)別高難度的人類概念。谷歌大腦的研究者向神經(jīng)網(wǎng)絡(luò)展示了幾百萬幀的靜態(tài) Youtube 視頻，然后，神經(jīng)網(wǎng)絡(luò)的感覺中樞開始運(yùn)轉(zhuǎn)，分離出了一個(gè)穩(wěn)定的模型。和所有的小孩一樣，這一模型能毫不猶豫地識(shí)別出貓的臉。
這一神經(jīng)網(wǎng)絡(luò)在識(shí)別貓臉前可沒有讓研究人員“開小灶”，它對(duì)貓的定義和知識(shí)一無所知。神經(jīng)網(wǎng)絡(luò)直接與現(xiàn)實(shí)世界交互并且抓住了“貓”這一概念。（研究者發(fā)現(xiàn)，這一神經(jīng)網(wǎng)絡(luò)就好像核磁共振成像一般，貓的臉部的陰影會(huì)激活人工神經(jīng)元）。
其實(shí)，大多數(shù)的機(jī)器學(xué)習(xí)都受限于標(biāo)簽數(shù)據(jù)的數(shù)量，但該論文卻顯示，神經(jīng)網(wǎng)絡(luò)同樣能識(shí)別原始的無標(biāo)簽數(shù)據(jù)，有時(shí)甚至是人類自身都還沒建立起知識(shí)的數(shù)據(jù)。這一成果并不只是讓神經(jīng)網(wǎng)絡(luò)識(shí)別貓臉這么簡單，它對(duì)于人工智能的整體發(fā)展都有很大意義。
這篇論文的第一作者是 Quoc Le 。這位大學(xué)者個(gè)頭不高，說話輕聲細(xì)語但語速極快。Quoc Le 從小在越南長大，父母都是普通農(nóng)民，小時(shí)候家里甚至連電都沒有。不過，他在童年時(shí)就顯示出了超強(qiáng)的數(shù)學(xué)天賦。20 世紀(jì) 90 年代 Quoc Le 還在上學(xué)時(shí)，就曾經(jīng)嘗試開發(fā)聊天機(jī)器人。他在想，這會(huì)有多困難呢？現(xiàn)實(shí)告訴他，開發(fā)聊天機(jī)器人確實(shí)不是個(gè)輕松活。
畢業(yè)后，Quoc Le 離開了越南到澳大利亞的堪培拉大學(xué)學(xué)習(xí)，主要研究計(jì)算機(jī)視覺一類的 AI 任務(wù)。當(dāng)時(shí)，這一領(lǐng)域使用的方法，是要給機(jī)器填入大量的關(guān)于事物的定義性概念，這讓他覺得像是在作弊。Le 當(dāng)時(shí)并不清楚，世界上同樣有很多計(jì)算機(jī)科學(xué)家跟他有類似的想法，他們都認(rèn)為機(jī)器是能夠從零開始學(xué)習(xí)的。
2006年，Le 在德國的馬克斯普朗克研究所生物控制部門任職。在那里的一個(gè)讀書小組中，他讀到了 Geoffrey Hinton 的兩篇論文，他覺得自己的任督二脈瞬間被打通了。
“當(dāng)時(shí)這兩篇論文引起了很大的爭議”，他說道?！胺浅７浅４蟆?。隨后，他看了一眼自己畫在白板上曲線，又輕聲重復(fù)到，“我從來沒有見到過那么大的爭議。”
他清楚的記得，當(dāng)時(shí)自己在閱讀小組中站了起來并表示：”這就是未來?！爱?dāng)時(shí)，這并不是一個(gè)很受歡迎的決定。他遠(yuǎn)在澳大利亞的導(dǎo)師還曾寫郵件問他：“你為什么做了這個(gè)決定？”
“當(dāng)時(shí)我沒想好怎么回答，”Le 說道?！拔抑皇欠浅：闷妗Ｋ鼈兲岢隽艘粋€(gè)很成功的范式，但老實(shí)說，我只是對(duì)這一范式感到好奇。2006 年時(shí)，這樣的觀點(diǎn)非常稀有?！彪S后，Le 轉(zhuǎn)到斯坦福并加入了吳恩達(dá)的團(tuán)隊(duì)，隨后他開始順著 Hinton 的道路向前邁進(jìn)?！?010 年年底，我已經(jīng)非常確信會(huì)有大事發(fā)生了。”
隨后，Le 到倫敦進(jìn)行實(shí)習(xí)，而關(guān)于貓的那篇論文，就是在這一段時(shí)間打下的基礎(chǔ)。在一個(gè)簡單的層面上，Le 想看看計(jì)算機(jī)是否可以被訓(xùn)練，并實(shí)現(xiàn)對(duì)給定圖像絕對(duì)必要信息的識(shí)別。他給神經(jīng)網(wǎng)絡(luò)輸入了一個(gè)他從 YouTube 采集的靜態(tài)片段。隨后他告訴神經(jīng)網(wǎng)絡(luò)丟棄圖像中包含的一些信息。神經(jīng)網(wǎng)絡(luò)隨后拋棄了一些信息，最初是隨機(jī)的。接著他告訴計(jì)算機(jī)：“剛才是開玩笑，現(xiàn)在重新創(chuàng)建初始圖像，你只需根據(jù)你保留的信息進(jìn)行顯示就行。這種要求就像他要求計(jì)算機(jī)找到一種方法來“總結(jié)”圖像，然后從摘要再回溯到最初的圖像。如果摘要是基于不相關(guān)的數(shù)據(jù)，如天空的顏色，而不是胡須，計(jì)算機(jī)就不能執(zhí)行完整的重建。
計(jì)算機(jī)的表現(xiàn)就像是原始人，他們對(duì)于劍齒虎的印象是在逃跑過程中建立的。Le 的神經(jīng)網(wǎng)絡(luò)與前人不同，它需要進(jìn)行一次一次又一次的嘗試。從數(shù)學(xué)的層面上來說，它每一次都會(huì)選擇對(duì)不同的信息進(jìn)行優(yōu)化，然后表現(xiàn)會(huì)越來越好。
這樣看來，神經(jīng)網(wǎng)絡(luò)就是一個(gè)黑箱，它確實(shí)生成了某種范式，但人類很難從外部對(duì)其進(jìn)行觀察和理解。
關(guān)于貓的論文雖然讓 Le 聲名鵲起，但他自己并未感到自己掌握了業(yè)界的話語權(quán)。不過，他感受到了一種動(dòng)力，未來的研究要跟他早年開發(fā)的聊天機(jī)器人聯(lián)系在一起。在發(fā)表那篇著名論文后，他意識(shí)到，如果你能讓一個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)照片進(jìn)行總結(jié)，你也可以讓它對(duì)一些句子進(jìn)行總結(jié)。在接下來的兩年中，這些想法一直在 Le 和他在谷歌大腦的同事 Thomas Mikolov 大腦中縈繞。
有段時(shí)間，谷歌大腦團(tuán)隊(duì)由于發(fā)展過快甚至占領(lǐng)了高管的辦公室。隨后，管理處還專門發(fā)郵件讓他們不要在公司 CEO 辦公室門口的沙發(fā)上睡覺。
在談到那位“同路者” Mikolov 時(shí)，Le 神情有些變化，但總是不斷提起他的名字和兩人之間的合作。后來才知道，原來 Mikolov 已經(jīng)去了谷歌的對(duì)手 Facebook。
2012 年時(shí)的谷歌大腦團(tuán)隊(duì)
在這段時(shí)間里，他們?cè)噲D搭建出新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，不但能應(yīng)付簡單的靜態(tài)圖片分類，還能搞定更為復(fù)雜的任務(wù)，如語言或音樂。他們用到的理念上世紀(jì) 90 年代就誕生了，Le 和他的同事們專門回溯了那些長期被忽視的概念，一邊找尋其中被忽略的閃光點(diǎn)。
他們知道，一旦你建立了一個(gè)具有基本語言預(yù)測能力的設(shè)施，你就可以繼續(xù)做其他各種智能的事情， 比如預(yù)測一個(gè)合適的電子郵件回復(fù)，或智能地預(yù)測一個(gè)談話的過程。這樣，你就可以側(cè)重于那種從表面看起來很像思維的能力。
本文為雷鋒網(wǎng)編譯的第二部分，敬請(qǐng)期待后續(xù)的第三部分。
Via. New York Times
【招聘】雷鋒網(wǎng)堅(jiān)持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時(shí)間提供海外科技動(dòng)態(tài)與資訊。我們需要若干關(guān)注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。
簡歷投遞至 wudexin@leiphone.com，工作地 北京。
相關(guān)文章：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
