0
雷鋒網(wǎng)按：如果說到在機(jī)器學(xué)習(xí)領(lǐng)域領(lǐng)先的公司，想必你不會忽略谷歌。從谷歌翻譯到從機(jī)器視覺，谷歌一直努力將機(jī)器學(xué)習(xí)應(yīng)用于可能想象的任何地方。本文會講三個故事，它們在 Google 翻譯向 AI 的成功轉(zhuǎn)型中整合在了一起：一個技術(shù)故事，一個制度故事和一個關(guān)于思想演變的故事。本文源自紐約時報，作者Gideon Lewis-Kraus，雷鋒網(wǎng)編譯，未經(jīng)許可不得轉(zhuǎn)載。
如果對前情不太熟悉的讀者，歡迎點(diǎn)擊閱讀《谷歌大腦是如何煉成的：萬字無刪減版全解密（一）》。
Jeff Dean
雖然 Jeff Dean 頂著高級研究員的頭銜，但其實(shí)他才是谷歌大腦部門的真正大腦。Dean 長著像卷福一樣的長臉，眼窩深陷、身材健壯且精力充沛，總是在談話中透出一股熱情。
Dean 的父親是一位醫(yī)學(xué)人類學(xué)家兼公共衛(wèi)生流行病學(xué)家，經(jīng)常輾轉(zhuǎn)于世界各地。因此， Dean 的童年也是在周游世界中度過的，明尼蘇達(dá)州、夏威夷、波士頓、阿肯色、亞特蘭大和日內(nèi)瓦、烏干達(dá)、索馬里等地都留有他的身影。
同時，Dean 從小就擅長制作軟件，他在高中和大學(xué)時編寫的軟件就被世界衛(wèi)生組織買走使用。1999年，Dean 正式加入谷歌，當(dāng)時他才 25 歲。從那時起，他幾乎參與了谷歌所有重大項目的核心軟件系統(tǒng)開發(fā)。作為一位功勛卓著的谷歌人，Dean 在谷歌內(nèi)部甚至成了一種文化，每個人都會拿他當(dāng)俏皮梗的素材。
2011 年年初，Dean 在谷歌的休息室遇見了吳恩達(dá)，后者是斯坦福大學(xué)的計算機(jī)科學(xué)家，同時也是谷歌的顧問。吳恩達(dá)表示自己正在幫助谷歌推進(jìn)一個名為 Project Marvin 的項目（以著名的 AI 先驅(qū)馬文·明斯基命名），模仿人類大腦結(jié)構(gòu)的數(shù)字網(wǎng)格，用于研究“神經(jīng)網(wǎng)絡(luò)”。
1990 年在明尼蘇達(dá)大學(xué)讀大學(xué)時，Dean 也曾接觸過此類技術(shù)，當(dāng)時神經(jīng)網(wǎng)絡(luò)的概念就已經(jīng)開始流行了。而最近五年里，專注于神經(jīng)科學(xué)研究的學(xué)者數(shù)量再次開始快速增長。吳恩達(dá)表示，在谷歌 X 實(shí)驗室中秘密推進(jìn)的 Project Marvin 項目已經(jīng)取得了一些進(jìn)展。
Dean 對這個項目很感興趣，于是決定分出自己 20% 的時間投入其中（每位谷歌員工都要拿出自己 20% 的時間從事核心職務(wù)外的“私活”）。隨后，Dean 又拉來了一位得力助手，Greg Corrado 擁有神經(jīng)科學(xué)背景。同年春季末，該團(tuán)隊又迎來了第一位實(shí)習(xí)生——吳恩達(dá)最出色的學(xué)生 Quoc Le 。在那之后，Project Marvin 項目在谷歌工程師口中變成了“谷歌大腦”。
“人工智能”一詞誕生于 1956 年，當(dāng)時大多數(shù)研究人員認(rèn)為創(chuàng)造 AI 的最佳方法是寫一個非常高大全的程序，將邏輯推理的規(guī)則和有關(guān)世界的知識囊括其中。舉例來說，如果你想將英語翻譯成日語，需要將英日雙語的語法和詞匯全部囊括其中。這種觀點(diǎn)通常被稱為“符號化 AI ”，因為它對認(rèn)知的定義是基于符號邏輯的，這種解決方案已經(jīng)嚴(yán)重過時。
說這種方案過時主要有兩個原因：一是它非常耗費(fèi)人力和時間，二是只有在規(guī)則和定義非常清楚的領(lǐng)域才有用：如數(shù)學(xué)計算和國際象棋。但如果拿這種方案來解決翻譯問題，就會捉襟見肘，因為語言無法與詞典上的定義一一對應(yīng)，而且語言的使用中會出現(xiàn)各種變形和例外。不過，在數(shù)學(xué)和國際象棋上符號化 AI 確實(shí)非常強(qiáng)悍，絕對無愧于“通用智能”的名頭。
1961 年的這個紀(jì)錄片點(diǎn)出了人工智能研究中的一個共識：如果可以讓計算機(jī)模擬高階認(rèn)知任務(wù)（比如數(shù)學(xué)或象棋），就能沿著這種方法最終開發(fā)出類似于意識的東西。
不過，此類系統(tǒng)的能力確實(shí)有限。上世紀(jì) 80 年代，卡耐基梅隆大學(xué)的研究人員指出，讓計算機(jī)做成人能做的事情很簡單，但讓計算機(jī)做一歲兒童做的事情卻幾乎不可能，比如拿起一個球或識別一只貓。十幾年后，雖然深藍(lán)計算機(jī)在國際象棋上戰(zhàn)勝世界冠軍，但它離理想中的“通用智能”差的還很遠(yuǎn)。
關(guān)于人工智能，研究人員還有另一種看法，這種觀點(diǎn)認(rèn)為電腦的學(xué)習(xí)是自下而上的，即它們會從底層數(shù)據(jù)開始學(xué)習(xí)，而非頂層規(guī)則。這一觀點(diǎn)上世紀(jì) 40 年代就誕生了，當(dāng)時研究人員發(fā)現(xiàn)自動智能的最佳模型就是人類大腦本身。
其實(shí)，從科學(xué)角度來看，大腦只不過是一堆神經(jīng)元的集合體，神經(jīng)元之間會產(chǎn)生電荷（也有可能不會），因此單個神經(jīng)元并不重要，重要的是它們之間的連接方式。這種特殊的連接方式讓大腦優(yōu)勢盡顯，它不但適應(yīng)能力強(qiáng)，還可以在信息量較少或缺失的情況下工作。同時，這套系統(tǒng)即使承受重大的損害，也不會完全失去控制，而且還可以用非常有效的方式存儲大量的知識，可以清楚區(qū)分不同的模式，同時又保留足夠的混亂以處理歧義。
其實(shí)我們已經(jīng)可以用電子元件的形式模擬這種結(jié)構(gòu)，1943 年研究人員就發(fā)現(xiàn)，簡單的人工神經(jīng)元如果排布準(zhǔn)確，就可以執(zhí)行基本的邏輯運(yùn)算。從理論上來講，它們甚至可以模擬人類的行為。
在生活中，人類大腦中的神經(jīng)元會因為不同的體驗而調(diào)節(jié)連接的強(qiáng)弱，人工神經(jīng)網(wǎng)絡(luò)也能完成類似任務(wù)，通過不斷試錯來改變?nèi)斯ど窠?jīng)元之間的數(shù)字關(guān)系。人工神經(jīng)網(wǎng)絡(luò)的運(yùn)行不需要預(yù)定的規(guī)則，相反，它可以改變自身以反映說吸納數(shù)據(jù)中的模式。
這種觀點(diǎn)認(rèn)為人工智能是進(jìn)化出來而非創(chuàng)造出來的，如果想獲得一個靈活且能適應(yīng)環(huán)境的機(jī)制，那么絕對不能剛開始就教它學(xué)國際象棋。相反，你必須從一些基本的能力，如感官知覺和運(yùn)動控制開始，長此以往更高的技能便會有機(jī)出現(xiàn)。既然我們學(xué)語言都不是靠背誦詞典和語法書的，為什么計算機(jī)要走這一道路呢？
谷歌大腦是世界上首個對這種觀點(diǎn)進(jìn)行商業(yè)投資的機(jī)構(gòu)，Dean、Corrado 和吳恩達(dá)開始合作不久就取得了進(jìn)展，他們從最近的理論大綱以及自 20 世紀(jì)八九十年代的想法中吸取靈感，并充分利用了谷歌巨大的數(shù)據(jù)儲備和龐大的計算基礎(chǔ)設(shè)施。他們將大量標(biāo)記過的數(shù)據(jù)輸入網(wǎng)絡(luò)，計算機(jī)的反饋隨之不斷改進(jìn)，越來越接近現(xiàn)實(shí)。
一天，Dean 告訴我“動物進(jìn)化出眼睛是自然界的巨變?！碑?dāng)時我們正在會議室里，Dean 在白板上畫出了復(fù)雜的時間線，展示了谷歌大腦與神經(jīng)網(wǎng)絡(luò)發(fā)展歷史的關(guān)系。“現(xiàn)在，電腦也有了‘眼睛’，我們也可以借助‘眼睛’讓計算機(jī)識別圖片，機(jī)器人的能力將得到巨大的提升。未來，它們能夠在一個未知的環(huán)境中，處理許多不同的問題。”這些正在開發(fā)中的能力看起來雖然比較原始，但絕對意義深遠(yuǎn)。
Geoffrey Hinton
Dean 表示，誕生一年后，谷歌大腦就在開發(fā)具有一歲兒童智力機(jī)器的實(shí)驗中取得了巨大進(jìn)展。谷歌的語音識別部門順勢將自己的老系統(tǒng)中的一部分改成了神經(jīng)網(wǎng)絡(luò)，借此該系統(tǒng)取得了 20 年來最好的成績。同時，谷歌的物體識別系統(tǒng)也躍升了一整個數(shù)量級。不過，這并非因為谷歌大腦的團(tuán)隊想出了什么新點(diǎn)子，而是因為谷歌在該領(lǐng)域投入了大量人力物力，填補(bǔ)了原本研發(fā)領(lǐng)域的空缺。
隨后，Geoffrey Hinton 的到來將谷歌的戰(zhàn)果再次擴(kuò)大。成立第二年，吳恩達(dá)離開谷歌（現(xiàn)任百度首席科學(xué)家，領(lǐng)導(dǎo) 1300 人的 AI 團(tuán)隊，雷鋒網(wǎng)此前也做過相關(guān)報道），Dean 則請來了 Hinton，原本 Hinton 只想離開多倫多大學(xué)在谷歌待三個月，因此他成了谷歌的重量級實(shí)習(xí)生。在實(shí)習(xí)生培訓(xùn)過程中，輔導(dǎo)人員會說“輸入你的LDAP（目錄訪問協(xié)議）”，從沒在此類公司任職過的 Hinton 舉手問道：“什么是LDAP ？”在場一起接受培訓(xùn)的年輕人，雖然只是剛剛弄清深度學(xué)習(xí)與人工智能的關(guān)系，卻都在想“這個老家伙是誰？為什么他連 LDAP 都不懂？”
直到有一天，一位學(xué)生在餐廳見到 Hinton 教授并問道“Hinton 教授！我選修了你的課！你在這里做什么？”一切關(guān)于他的質(zhì)疑才煙消云散。
幾個月后，Hinton 在兩位學(xué)生的幫助下，在 ImageNet 大型圖像識別競賽中技驚四座，計算機(jī)不僅識別出猴子，而且能區(qū)分蛛臉猴和吼猴，以及各種各樣不同品種的貓。隨后，谷歌馬上對 Hinton 和他的學(xué)生伸出了橄欖枝，他們也欣然接受。“我本以為谷歌要買我們的知識產(chǎn)權(quán)，”Hinton 說道。“結(jié)果它們是對我們這幾個人感興趣?！?/p>
Hinton 出身于一個傳統(tǒng)的英國家族，他們家非常重視教育，因此出了不少著名學(xué)者。他的曾祖父 George Boole 在符號邏輯方面的基礎(chǔ)工作為計算機(jī)專業(yè)打下基礎(chǔ)，Hinton 的另一位曾祖父是著名的外科醫(yī)生，Hinton 的父親則是一個熱愛冒險家的昆蟲學(xué)家，而 Hinton 父親的表哥則在 Los Alamos 研究所工作。
Hinton 也很爭氣，他先后在劍橋和愛丁堡兩所高等學(xué)府進(jìn)修，隨后又到卡耐基梅隆大學(xué)教書，現(xiàn)在 Hinton 則轉(zhuǎn)到了多倫多大學(xué)。筆者曾在 Hinton 的辦公室對他進(jìn)行采訪，當(dāng)時 Hinton 衣帽整齊，一副英國紳士形象。不過，一開口 Hinton 的個人色彩就擋不住了，他甚至打趣說“電腦恐怕都比美國人更早理解諷刺為何物?！?/p>
上世紀(jì) 60 年代在劍橋求學(xué)時，Hinton 就開始了對神經(jīng)網(wǎng)絡(luò)技術(shù)的研究，他是該領(lǐng)域當(dāng)之無愧的先驅(qū)。不過，由于該理念過于超前，每次他向別人提到機(jī)器學(xué)習(xí)，人們都覺得他是在胡扯。
由于受到了感知機(jī)（Perceptron ，50 年代末研發(fā)的人工神經(jīng)網(wǎng)絡(luò)）這一概念被過去熱炒的影響，當(dāng)時搞神經(jīng)網(wǎng)絡(luò)的研究的人簡直就是學(xué)術(shù)界的異端。當(dāng)時，《紐約時報》還曾撰寫報道稱，感知機(jī)未來有可能會“走路、說話、閱讀、寫作甚至再造自己，并意識到自己的存在”。結(jié)果這證明這一切只是幻想而已。
1954 年，馬文·明斯基在普林斯頓的論文中就將神經(jīng)網(wǎng)絡(luò)選做研究主題，但他對Rosenblatt 關(guān)于神經(jīng)范式所做的夸張說法已經(jīng)厭倦了。后來，明斯基與麻省理工的同事合作出版了一本書，證明了有些問題即使非常簡單，感知機(jī)也永遠(yuǎn)無法解決。
不過，當(dāng)時的條件下明斯基抨擊的只是“單層”的神經(jīng)網(wǎng)絡(luò)，而 Hinton 則認(rèn)為若使用多層神經(jīng)網(wǎng)絡(luò)，就可以執(zhí)行復(fù)雜的任務(wù)。簡單來說，神經(jīng)網(wǎng)絡(luò)就是一臺機(jī)器，能夠從數(shù)據(jù)中發(fā)現(xiàn)模式并以此進(jìn)行分類或預(yù)測。有一層神經(jīng)網(wǎng)絡(luò)，你可以找到簡單的模式，但如果層數(shù)增多，就可以找出模式中的模式。
如果將這一理論套用到圖像識別中去的話，執(zhí)行圖像識別的神經(jīng)網(wǎng)絡(luò)主要使用“卷積神經(jīng)網(wǎng)絡(luò)”（這是 1998 年的一篇開創(chuàng)性論文中闡述的概念，該論文的主要作者是法國人 Yann LeCun ，他曾是 Hinton 的學(xué)生，現(xiàn)在則是 Facebook 人工智能實(shí)驗室負(fù)責(zé)人），網(wǎng)絡(luò)的第一層負(fù)責(zé)學(xué)習(xí)識別圖像最基本的視覺效果“邊緣”，也就是判斷一個像素旁邊是否有東西。
隨后的各層神經(jīng)網(wǎng)絡(luò)都會從前一層尋找模式，“邊緣”可以是圓型也可以是矩形，而這些形狀可能就是人臉。這種識別方法與人眼類似，都是將信息組合在一起，從視網(wǎng)膜中的光線感應(yīng)器將信息回傳到大腦的視覺皮層。在處理過程中，那些不相關(guān)的細(xì)節(jié)會被即可丟掉，因為如果各種形狀結(jié)合成一張臉后，你無須在意臉部的位置，只需明確它是一張臉就行。
在 1993 年的一段演示視頻中，Yann LeCun 展示了自己卷積神經(jīng)網(wǎng)絡(luò)的早期版本，該系統(tǒng)隨后派上了大用場，在 20 世紀(jì)末處理了美國銀行經(jīng)手的 10%-20% 的支票?，F(xiàn)在，卷積神經(jīng)網(wǎng)絡(luò)則成了圖像識別系統(tǒng)背后的超級大腦。
不過，多層的深度神經(jīng)網(wǎng)絡(luò)可不像單層的那么容易搭建。假設(shè)你在訓(xùn)練一個小孩子，讓他拿起綠色的球放進(jìn)紅色的盒子，這一動作很容易學(xué)習(xí)，但如果你要求那個孩子拿起綠色球穿過三號門再放進(jìn) A 盒子可就不容易了，他很容易在過程中出錯。你如何教會孩子完成這一系列動作呢？總不能一直在他耳邊喋喋不休的重復(fù)吧？
為了解決多層出錯的問題，Hinton 和其他幾個人找到了一種解決方案（也可以說是改進(jìn)了一個老方案）。當(dāng)時還是 70 年代末、80 年代初，這一方案重新點(diǎn)燃了學(xué)界對神經(jīng)網(wǎng)絡(luò)的興趣?！叭藗儗Υ朔浅Ｅd奮，”Hinton 說道。“但其實(shí)我們錯估了其他人的興趣?！焙芸?，Hinton 這樣的人又成了學(xué)界眼中的怪人和神秘主義者。
不過，在哲學(xué)家和心理學(xué)家那里，Hinton 的想法依然很有市場，他們將其稱之為“連接主義”或“并行分布式處理”。雖然加拿大政府一直對 Hinton 全力支持，但它們也難不出計算能力足夠前行的計算機(jī)和數(shù)據(jù)?！拔覀冎荒茏晕野参?，一旦時機(jī)成熟，我們就能做出點(diǎn)什么?！盚inton 說道。
當(dāng)皮查伊抬出“AI 為先”的概念時，他可不止是在描述公司的商業(yè)戰(zhàn)略，也同時把這一長久以來都沒有起到多大作用的概念扔給了公司。皮查伊大方的資源分配讓 Dean 和 Hinton 這樣的專家能獲得有力支持，他們有足夠的數(shù)據(jù)和計算能力來推進(jìn)自己的研究。從科學(xué)角度來說，人的大腦擁有 1000 億個神經(jīng)元，而每個神經(jīng)元則會與其他 1 萬個神經(jīng)元連在一起，這就意味著神經(jīng)突觸的數(shù)量在 100 萬億到 1000 萬億之間。如果以上世紀(jì) 40 年代的標(biāo)準(zhǔn)來看，想復(fù)制這樣的復(fù)雜網(wǎng)絡(luò)根本是不可能的。我們離真正的神經(jīng)網(wǎng)絡(luò)還差著十萬八千里。不過，谷歌持續(xù)的投資至少讓我們通過人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了小白鼠大腦部分切片的功能。
要理解規(guī)模的重要性，你就得理解更多相關(guān)細(xì)節(jié)，即機(jī)器究竟對數(shù)據(jù)作做了什么？我們對 AI 的恐懼，大都因為覺得它們會像一個神秘的學(xué)者一般在圖書館挖掘?qū)W習(xí)知識，然后，從前只會玩曲別針的機(jī)器或許有一天能像對待一只螞蟻或者萵苣一樣輕松碾死人類。
不過，AI 可不是這樣工作的，它們每天只是在搜索并尋找共同點(diǎn)。開始其模式非常簡單，隨后逐漸深化?，F(xiàn)在最大的危險則在于我們是否最初就給它灌輸了一些包含偏見的信息。
假設(shè)你想用老式的符號化 AI 模型打造一個貓咪識別程序，首先就必須花大量時間給機(jī)器灌輸?shù)降资裁词恰柏垺薄ｋS后在對照片進(jìn)行學(xué)習(xí)時，程序會遵循一大堆“如果”，并通過這些限制條件來識別貓咪。不過，如果你拿來一張?zhí)K格蘭折耳貓的圖片，它就會在耳朵這一“如果”上卡住，符號化 AI 根本就不認(rèn)這種耳朵出現(xiàn)變化的貓咪，這樣的識別水平連蹣跚學(xué)步的小孩都不如。
不過，換到神經(jīng)網(wǎng)絡(luò)的話，就根本無需貓的定義這個限制了，二進(jìn)制會處理一切。得到指令后，神經(jīng)網(wǎng)絡(luò)會自動對相互連接的交換機(jī)進(jìn)行調(diào)教，將輸入的數(shù)據(jù)變成準(zhǔn)確的輸出數(shù)據(jù)。訓(xùn)練時用到的數(shù)據(jù)越多，得到的輸出數(shù)據(jù)就越準(zhǔn)確，一旦整個訓(xùn)練過稱完成，神經(jīng)網(wǎng)絡(luò)就能穩(wěn)定的處理數(shù)據(jù)并做出可靠的預(yù)測，這就是所謂的“監(jiān)督式學(xué)習(xí)”。
不過，需要注意的是，神經(jīng)網(wǎng)絡(luò)有一定的概率性，因此它并非萬金油，不能通吃所有任務(wù)。所以，如果它將狗狗識別成了貓咪，無需驚慌。但如果將這一情景換到自動駕駛領(lǐng)域，我們可就要驚慌了，因為 0.1% 的錯誤率可能就會要了你的命。
此外，由于監(jiān)督式學(xué)習(xí)是基于標(biāo)記過的數(shù)據(jù)的，因此人類依然會扮演重要的角色，如果在輸入時做了錯誤的分類，未來在情境識別時神經(jīng)網(wǎng)絡(luò)可能就會出錯。
谷歌大腦部門推進(jìn)神速，一年多的時間，它們就成功讓機(jī)器掌握了一歲小孩的技能。隨后，它們的部門成功從谷歌 X 實(shí)驗室“畢業(yè)”，升級成高一級的研究機(jī)構(gòu)。不過，當(dāng)時的谷歌大腦團(tuán)隊依然只有不到 10 個工作人員，對于未來，他們也只有一個較為模糊的概念。
不過，就像人一樣，在學(xué)會了形狀并開始認(rèn)識皮球這一事物后，我們會為之滿足一段時間。但最終，人類會開始產(chǎn)生關(guān)于皮球的問題，這就是語言出現(xiàn)的原因。
在探索過程中，谷歌先整出了一篇關(guān)于貓的論文。這篇論文向我們展示了帶有超過 10 億個“突觸”連接的神經(jīng)網(wǎng)絡(luò)，這比當(dāng)時任何公開的神經(jīng)網(wǎng)絡(luò)模型都要大好幾百倍，不過與人類的大腦相比，依然小了好幾個數(shù)量級。這個神經(jīng)網(wǎng)絡(luò)能識別原始的、無標(biāo)簽的數(shù)據(jù)，并識別高難度的人類概念。谷歌大腦的研究者向神經(jīng)網(wǎng)絡(luò)展示了幾百萬幀的靜態(tài) Youtube 視頻，然后，神經(jīng)網(wǎng)絡(luò)的感覺中樞開始運(yùn)轉(zhuǎn)，分離出了一個穩(wěn)定的模型。和所有的小孩一樣，這一模型能毫不猶豫地識別出貓的臉。
這一神經(jīng)網(wǎng)絡(luò)在識別貓臉前可沒有讓研究人員“開小灶”，它對貓的定義和知識一無所知。神經(jīng)網(wǎng)絡(luò)直接與現(xiàn)實(shí)世界交互并且抓住了“貓”這一概念。（研究者發(fā)現(xiàn)，這一神經(jīng)網(wǎng)絡(luò)就好像核磁共振成像一般，貓的臉部的陰影會激活人工神經(jīng)元）。
其實(shí)，大多數(shù)的機(jī)器學(xué)習(xí)都受限于標(biāo)簽數(shù)據(jù)的數(shù)量，但該論文卻顯示，神經(jīng)網(wǎng)絡(luò)同樣能識別原始的無標(biāo)簽數(shù)據(jù)，有時甚至是人類自身都還沒建立起知識的數(shù)據(jù)。這一成果并不只是讓神經(jīng)網(wǎng)絡(luò)識別貓臉這么簡單，它對于人工智能的整體發(fā)展都有很大意義。
這篇論文的第一作者是 Quoc Le 。這位大學(xué)者個頭不高，說話輕聲細(xì)語但語速極快。Quoc Le 從小在越南長大，父母都是普通農(nóng)民，小時候家里甚至連電都沒有。不過，他在童年時就顯示出了超強(qiáng)的數(shù)學(xué)天賦。20 世紀(jì) 90 年代 Quoc Le 還在上學(xué)時，就曾經(jīng)嘗試開發(fā)聊天機(jī)器人。他在想，這會有多困難呢？現(xiàn)實(shí)告訴他，開發(fā)聊天機(jī)器人確實(shí)不是個輕松活。
畢業(yè)后，Quoc Le 離開了越南到澳大利亞的堪培拉大學(xué)學(xué)習(xí)，主要研究計算機(jī)視覺一類的 AI 任務(wù)。當(dāng)時，這一領(lǐng)域使用的方法，是要給機(jī)器填入大量的關(guān)于事物的定義性概念，這讓他覺得像是在作弊。Le 當(dāng)時并不清楚，世界上同樣有很多計算機(jī)科學(xué)家跟他有類似的想法，他們都認(rèn)為機(jī)器是能夠從零開始學(xué)習(xí)的。
2006年，Le 在德國的馬克斯普朗克研究所生物控制部門任職。在那里的一個讀書小組中，他讀到了 Geoffrey Hinton 的兩篇論文，他覺得自己的任督二脈瞬間被打通了。
“當(dāng)時這兩篇論文引起了很大的爭議”，他說道?！胺浅７浅４蟆?。隨后，他看了一眼自己畫在白板上曲線，又輕聲重復(fù)到，“我從來沒有見到過那么大的爭議?！?/p>
他清楚的記得，當(dāng)時自己在閱讀小組中站了起來并表示：”這就是未來?！爱?dāng)時，這并不是一個很受歡迎的決定。他遠(yuǎn)在澳大利亞的導(dǎo)師還曾寫郵件問他：“你為什么做了這個決定？”
“當(dāng)時我沒想好怎么回答，”Le 說道?！拔抑皇欠浅：闷妗Ｋ鼈兲岢隽艘粋€很成功的范式，但老實(shí)說，我只是對這一范式感到好奇。2006 年時，這樣的觀點(diǎn)非常稀有?！彪S后，Le 轉(zhuǎn)到斯坦福并加入了吳恩達(dá)的團(tuán)隊，隨后他開始順著 Hinton 的道路向前邁進(jìn)?！?010 年年底，我已經(jīng)非常確信會有大事發(fā)生了?！?/p>
隨后，Le 到倫敦進(jìn)行實(shí)習(xí)，而關(guān)于貓的那篇論文，就是在這一段時間打下的基礎(chǔ)。在一個簡單的層面上，Le 想看看計算機(jī)是否可以被訓(xùn)練，并實(shí)現(xiàn)對給定圖像絕對必要信息的識別。他給神經(jīng)網(wǎng)絡(luò)輸入了一個他從 YouTube 采集的靜態(tài)片段。隨后他告訴神經(jīng)網(wǎng)絡(luò)丟棄圖像中包含的一些信息。神經(jīng)網(wǎng)絡(luò)隨后拋棄了一些信息，最初是隨機(jī)的。接著他告訴計算機(jī)：“剛才是開玩笑，現(xiàn)在重新創(chuàng)建初始圖像，你只需根據(jù)你保留的信息進(jìn)行顯示就行。這種要求就像他要求計算機(jī)找到一種方法來“總結(jié)”圖像，然后從摘要再回溯到最初的圖像。如果摘要是基于不相關(guān)的數(shù)據(jù)，如天空的顏色，而不是胡須，計算機(jī)就不能執(zhí)行完整的重建。
計算機(jī)的表現(xiàn)就像是原始人，他們對于劍齒虎的印象是在逃跑過程中建立的。Le 的神經(jīng)網(wǎng)絡(luò)與前人不同，它需要進(jìn)行一次一次又一次的嘗試。從數(shù)學(xué)的層面上來說，它每一次都會選擇對不同的信息進(jìn)行優(yōu)化，然后表現(xiàn)會越來越好。
這樣看來，神經(jīng)網(wǎng)絡(luò)就是一個黑箱，它確實(shí)生成了某種范式，但人類很難從外部對其進(jìn)行觀察和理解。
關(guān)于貓的論文雖然讓 Le 聲名鵲起，但他自己并未感到自己掌握了業(yè)界的話語權(quán)。不過，他感受到了一種動力，未來的研究要跟他早年開發(fā)的聊天機(jī)器人聯(lián)系在一起。在發(fā)表那篇著名論文后，他意識到，如果你能讓一個神經(jīng)網(wǎng)絡(luò)對照片進(jìn)行總結(jié)，你也可以讓它對一些句子進(jìn)行總結(jié)。在接下來的兩年中，這些想法一直在 Le 和他在谷歌大腦的同事 Thomas Mikolov 大腦中縈繞。
有段時間，谷歌大腦團(tuán)隊由于發(fā)展過快甚至占領(lǐng)了高管的辦公室。隨后，管理處還專門發(fā)郵件讓他們不要在公司 CEO 辦公室門口的沙發(fā)上睡覺。
在談到那位“同路者” Mikolov 時，Le 神情有些變化，但總是不斷提起他的名字和兩人之間的合作。后來才知道，原來 Mikolov 已經(jīng)去了谷歌的對手 Facebook。
2012 年時的谷歌大腦團(tuán)隊
在這段時間里，他們試圖搭建出新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，不但能應(yīng)付簡單的靜態(tài)圖片分類，還能搞定更為復(fù)雜的任務(wù)，如語言或音樂。他們用到的理念上世紀(jì) 90 年代就誕生了，Le 和他的同事們專門回溯了那些長期被忽視的概念，一邊找尋其中被忽略的閃光點(diǎn)。
他們知道，一旦你建立了一個具有基本語言預(yù)測能力的設(shè)施，你就可以繼續(xù)做其他各種智能的事情， 比如預(yù)測一個合適的電子郵件回復(fù)，或智能地預(yù)測一個談話的過程。這樣，你就可以側(cè)重于那種從表面看起來很像思維的能力。
本文為雷鋒網(wǎng)編譯的第二部分，敬請期待后續(xù)的第三部分。
Via. New York Times
【招聘】雷鋒網(wǎng)堅持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時間提供海外科技動態(tài)與資訊。我們需要若干關(guān)注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。
簡歷投遞至 wudexin@leiphone.com，工作地 北京。
相關(guān)文章：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
