3
雷鋒網(wǎng)按：如果說到在機器學習領(lǐng)域領(lǐng)先的公司，想必你不會忽略谷歌。從谷歌翻譯到從機器視覺，谷歌一直努力將機器學習應用于可能想象的任何地方。本文會講三個故事，它們在 Google 翻譯向 AI 的成功轉(zhuǎn)型中整合在了一起：一個技術(shù)故事，一個制度故事和一個關(guān)于思想演變的故事。本文源自紐約時報，作者Gideon Lewis-Kraus，雷鋒網(wǎng)編譯，未經(jīng)許可不得轉(zhuǎn)載。
如果對前情不太熟悉的讀者，歡迎點擊閱讀谷歌大腦是如何煉成的：萬字無刪減版全解密（一）和（二）和（三）。
直到那時，神經(jīng)網(wǎng)絡翻譯團隊也只有三個人——Schuster、Wu、Chen。但在 Hughes 的支持下，團隊開始聯(lián)合并擴大。團隊成員在 Schuster 的要求下，每周三的下午兩點在公司 Quartz Lake 房間會面。會議通常輪流由不定的十幾個人參加。當 Hughes 和 Corrado 在的時候，他們通常是“僅存的”兩位英語母語者。工程師們說著中文、越南語、波蘭語、俄語、阿拉伯語、德語和日語，不過他們更多的是使用自己最有效的混雜語言和數(shù)學表達。在谷歌里，并不會存在有誰主導會議的問題，但是在 Schuster 這里？毫無疑問。
即使在那個時候，他們也并不清楚需要做些什么。Schuster 有次對我說，「整個事情就是關(guān)于不確定性，不確定性貫穿了整個過程，包括軟件、數(shù)據(jù)、硬件、人?！顾煺闺p臂，舉過肩膀，接著說，「這就像是在一個大泥潭中游泳，你只能看見這么一點點?！拐f著，他在胸前用手比出 8 英寸的長度，「我們有個目標，也許就在那里吧?！?/p>
谷歌大多數(shù)會議室都有投影儀，空閑時就會播放超高清的谷歌公共圖片，比如森林夢境、北極光、國會大廈等等。Schuster 指著其中一個——夜里閃光的華盛頓紀念碑，他說，「外面的景色就是現(xiàn)在所有人拿望遠鏡就能看見的范圍?！?/p>
盡管理論工作已經(jīng)耗費了他們很多的精力和時間，但是想要把理論轉(zhuǎn)化為真實的產(chǎn)品（就是理論科學家不予考慮的僅僅是一些工程上的部分）也絕非易事。一方面，他們必須確定他們在使用正確的數(shù)據(jù)來訓練神經(jīng)網(wǎng)絡。谷歌數(shù)以十億的「閱讀」訓練詞匯大都是從中等復雜度的句子中提取的，比如海明威的作品。有一些是公共領(lǐng)域內(nèi)的，比如原始的羅塞塔石碑語言學習軟件中完整的加拿大議會雙語記錄。還有一些是從 10 年收集的數(shù)據(jù)中調(diào)來的，包括志愿者們眾包的人工翻譯。團隊的存儲庫中有大約 9700 萬個不同的英文詞匯。但是一旦他們?nèi)コ楦蟹㈠e誤拼寫和冗余部分后，可用的詞匯只有大約 16 萬個。
接著，你需要重新關(guān)注用戶實際上想要翻譯什么內(nèi)容，很多情況下根本不是完整的句子。谷歌發(fā)現(xiàn)，很多人不會使用翻譯機器翻譯全文或復雜的句子，他們只是翻譯碎片化的語言。如果你想要讓神經(jīng)網(wǎng)絡處理用戶的詢問，你必須確定輸入內(nèi)容的方向，因為神經(jīng)網(wǎng)絡對訓練過的數(shù)據(jù)非常敏感。Hughes 指出，「神經(jīng)網(wǎng)絡翻譯系統(tǒng)能學習任何它可以學習的東西。就像一個學習走路的小孩一樣，『噢，爸爸生氣的時候說的是那個詞語！』」，他笑著說，「所以你必須非常小心。」
然而最重要的是，他們需要保證翻譯的整個過程可靠而快速，用戶甚至不會注意到延遲。在二月份的時候，翻譯包含 10 個詞的句子需要 10 秒，這個速度對他們來說太慢了。所以翻譯團隊開始對小部分用戶使用偽造的延遲形式進行實驗，測試人們的容忍度。他們發(fā)現(xiàn)慢兩倍，甚至慢五倍的時候，人們都還能忍受，但是慢八倍的時候，人們就無法忍受了。他們無需在所有語言中確認這個結(jié)果。在如法語和中文這種檢索量大的語言中，翻譯速度實際上并沒有降低。更微妙的一點在于，他們知道用戶如果想要更高質(zhì)量的結(jié)果，就不會太在意輕微的延遲。他們只是想阻止人們放棄使用谷歌的產(chǎn)品轉(zhuǎn)而使用競爭對手的服務。
Schuster 承認他其實并不知道他們是否可以將速度提升到足夠快。他還記得在小廚房中跟 Chen 說的話：「一定有一些東西可以使它變得更快，但是我不知道到底是什么東西。」
但是他確實知道，他們需要更多的計算機——「G.P.U.」，一種用來訓練神經(jīng)網(wǎng)絡的圖形處理器。Hughes 跑去問 Schuster 是怎么想的。「我們需要申請一千個 G.P.U. 嗎？」Schuster 說：「為啥不是 2000 個？」
十天后，他們增加了 2000 個處理器。
今年 4 月為止，三人的團隊已經(jīng)擴張到 30 多人，一些人來自谷歌大腦團隊，比如 Le，另一些人則來自谷歌翻譯團隊。五月份，Hughes 指派了每種語言對子的臨時負責人，然后所有人都將他們的結(jié)果輸入一個表格程序中進行績效評估檢查。在任意給定的時間里，都至少有 20 個人在運行他們獨立的為期一周的實驗，解決一些意想不到的問題。有一個模型，某天突然“發(fā)瘋”，開始毫無預兆地將所有句子中遇到的數(shù)字全部提取出來然后丟棄，這樣危險的情況持續(xù)了好幾個月。Schuster 說，「大家都嚇尿了?！?/p>
2016 年上旬，團隊做出了很多研究成果，比如「詞塊模型」、「覆蓋懲罰」、「長度標準化」。Schuster 說，每一個部分的貢獻可能不大，但是整合起來就有非常顯著的影響。一旦這個模型定型后，目前翻譯中使用的 150 種不同的模型將變?yōu)橐粋€單一的多語言模型，并隨著時間推移而進步發(fā)展。然而，一個悖論仍然存在：通過學習機器進行后續(xù)一般化時需要的工具和自動化的過程需要人類付出極大的努力和智慧。所以他們現(xiàn)在所做的只是基于一種直覺：每層中需要多少神經(jīng)元？1024 個還是 512 個？需要多少層？應該同時運行多少個句子？訓練需要多長時間？
Schuster 告訴我：「我們做了數(shù)百次實驗，最終明白了我們應該在一周內(nèi)結(jié)束訓練。大家都在問，我們何時停止？我怎么能知道我做完了？其實你永遠不會知道。機器學習機制永遠達不到完美。你需要去訓練，在某個時點也不得不停止。這是整個系統(tǒng)的本質(zhì)，對一些人來說會覺得很痛苦。但這也是一種藝術(shù)——就好像大家都想要畫一幅漂亮的畫，但是做下去就會發(fā)現(xiàn)，有些人會做得更好，有些則更差?！?/p>
直到五月，谷歌大腦團隊才明白，讓系統(tǒng)執(zhí)行足夠快的方法只有一個，就是在 T.P.U.（一種特殊的芯片）上運行。正如 Chen 所說，「我們甚至不知道代碼是否可以運行。但是我們確實知道，沒有 T.P.U. 我們的工作無法進行?！顾€記得一次又一次地懇求 Dean：「請為我們預留一些東西。」Dean 為他們預留了。然而，T.P.U. 并沒有很好地解決問題。Wu 為了找出原因，在一個硬件團隊里呆了兩個月。他們不只是排除模型中的錯誤，還解決芯片的問題。神經(jīng)網(wǎng)絡翻譯項目將成為一個證明，以核驗整體基礎(chǔ)設(shè)施投資概念是否可行。
六月的一個周三， Quartz Lake 的與會人員們正在對一篇百度發(fā)表的論文頗有微詞。Schuster 出面維持了秩序：「是的，百度發(fā)表了這篇文章，看起來我們好像被抄襲了——類似的結(jié)構(gòu)，類似的結(jié)果?！构雀?2 月和 3 月內(nèi)部測試的 BLEU 分數(shù)至關(guān)重要。Le 看起來很平靜；他的結(jié)論似乎認為，這標志著谷歌走在正確的道路上。他平靜地說：「這跟我們的系統(tǒng)非常相似?！?/p>
谷歌團隊知道他們本可以更早地發(fā)表他們的結(jié)果，有可能打敗他們的對手，但是正如 Schuster 所說：「產(chǎn)品落地比發(fā)表論文更加重要。人們會說，『哦，我是第一個做出來的，但是到最后，誰還在乎這些？』」
然而，這的確增加了他們的斗志，他們必須讓自己的服務產(chǎn)品做得更快更好。Hughes 有一個幻想：他們甚至無需通知他們的用戶更換產(chǎn)品。他們只需要等著看社會媒體們被這個偉大的進步震驚和懷疑。他在 5 月 3 號下午 5:36 分告訴我；「我們還不想說這是一個新的系統(tǒng)?！挂环昼姾?，團隊向 10% 的用戶展示了中英互譯的結(jié)果，沒有告訴任何人?！肝覀兿胍_定系統(tǒng)運行良好?！?/p>
然而結(jié)果是， Twitter 上出現(xiàn)了爆炸性的話題：「你知道 Google Translate 現(xiàn)在變得有多酷嗎？」
在四季界限并不明顯的硅谷，只有兩個衡量時間的方法是可靠的：一個是小廚房中隨季節(jié)變化的水果，二是 zigzag 指標。
九月下旬的一個周一下午，天氣炎熱。團隊的論文終于發(fā)表出來，并且竟然有 31 個作者。第二天，谷歌大腦和谷歌翻譯部門的成員聚集在小廚房準備好好慶祝一番。有趣的是，谷歌大腦部門的大樓，可能是為了向冬天的移民者致敬，叫做阿拉斯加，而谷歌翻譯的大樓主題則是夏威夷。夏威夷小廚房的墻上有一幅沙灘的照片，還有一個小小的掛著夏威夷花環(huán)的茅草屋樣的服務臺，里面有一個玩具鸚鵡，屋頂上掛著紙燈籠，兩邊還立著幾個竹竿，就像是一個熱帶地區(qū)的堡壘。穿過竹竿的另一邊則是玻璃墻和一模一樣的灰色桌子。那天早上，Google Translate 新購買了一批帽衫來慶祝它的十年慶，很多同事都來這里聚會。他們慶祝的是，在那一天，十年來積累的工作可以「退休」了。那些新的帽衫可能變成了舊部門的紀念品，但是兩個團隊的工程師和計算機科學家們看起來都非常開心。
谷歌神經(jīng)網(wǎng)絡翻譯最終得以運行。在聚會結(jié)束的時候，公司的中英互譯測試已經(jīng)處理了 1800 萬次訪問。翻譯團隊的一個工程師忙著在他的手機上用百度翻譯將中文翻譯成英文。他歡呼著：「如果你一次輸入超過兩個字母，它就會超時！」（百度說，用戶從未反映過這個問題）
在之后的幾周內(nèi)，單詞量開始擴展，谷歌發(fā)布了中文到英文的神經(jīng)網(wǎng)絡翻譯器。一些人質(zhì)疑說這可能是因為英漢翻譯是谷歌唯一一個表現(xiàn)較好的語言對。但是每個參加聚會的人都知道，他們真正的成就將會在 11 月發(fā)布。雖然那時，他們應該已經(jīng)在其他項目組里了。
Hughes 清了清嗓子，走進了 tiki 酒吧。他穿著領(lǐng)子皺巴巴的深綠色 Polo 衫，衣服上還有未干的汗?jié)n。就算還有最后一個問題，和最后的最后問題，包括論文中一個大的測量錯誤和系統(tǒng)中一個奇怪的標點符號錯誤。但是所有事情都解決了，或者至少目前算是解決了。賓客們安靜了。Hughes 主持了一個高效而高產(chǎn)的會議，沒有啰嗦和廢話，但是他中途因為一個隱喻問題被迫暫停了一下，對他來說，必須強調(diào)這個事實——神經(jīng)網(wǎng)絡翻譯項目本身代表了一次「說著不同語言的團體間的合作」。他繼續(xù)說道，他們的神經(jīng)網(wǎng)絡翻譯項目代表了「一次功能上的進步」，一次不連續(xù)的進步，一次垂直跳躍，而不是一種平滑的曲線。新的翻譯器不僅僅是團隊的成功，更是一次從理論到實踐的巨大成就。他舉一瓶看起來很貴的香檳，「為了溝通！為了合作！」他說。工程師們互相看看對方，為自己鼓了鼓掌。Jeff Dean 站在 Corrado 和 Schuster 旁邊，在小廚房的中間，手插在口袋里，微微聳肩，用一種他典型的不在乎的方式輕輕地附和了一下。Dean 說，「他們的努力說明他們可以同時做兩件大事：做研究，并且在大概 5 億人面前將理論變?yōu)槭聦??！勾蠹叶夹α耍皇且驗樗f得很浮夸，而是因為他說的的確是事實。
人工智能領(lǐng)域里最具爭議的「中文房間」悖論，或許正揭示了機器翻譯的核心問題。中文房間問題是 1980 年由美國哲學家 John Searle 所提出的。在他所設(shè)想的實驗中，一名母語為英語的實驗者單獨呆在監(jiān)牢中，有一名獄吏通過門上的卡槽給他傳遞一些寫著中文漢字的紙條。而這名「囚犯」手上也有一套特定的工具，能夠滿足他編譯的需求。
這樣一來，盡管這名房間中的人完全不會中文，但他依然可以用中文流利地和外界交流。那么，我們顯然不認為這名囚徒是懂得中文的。那么電腦也是一樣，Searle 在這項研究的最后反駁了人工智能能夠擁有思想的觀點，他認為，它們只是因為擁有了理解的工具（編寫好的程序和足夠多的訓練數(shù)據(jù)），而非真正明白了字里行間的含義。
回到谷歌大腦團隊本身，甚至是延伸到硅谷中每一個致力于研究機器學習的人們，他們似乎并沒有把這個問題太當回事。這并非意味著他們忽略了這個悖論，而是他們與 Searle 不同，他們不會將「意識」當作一種純精神領(lǐng)域的特殊狀態(tài)?！軐W家 Gilbert Ryle 甚至將其稱為「機器中的幽靈」。研究者們只是簡單地相信，雖然我們所謂的「意識」看起來非常復雜且遙不可及，其實已經(jīng)在不同機器的簡單協(xié)調(diào)活動中出現(xiàn)。也就是說，我們一直以來認為大腦會是思想（thought）的更高級存儲形式，但事實證明，機器這類（不那么高級）的載體同樣能實現(xiàn)這一點。在這個語境中，邏輯的分析就像投球和接球一樣有跡可循。人工智能并不是憑空創(chuàng)造思想，而是為人類解決問題提供更效的工具。就像我第一天在谷歌時 Corrado 和我所說的一樣，「這并不是一個關(guān)于機器『知曉』或『理解』的研究，而是 一個它『能做什么』，更重要的是『還不能做什么』的研究?！?/p>
誠然，我們都明白「知道」與「實踐」會對現(xiàn)實的文化與社會產(chǎn)生影響。在一次聚會上，Schuster 談到在論文發(fā)表后，媒體對機器翻譯的熱捧有些過火。他一字一字地背出了首發(fā)媒體的新聞標題：谷歌表示，人工智能翻譯水平已與人類媲美（GOOGLE SAYS A.I. TRANSLATION IS INDISTINGUISHABLE FROM HUMANS）。事實上，即使在論文收尾的最后階段，團隊也一直在與這種觀點做「斗爭」。Schuster 反復強調(diào)「翻譯的結(jié)果的確比之前進步不少，但還無法做得與人類一樣好?！顾蚕Ｍ蟊娔苊靼祝麄兯龅呐Σ皇窍肴〈糠g吃飯的人，而是更好地幫助他們。
而實際上，機器學習的興起也讓我們無法將焦點只放在某個孤立的特殊領(lǐng)域。如果你持與 Searle 相同的觀點，認為人類自身擁有一種機器無法取代的洞察力的話，那么你自然能將人類與自動化劃分出一條明晰的界限。而如果你站在對立面，那么這二者間實際上就存在著灰度。因此，我們也不難理解現(xiàn)在為何有越來越多的研究者站隊第一種想法。2015 年，在探討人工智能根源的 M.I.T 大會上，Noam Chomsky 被問到他對機器學習的看法。他認為目前整個人工智能行業(yè)只能算得上是「統(tǒng)計預測」，就像全球性的天氣預測那樣。即使神經(jīng)翻譯已經(jīng)能夠達到近乎完美的機翻水平，但語言背后隱藏的豐富底蘊與文字之美，機器無從揭示一絲一毫。它永遠不會告訴你，這個代詞代表的是間接還是直接受格。誠然，這些所謂的預測是能夠讓你實現(xiàn)目標，但它并不能讓你進一步理解其中的原理。人工智能可以精確地從醫(yī)學影像圖片診斷腫瘤位置，但機器無法像醫(yī)生一樣通過望聞問切，明白這名病人為何患病。
那么問題來了，放射醫(yī)師就能做到這一點嗎？
醫(yī)學診斷，這可能是機器學習發(fā)展速度最快且最難以預料的一個領(lǐng)域。放射科醫(yī)師通常都經(jīng)過高強度訓練，且擁有不菲的收入。因此，我們認為醫(yī)師的技能實際上是存在某種職業(yè)洞察力的——也就是我們剛剛所提到的，通常只能存在于人腦中的，通過長年經(jīng)驗所積累的判斷。而在過去的短短幾年間，研究者們不僅可以通過神經(jīng)網(wǎng)絡分析出病理區(qū)域，甚至機器還能根據(jù)以往的病歷文本做出初步診斷。而逐漸，放射科醫(yī)師的工作內(nèi)容比起以往的邏輯分析，可能更接近于對可預測的模型進行匹配。畢竟你并不會得知是什么引起了癌癥，你只會知道它就在那里。
如果出于某些富有針對性的目的，我們得以建立一個魯棒性強的模式匹配裝置，它的內(nèi)在結(jié)構(gòu)同樣得以舉一反三，應用于許多其它領(lǐng)域。一名翻譯團隊的工程師將一個神經(jīng)網(wǎng)絡用于訓練鑒賞藝術(shù)品，甚至可以用來驅(qū)動一輛用無線電控制的自動汽車。同樣是這樣的神經(jīng)網(wǎng)絡，它能夠用來識別一只貓，或者是用來訓練識別 CT 片子——而它在短時間所接受的訓練數(shù)據(jù)可能比最富資歷的醫(yī)生所見過的還要多。神經(jīng)網(wǎng)絡能夠在瞬間閱讀上百萬頁的法律條文，以構(gòu)建自己的翻譯知識庫，而就像雷鋒網(wǎng)此前所提到的一樣——人的一生所閱讀的文字，可能對它而言只是浮光掠影。這類被自動化取代的工作不會只是那些簡單的重復性工作——更何況，我們將其與低人工智能聯(lián)系在一起，這種聯(lián)想并不公平。我們并不是在談論那 350 萬可能失業(yè)的卡車司機，而是在討論包括卡車司機、經(jīng)濟學家、金融分析師、房地產(chǎn)商在內(nèi)的人們。過去的九個月只是證明了，谷歌大公司里的一個小團隊能在多短的時間內(nèi)，將一個無人涉足的項目嘗試自動化。
如今，硅谷所發(fā)生的最重要的事情并不是打破一切。相反，你可以把它視為一種體系建立，或是權(quán)力鞏固的過程，而這樣的發(fā)展速度在人類歷史進程上是前無古人后無來者的。谷歌大腦招過實習生，也有長駐的老員工；團隊為員工們提供了高強度的培訓，但在公司也有免費的自行車頭盔及綠傘（雖然這里一年下兩次雨）。水果沙拉、休息的行軍床、按摩椅、數(shù)不盡的高端點心、還有幼兒衣物捐贈箱，有專業(yè)老師指導的攀巖課（墻有兩層樓那么高），你甚至還能參加閱讀分享會或是政治漫談小組。在這塊人類智慧的沃土上，谷歌員工們在電子礦場中辛勤勞作，所產(chǎn)出的精神財富將橫跨四大洲 13 個數(shù)據(jù)中心，為數(shù)不盡的人們帶來光明。
不過，即使是像谷歌這樣巨大的機構(gòu)也需要正視人工智能大潮。如果機器能從人類的傳道授業(yè)中學習，那么像程序員這種看似無可替代的工作也可能有朝一日不保。在聚會臨近尾聲之際，Corrado 向 Hughes 展示了他筆記本電腦上的內(nèi)容。
Hughes 秒懂了這是什么，而當我仔細看清了上面出現(xiàn)的名字和文件后，我才反應過來。這個動畫細數(shù)的是 10 年的翻譯代碼變化歷程：從 2006 年、到 2008 年，再到 2015 年。Hughes 慢慢地拖動進度條，鏡頭在寫滿貢獻者的名字間一閃而過。Hughes 充滿感慨地指出，Jeff Dean 的名字其實在全片中出現(xiàn)了很多次——而且在未來可能也將繼續(xù)下去。
Hughes 叫了 Corrado 一聲，隨后兩人起身。Corrado 看起來有點傷感，似乎還沉浸在懷舊的情緒之中。為了打破這種氣氛，他抬起頭問道：「那么，我們什么時候會把原有的代碼刪掉呢？」
「不用擔心，」Hughes 回答道，「新的代碼庫就要建起來了。一切都在成長?！?/p>
via nytimes
雷鋒網(wǎng)后記：在敲下最后一個字的時候，伴隨而來的并不只是完成了「艱巨任務」般的釋然，更有一種莫名的感慨。兩萬字所描繪出的，也只是谷歌團隊十年努力的一管窺豹。誠然，用人工的手段來翻譯一篇關(guān)于如何用人工智能改造谷歌翻譯的文章，似乎聽上去有點兒諷刺。而在編譯的時候，雷鋒網(wǎng)也曾經(jīng)嘗試打開 Google Translate，看看它自己翻譯出來的這篇描述自己的文章長什么樣——答案很顯然，對于這種包含大量隱喻及描寫細節(jié)的文章，Google Translate 還需要努力?。ㄐΓＲ恢闭J為翻譯是一種再創(chuàng)作的過程，是將原文所傳達的含義以另一種語言的形式傳遞給讀者，雷鋒網(wǎng)作為智能與未來的前瞻者，也希望能以這樣的形式，讓更多的讀者感受到前沿科技的心跳。2016 即將結(jié)束，愿每一位讀者都能在與雷鋒網(wǎng)同行的路上收獲知識和喜悅。
【招聘】雷鋒網(wǎng)堅持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時間提供海外科技動態(tài)與資訊。我們需要若干關(guān)注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。
簡歷投遞至 wudexin@leiphone.com，工作地 北京。
相關(guān)文章：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
