編者按：在無人不談 AI 的時代，微軟同樣將目光投向了這個領域， 而它把賭注押在了 FPGA上 —— Project Catapult 于微軟而言，暗示著改變未來全球系統(tǒng)運作的方式——至少在微軟看來是這樣的。本文首發(fā)于 wired, 由雷鋒網(wǎng)陳楊英杰、夏睿及管策聯(lián)合編譯，未經(jīng)授權不得轉載。

硬件原型，六年奮斗，只為在下一波的AI浪潮中重建微軟帝國的雄風

2012 年 12 月的某一天，Doug Burger 站在 Steve Ballmer 面前，嘗試預測未來。

Ballmer，微軟那個高大、禿頂、活潑的 CEO，正坐在西雅圖郊外的微軟藍天研發(fā)實驗室（blue-sky R&D lab）基地 99 號樓一層的演講室中。桌子在房間外繞成 U 型，Ballmer 被他的高級助理們圍住，開著筆記本電腦。Burger，一位計算機芯片研究員，四年前加入微軟，向高管們描繪了一個新想法，他稱之為Project Catapult。

Doug Burger

Burger 解釋說，這個技術世界正在邁向一個新軌道。未來將是少數(shù)幾家互聯(lián)網(wǎng)巨頭運作著幾個巨型互聯(lián)網(wǎng)服務，這些比以前的服務更加復雜和不同，所以這幾家公司不得不打造全新的架構來運行它們。

不僅僅是驅動這些服務的軟件，巨頭們還得造出硬件，包括相應的服務器和網(wǎng)絡設備。Project Catapult 將會為微軟所有的幾百萬臺服務器提供專用芯片，這些芯片可以用來為特定的任務重新編程。

但 Burger 還沒等到 介紹這個芯片，Ballmer 就突然抬起了頭。Ballmer 剛造訪微軟研究時，就表示希望看到研發(fā)中心有新進展，而不是一個戰(zhàn)略簡報。“他開始拷問我?！盉urger 說。微軟花了 40 年建立起像 Windows、Word 和 Excel 這樣的 PC 軟件，然而它發(fā)現(xiàn)自己才剛剛涉足互聯(lián)網(wǎng)。微軟還沒有開始可程計算機芯片設計的必要工具和工程師，這是一項困難、耗時、專業(yè)而且有些特別的任務。微軟要著手可編程計算機芯片，聽起來就像是可口可樂宣布要做魚翅。

Project Catapult  的現(xiàn)狀

Burger 著裝整齊，頭頂微禿，分析問題非常冷靜，這些和很多優(yōu)秀的工程師一樣。他轉過身，告訴 Ballmer 像谷歌和亞馬遜這樣的公司一直在朝著這個方向發(fā)展。他說世界上的硬件制造商不會提供微軟需要用來運行線上服務的硬件。他說，如果微軟不打造自己的硬件，就會落后。Ballmer 聽完后并不買賬。但是過了一會兒，另一個聲音參與到這場討論中來。這個聲音來自微軟搜索引擎 Bing 的管理者陸奇。兩年來，陸奇的團隊一直在和 Burger 討論可編程芯片的事情。Project Catapult 不僅僅是一種可能，陸奇說：“他的團隊已經(jīng)開始著手進行了。”

今天，微軟已經(jīng)有了現(xiàn)場可編程門陣列（field programmable gate arrays，F(xiàn)PGA），Burger 和陸奇都相信這個可編程芯片可以改變世界。FPGA 目前已支持 Bing，未來幾周，它們將會驅動基于深度神經(jīng)網(wǎng)絡，以人類大腦結構為基礎建模的新型搜索算法，在執(zhí)行人工智能的幾個命令時，速度比普通芯片快幾個數(shù)量級。有了它，你的計算機屏幕只會空屏 23 毫秒，而不是 4 秒。

Catapult 團隊成員 Adrian Caulfield, Eric Chung, Doug Burger, 和 Andrew Putnam

Bing 不只是要追趕 Google。Project Catapult 暗示著改變未來全球系統(tǒng)運作的方式。從美國的亞馬遜到中國的百度，所有的互聯(lián)網(wǎng)巨頭都在用硅替代他們的標準服務器芯片——中央處理單元，也叫 CPU，這些硅制成的芯片可以讓它們跟上人工智能的快速變化。微軟現(xiàn)在每年花在硬件上的錢在 50 億到 60 億美元，以維持其線上帝國的運轉。所以這樣的工作“再也不僅僅是研究了”，Satya Nadella 說道，他在 2014 年接任了微軟 CEO 一職?！八袠O為重要的優(yōu)先性”，這就是 Burger 當年在 99 號大樓中要說明的，他和他的團隊花費多年，克服種種挫折，不斷重新設計，與體制對抗，最終實現(xiàn)的一種新的全球超級計算機。

| 一種全新而古老的計算機芯片

2010 年 12 月，微軟研究院 Andrew Putnam 離開西雅圖度假，回到了位于科羅拉多斯普林斯的家中。當時正是圣誕節(jié)前兩天，他還沒開始大采購。在他開車去商場的路上，電話突然響了，另一端正是他的老板 Burger。Burger 當時打算節(jié)后面見 Bing 高管，但他需要一份能在 FPGA 上運行 Bing 機器學習算法的硬件設計。

Putnam 馬上鉆入最近的星巴克開始規(guī)劃設計，花了大約 5 個小時完成了這件事，最后還剩下時間繼續(xù)去采購。

當時 Burger 47 歲，Putnam 39 歲，兩人過去都是學者。Burger 曾在特克薩斯大學奧斯汀分校擔任計算機科學教授，他在那里工作了 9 年，專攻微處理器，還設計了一款名為 EDGE 的新型芯片。Putnam 曾在華盛頓大學工作 5 年，擔任研究員并主要從事 FPGA 研究。當時可編程芯片已經(jīng)存在了好幾十年，但它們大多被當作處理器的一部分。2009 年 Burger 將 Putnam 挖到微軟，兩人開始探索用可編程芯片提升線上服務速度的方法。

Project Catapult V1，即 Doug Burger 團隊曾在微軟西雅圖數(shù)據(jù)中心測試過的版本

微軟的搜索引擎是一個依靠成千上萬臺機器運行的在線服務。每臺機器都需要靠 CPU 驅動，盡管英特爾等公司不斷改進它們，這些芯片還是跟不上軟件更新的腳步。很大程度上，是因為人工智能浪潮的來臨。

Bing 搜索等服務已經(jīng)超出了摩爾定律預言的處理器能力，即每 18 個月處理器上晶體管的數(shù)量翻一倍。事實還證明增加 CPU 并不能解決問題。

但同時，為新出現(xiàn)的需求制造專用芯片，成本是非常昂貴的。恰好 FPGA 能彌補這個不足，Bing 決定讓工程師制造運行更快、比流水線生產(chǎn)的通用 CPU 能耗更少、同時可定制的芯片，從而解決不斷更新的技術和商業(yè)模式變化所產(chǎn)生的種種難題。

圣誕節(jié)后的會面中，Burger 為必應高管們拿出了一套用 FPGA 提升搜索速度，同時功耗較低的方法。高管們不置可否。在接下來的幾個月中，Burger 團隊根據(jù) Putnam 圣誕節(jié)時畫出的草圖構建了原型，證明其運行必應的機器學習算法時速度可以提升 100 倍?！改菚r他們才表現(xiàn)出濃厚興趣」，當時的團隊成員、現(xiàn)瑞士洛桑聯(lián)邦理工學院院長 Jim Larus 告訴我們，「但同樣也是艱難時光的開始?！?br/>

原型是一個使用六個 FPGA 的專用盒，由一整個機架的服務器共享。如果盒子吱吱作響，表明它們需要更多 FPGA——考慮到機器學習模型的復雜性需求會越來越大——這些機器就會停止工作。必應的工程師非常厭惡這件事?！傅麄儧]錯，」Larus 說。

正是這個原型吸引了陸奇。他給了 Burger 足夠的資金，可以在 1600 臺服務器上裝配 FPGA 并進行測試。在中國和臺灣硬件制造商的幫助下，團隊花費半年時間制造出了硬件產(chǎn)品，并在微軟數(shù)據(jù)中心的一組機架上進行測試。但一天晚上滅火系統(tǒng)出現(xiàn)了問題。他們花了三天時間修復機架——它仍能工作。

在 2013 年到 2014 年的幾個月中，測試顯示必應「決策樹」機器學習算法在新芯片的幫助下，可以提升 40 倍運行速度。2014 年夏天，微軟公開表示要很快要將這些硬件應用到必應實時數(shù)據(jù)中心。但是在那之后，微軟暫停了。

|  除了Bing 搜索之外，還有……

幾年前，Bing 在微軟線上的發(fā)展中一直占據(jù)主要地位，直到 2015 年，另外的兩個主要在線服務出現(xiàn)：一個是商務應用套件 Office 365 ，一個是云計算服務 Microsoft Azure。

微軟高層和其他對手都意識到，想運營好一個不斷發(fā)展的線上帝國，唯一有效的辦法就是在同樣的基礎上運營所有的服務。如果 Project Catapult 要使微軟轉型， Bing 也逃不掉。因為它也要在 Azure 和 Office 365 內部工作。

問題是，Azure 的高官們并不在乎加速機器學習這件事。他們需要網(wǎng)絡的幫助。Azure 數(shù)據(jù)中心的流量跳動增長的太快，服務的 CPU 必須得跟上他們的腳步。而像 Azure 首席架構師 Mark Russinovich 這樣的人則看到了 Catapult 解決這些問題的潛力，但解決問題的方式和為 Bing 設計的有所不同。他的團隊需要可編程的芯片，然后將每個服務器連接到主要網(wǎng)絡上，這樣他們就能在數(shù)據(jù)流量到達服務器之前就開始處理了。

FPGA 架構的第一代原型是一個被一架服務器共享的單個盒子（Version 0），

然后該團隊轉向為每個服務器設計自己的 FPGA（Version 1），將芯片放到服務器和整體網(wǎng)絡之間

因此，F(xiàn)PGA 的研究者們需要自己開發(fā)硬件。在第三代原型中，芯片位于每個服務器的邊緣，能直接插入到網(wǎng)絡，但仍舊設計了任何機器都可接入的 FPGA 池?？雌饋?，Office 365 也可以用它了。終于，一切都準備好，Project Catapult 可以上線了。

Larus 把許多重復設計說成是噩夢。不是因為他們需要建立新的硬件，而是因為他們每次都要編程新的 FPGA。他說：“這太煩人了，比編軟件都要煩。又難寫，又難糾正?！边@個工作非常麻煩，就像改變芯片上的小邏輯門。

不過，最終需要的硬件已經(jīng)做好了，微軟每次重新編程這些芯片的時候還要面臨同樣的挑戰(zhàn)。Larus 說“這讓我們能以全新的視角來看待世界，思考世界，”。但是， Catapult 硬件的成本只占了服務器中所有其他的配件總成本的 30%，需要的運轉能量也只有不到 10%，但其卻帶來了 2 倍原先的處理速度。

這是一場很大的局。微軟 Azure 用這些可編程的芯片來路由、加密和壓縮數(shù)據(jù)。世界上 20% 的桌面搜索市場和 6% 的移動手機市場是 Bing的，有了這個芯片， 它就能適應新型人工智能：深度神經(jīng)網(wǎng)絡。據(jù)微軟一名員工說，Office365 正在嘗試使用 FPGA 和機器學習進行加密和壓縮。而這一行為將使 2310 萬用戶收益。Burger 說，最終，它們會驅動所有的微軟服務。

|  這真的會起作用嗎？

Peter Lee 表示道：“現(xiàn)在回想起來我還感到震驚，我們居然讓公司做了這件事?！彼€負責管理微軟研究院內一個名為新體驗和技術(NExT)的組織，該組織是薩提亞·納德拉在擔任微軟 CEO 后親自推動創(chuàng)建，代表了微軟研究院的重大轉向。NExT 旨在促進能更快改變微軟前進路線的研究。Project Catapult 就是典型的例子。而 Project Catapult 只是行業(yè)大變革的一部分。Doug Burger 表示道：“未來的進步將來自于非 CPU 技術?！?/p>

Peter Lee

包括微軟在內的所有互聯(lián)網(wǎng)巨頭現(xiàn)在都在用 GPU 作為 CPU 的補充。GPU 本來是專門用來渲染游戲畫面和滿足其他對畫面要求很高的應用需求，但現(xiàn)在這些公司在訓練神經(jīng)網(wǎng)絡時也會大量使用 GPU 來計算，比如識別數(shù)千萬張照片中的人臉。一些互聯(lián)網(wǎng)巨頭如微軟還會在訓練后，用可再編程芯片來運行神經(jīng)網(wǎng)絡。雖然自行開發(fā)芯片極其昂貴，但谷歌已經(jīng)開發(fā)了專門用于運行神經(jīng)網(wǎng)絡的處理器 TPU（tensor processing unit）。

谷歌的 TPU 以長期靈活性換取了速度。谷歌希望在識別語音命令時不再有延時。問題是，如果谷歌的神經(jīng)網(wǎng)絡模型改變，谷歌就必須再制造一種新芯片，而 FPGA 可以讓微軟打持久戰(zhàn)。盡管 FPGA 不像谷歌的自制芯片一樣快，但微軟可以根據(jù)需要對芯片進行再編程。微軟不僅能根據(jù)新的人工智能模型再編程，還可以根據(jù)任何任務進行再編程。如果其中一種設計在未來很多年都有用，微軟也可以用這一設計來制造專用芯片。

  新版 V2，它可以插在每臺微軟服務器的末端，直接與網(wǎng)絡連接在一起

微軟的服務非常龐大，使用的 FPGA 芯片多到開始改變全球芯片市場。FPGA 技術來自于 Altera，英特爾執(zhí)行副總裁 Diane Bryant 稱，微軟就是英特爾在去年以 167 億美元收購 Altera 的理由，這是英特爾有史以來最大一筆收購。Diane Bryant 表示，到 2020 年，主流云計算公司三分之一的服務器都會使用 FPGA 芯片。

CPU、GPU、TPU、FPGA，這么多首字母縮寫詞看得人眼花繚亂。但真正重要的還是它們的使用場景。微軟、谷歌、亞馬遜等公司通過云計算驅動著全球技術發(fā)展，而這些另類芯片則驅動著更龐大的應用和網(wǎng)絡服務體系。Peter Lee 表示，Project Catapult 將可以讓微軟繼續(xù)擴大自己的全球超級計算機運算能力，直到 2030 年。在此之后，微軟可以轉向量子計算。 

Nadella 在接受電話采訪時也表達了差不多的觀點。他倆說的都差不多，都在鼓吹超高速量子計算機的未來?？紤]到打造量子計算機的難度，他們描述的未來就像是在做白日夢一樣。但在幾年前，Project Catapult 也是同樣像是在做白日夢。

via Wired

推薦閱讀：

洪小文獨家解讀： 直到AI可以自己編程 它才有資格跟 “路人甲” 比智能

谷歌發(fā)布最新版 AI 系統(tǒng)，圖像配文準確率高達 93.9%

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。