12月12日，谷歌宣布其第六代TPU（張量處理器），Trillium正式上市。

谷歌計算和人工智能基礎設施副總裁兼總經(jīng)理Mark Lohmeyer表示，谷歌旗下的大模型Gemini 2.0正是采用Trillium進行訓練， TPU是Google Cloud AI超級計算（AI Hypercomputer）的關鍵組件，集成了性能優(yōu)化后的硬件、開放軟件、領先的機器學習框架以及靈活的消費模型。

以色列人工智能公司AI21 Labs的CTO Barak Lenz表示，AI21 Labs是自TPU v4以來的長期用戶，Trillium在規(guī)模、速度和成本效率方面都取得了顯著的進步。

在GPU加速一切的人工智能時代，TPU像極外來物種。畢竟在各大搜索軟件里輸入關鍵詞“TPU”，前幾條結(jié)果顯示的都是材料學科里的聚氨酯。

TPU因谷歌而出現(xiàn)，TPU市場因谷歌而繁榮。為何研發(fā)TPU，以及TPU團隊的工程師離開谷歌后如何將行業(yè)推向繁榮，背后的故事值得講述。

谷歌「被迫」研發(fā)TPU

2009年，Geoffrey Hinton將深度神經(jīng)網(wǎng)絡應用于語音建模，在TIMIT（聲學-音素連續(xù)語音語料庫）上獲得當時的最佳成果，深度學習神經(jīng)網(wǎng)絡技術在語音識別領域開始大放異彩。

如果說ChatGPT是當下人工智能浪潮的起點，那AlexNet神經(jīng)網(wǎng)絡架構(gòu)的出現(xiàn)就是上一個里程碑。

2012年，Alex Krizhesky、Ilya Sutskever和Hinton提出的AlexNet架構(gòu)，通過使用GPU構(gòu)建深度學習模型，刷新當時的圖像識別世界紀錄，并且準確率達到85%，在當年的ImageNet大賽中一舉奪冠。

人工智能在語音和圖像識別領域的應用引起了谷歌的關注，畢竟這兩個領域與谷歌的核心業(yè)務，如搜索、地圖、照片和翻譯等緊密相關。正值谷歌考慮推出面向全球的語音識別功能之際，研究團隊發(fā)現(xiàn)需要處理的人工智能計算量將超過其現(xiàn)有的算力。

谷歌首席科學家Jeff Dean在采訪時稱：“當時，我們粗略地估算了數(shù)億人與谷歌的產(chǎn)品對話會產(chǎn)生多少計算量，結(jié)果顯示谷歌需要部署多一倍的算力才可以滿足這樣的需求?！?/p>

做為大廠，谷歌天生帶有傲性。當時，谷歌團隊研究了市面上提供的所有算力解決方案，全部都被高層否決掉。

互聯(lián)網(wǎng)大爆發(fā)使算力需求呈現(xiàn)指數(shù)級上升，兩個明顯的的趨勢開始涌現(xiàn)，一是算力使用場景細分化，二是用戶對算力的需求不斷攀升，傳統(tǒng)的通用算力芯片很難再滿足一些特定場景的需求。

對專用芯片的投入日益受到關注，開發(fā)公司內(nèi)部的深度學習專用處理器芯片成為谷歌的不二之選。

「出道即巔峰」，首代TPU推理速度為競品30倍

決策后，是迅速的執(zhí)行。谷歌挖來惠普智能基礎設施實驗室高級總監(jiān)Norm Jouppi、Pacmid的研發(fā)負責人Jonathan Ross、Arm架構(gòu)開發(fā)商Calxeda的SoC工程總監(jiān)Richard Ho以及高通高級工程師Ravi Narayanaswami等一批芯片行業(yè)資深從業(yè)人員，而這一批人員也勾勒出當下人工智能芯片領域巨頭博弈的核心人才畫像。

面對全世界最好的工程師，大廠光環(huán)和天價薪資略顯廉價，真正讓這幫人聚在一起的是開發(fā)出滿足全球人工智能算力需求的解決方案這一愿景。

谷歌云TPU業(yè)務創(chuàng)始人Zak Stone稱：“2012年，我創(chuàng)立了一家機器學習創(chuàng)業(yè)公司，為了以較低的成本獲得算力，我的聯(lián)合創(chuàng)始人會在網(wǎng)上購買二手的游戲GPU，然后在咖啡桌上搭建服務器，一旦我們在運行GPU的時候打開了微波爐，電源就會耗盡。加入谷歌后，我創(chuàng)建了云TPU項目，我知道我們必須把TPU打造成谷歌云的基礎設施。”

這也正是谷歌不直接出售TPU，而是通過谷歌云出售TPU算力的原因之一。另一方面，這種做法可以免于搭建供應鏈和硬件銷售團隊，節(jié)省對陌生業(yè)務的投入，同時反哺了谷歌云業(yè)務并且提高了硬件產(chǎn)品的保密程度。

從立項到落地，谷歌花了15個月。2015年，谷歌開發(fā)出第一代TPU處理器，并開始部署在谷歌的數(shù)據(jù)中心進行深度學習模型訓練。彼時，外界對于谷歌內(nèi)部的基礎設施建設鮮有認知，而事實上，擊敗棋王李世石的AlphaGo正是由TPU驅(qū)動的。

研發(fā)TPU的團隊負責人Norm Jouppi稱：“TPU的設計過程異常迅速，這本身就是一項非凡的成就。更出乎意料的是，首批交付的硅片無需進行任何錯誤修正以及掩膜的更改，而正在同步進行的還有團隊組建，RTL（寄存器傳輸級）設計專家、驗證專家都急需補充，整個工作節(jié)奏非常緊張?！?/p>

機器學習硬件系統(tǒng)的首席工程師Andy Swing同樣表示：“我們原以為TPU的產(chǎn)量不會超過1萬顆，但最終生產(chǎn)了超過10萬顆，在廣告、搜索、語音、AlphaGo甚至自動駕駛等領域被廣泛采用?！?/p>

TPU跟GPU的核心差異在于，GPU更通用，而TPU則專用于加速機器學習工作負載，是一款ASIC（專用集成電路）芯片。TPU包含數(shù)千個乘法累加器，這些累加器直接連接，形成大型物理矩陣，即脈動陣列架構(gòu)，這樣的處理使TPU可以在神經(jīng)網(wǎng)絡計算中實現(xiàn)高計算吞吐量。

Google杰出工程師David Patterson稱：“TPU就像海倫（希臘神話中最美的女人），它的出現(xiàn)引起了成千芯片與之競逐?！?/strong>

首款TPU發(fā)布后，英特爾便耗資數(shù)十億美元收購了多家芯片公司。阿里巴巴、亞馬遜等公司同樣開始研發(fā)類似產(chǎn)品。TPU重新喚起了人們對計算機架構(gòu)的關注，后來的幾年內(nèi)，出現(xiàn)了上百家相關初創(chuàng)企業(yè)，年均總?cè)谫Y額近20億美元，新想法層出不窮。

截至目前，谷歌TPU經(jīng)歷了多次迭代，TPU系列產(chǎn)品的性能也實現(xiàn)了指數(shù)級的上升。TPU v1的峰值性能為92 TOPS，1TOPS代表處理器每秒鐘可進行1萬億次浮點運算，做為同期的競品，TPU v1的推理速度比英偉達K80 GPU和英特爾Haswell CPU快15到30倍。TPU v4的峰值性能達到1.1PFLOPS，即每秒進行1100萬億次浮點運算，首次突破每秒千萬億次浮點運算的大關，相較于TPU v1，性能提高了將近12倍。最新發(fā)布的Trillium性能為TPU v5e的4.7倍，官方稱是迄今為止性能最高、最節(jié)能的TPU。

所有這些處理能力還只是開始。

TPU的主要設計師Cliff Young認為，跟上深度學習的發(fā)展不僅需要增加用于訓練的芯片數(shù)量，現(xiàn)有的軟硬件架構(gòu)設計也必須改變，需要運用全新的材料-應用協(xié)同設計概念。未來深度學習架構(gòu)的設計需要包含從物理到應用的各個層面的協(xié)同設計，這是打破摩爾定律瓶頸的一種方式，是深度學習發(fā)展的新出路。

團隊表示：“當時，我們的TPU和Pod設置對建設數(shù)據(jù)中心能力很有意義，但現(xiàn)在我們正在改變數(shù)據(jù)中心的設計，以更好地滿足需求，當下的解決方案與未來的解決方案將非常不同。忘記單個芯片或單個TPU吧，我們正在構(gòu)建一個載滿TPU的全球數(shù)據(jù)中心網(wǎng)絡。未來是全棧定制，從硅到一切?！?/strong>

TPU夢之隊，從「隊友到對手」

當下，所有人都在眼紅英偉達在人工智能芯片市場占據(jù)的市場份額，而TPU讓谷歌成為英偉達之外另一個重要的算力供應商。全球超過60%獲得融資的生成式AI初創(chuàng)公司和近90%生成式AI獨角獸都在使用谷歌Cloud的AI基礎設施和Cloud TPU服務，包括Anthropic、Midjourney、Salesforce、Hugging Face和AssemblyAI等企業(yè)。

2024年7月，蘋果公布其使用了2048片TPUv5p芯片來訓練擁有27.3億參數(shù)的設備端模型AFM-on-device，以及使用8192片TPUv4芯片來訓練大型服務器端模型AFM-server。

這些數(shù)據(jù)回答了TPU在人工智能市場里的應用情況，也昭示著這個市場會涌入更大量的競爭者。而事實上，在TPU v1剛剛發(fā)布的時期，TPU團隊成員另立門戶或加入競對公司的現(xiàn)象就已初顯苗頭。畢竟在硅谷，當你萌生出創(chuàng)業(yè)想法時，成事法則中的一條就是從谷歌挖人。

Social Capital的創(chuàng)始人Chamath Palihapitiya深諳其中的門道，他總是那么尖銳且冒進，面對名流及精英他直言不諱，做為美國的SPAC（特殊目的收購公司）之王，帶著散戶逼空華爾街精英也讓他賺足了吆喝。

Palihapitiya就像投資界的馬斯克，掌握資本和流量杠桿讓他成為創(chuàng)業(yè)者背后的攢局人。

2015年，在谷歌的季度財報會上，Palihapitiya不經(jīng)意間了解到谷歌正在自研AI芯片，為什么谷歌要跟英特爾競爭？問題在Palihapitiya心中浮現(xiàn)，他開始尋找答案。

2016年，TPU v1發(fā)布，跟市場上其他人一樣，Palihapitiya的策略是“no miss”，他認為這一次芯片創(chuàng)新可以讓Facebook、Amazon、Tesla等公司以及政府利用機器學習和計算機去做此前沒人能做的事情。

巨頭入局，Palihapitiya做局。他開始對谷歌TPU領域的工程師進行人才mapping，一年半的時間里，Palihapitiya挖走了谷歌芯片創(chuàng)始團隊里10人中的8位，背后的兩個關鍵角色是Jonathan Ross和軟件工程師Doug Wightman，而成立的這家新公司正是當下炙手可熱的AI芯片企業(yè)Groq。

今年的8月5日，Groq完成由Blackrock領投的新一輪6.4億美元融資，28億美元的估值讓Groq毫無疑問地成為AI芯片新貴。另一方面，Meta首席人工智能科學家Yann LeCun宣布擔任Groq的技術顧問，在Groq的官網(wǎng)上赫然掛著Yann LeCun對于Groq芯片的評價：“Groq芯片確實直擊要害?！?/strong>

而問題在于Meta內(nèi)部也在研發(fā)AI芯片，競對公司間的人事往來不經(jīng)讓外界感到意外。但可以推測出這背后離不開Palihapitiya的周旋，畢竟他曾擔任了五年多的Facebook（Meta前身）副總裁，化敵為友，是攢局人的基本素養(yǎng)。

Groq之外，是OpenAI對谷歌近乎瘋狂的“挖墻腳”。

瘋狂的背后，是Sam Altman激進的7萬億自研芯片戰(zhàn)略。此前，臺積電CEO CC Wei在采訪中表示：“Altman的計劃太激進了，讓人難以置信?！?/strong>

今年10月30日，外媒報道OpenAI與博通以及臺積電達成合作，計劃于2026年生產(chǎn)其首個定制芯片。

OpenAI造芯傳言靴子落地的背后，是Sam Altman網(wǎng)羅AI芯片人才計劃的收網(wǎng)。Sam Altman的用人法則只有一條，要么現(xiàn)在在谷歌，要么之前在谷歌。

近一年里，大量谷歌TPU團隊的研發(fā)人員密集加入OpenAI，Sam Altman搭建了以前谷歌高級工程總監(jiān)Richard Ho為首的硬件研發(fā)團隊，主要成員包括Tensor SoC負責人Ravi Narayanaswami、高級硬件工程師Thomas Norrie、技術經(jīng)理Sara Zebian、研究科學家Phitchaya以及設計驗證經(jīng)理Jerry Huang等人。

而這一批人收獲的最多的評價正是：“他們是我合作過的最好的工程師之一。”

吸引最好的工程師，Sam Altman開出的條件是：參與構(gòu)建人類有史以來最宏大的計算機系統(tǒng)、與大模型團隊的高度協(xié)作且不會面臨大公司內(nèi)部的溝通阻礙，以及高薪。

TPU團隊在市場頗受認可的背后是任職于谷歌時研發(fā)TPU鍛煉的從0到1的工程能力，而專用于加速機器學習和神經(jīng)網(wǎng)絡的設計正是當下市場最需要的。

商業(yè)層面，身居不同公司或許針尖對麥芒，但個人層面，他們都是谷歌TPU的同行者，更是AI芯片未來的締造者。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))參考材料：

https://cloud.google.com/blog/products/compute/trillium-tpu-is-ga

https://cloud.google.com/transform/ai-specialized-chips-tpu-history-gen-ai?e=48754805

https://www.censtry.com/blog/why-did-google-develop-its-own-tpu-chip-in-depth-disclosure-of-team-members.html

https://cloud.google.com/tpu/docs/system-architecture-tpu-vm?hl=zh-cn#targetText=Tensor%20Processing%20Units%20(TPUs)%20are,and%20leadership%20in%20machine%20learning.

https://cloud.google.com/tpu/docs/system-architecture-tpu-vm?hl=zh-cn#targetText=Tensor%20Processing%20Units%20(TPUs)%20are,and%20leadership%20in%20machine%20learning.

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。