Trainium是亞馬遜云科技(AWS)專門為超過1000億個(gè)參數(shù)模型的深度學(xué)習(xí)訓(xùn)練打造的機(jī)器學(xué)習(xí)芯片。在2024年 re:Invent大會(huì)上，AWS宣布Trainium2正式可用，其性能比第一代產(chǎn)品提升4倍，可以在極短的時(shí)間內(nèi)訓(xùn)練基礎(chǔ)模型和大語言模型。

AWS周二宣布，將推出一款由數(shù)十萬顆自研Trainium芯片組成的巨型人工智能超級計(jì)算機(jī)，這是其位于德克薩斯州奧斯汀的人工智能芯片設(shè)計(jì)實(shí)驗(yàn)室的最新成果。

該芯片集群將供由人工智能初創(chuàng)公司Anthropic使用，Anthropic是一家人工智能初創(chuàng)公司，近期獲得來自亞馬遜40億美元的投資。AWS負(fù)責(zé)計(jì)算和網(wǎng)絡(luò)服務(wù)的副總裁戴夫.布朗（Dave Brown）表示，這個(gè)名為 “Project Rainier ”的芯片集群將落地美國，2025年建成后將成為世界上最大的人工智能模型訓(xùn)練集群之一。

在拉斯維加斯舉行的年度re:Invent會(huì)議上，AWS發(fā)布了“Ultraserver”服務(wù)器，該服務(wù)器由64個(gè)自研的互聯(lián)芯片組成。此外，AWS還在會(huì)議上宣布蘋果成為其最新的芯片客戶之一。

re:Invent會(huì)議上發(fā)布的產(chǎn)品凸顯了AWS此前對自研芯片Trainium的承諾，其將Trainium視為替代英偉達(dá)GPU的備選選項(xiàng)。

根據(jù)研究機(jī)構(gòu)國際數(shù)據(jù)公司(IDC)的數(shù)據(jù)顯示，2024年人工智能芯片市場的規(guī)模估計(jì)為1175億美元，到2027年底預(yù)計(jì)將達(dá)到1933億美元。IDC去年12月的研究顯示，英偉達(dá)在人工智能芯片市場中占據(jù)了約95%的份額。

AWS的CEO馬特.加曼（Matt Garman）稱：“目前，GPU市場只存在一種選擇，就是英偉達(dá)，如果市場上有其他的選擇，我們相信客戶會(huì)很歡迎?！?/p>

而亞馬遜推動(dòng)AI戰(zhàn)略的關(guān)鍵舉措是更新其芯片，這樣可以為他們的客戶降低成本，同時(shí)在產(chǎn)業(yè)鏈內(nèi)掌握更多的主動(dòng)權(quán)。掌握更多的主動(dòng)權(quán)有利于亞馬遜減少對英偉達(dá)的依賴，盡管目前兩家公司的關(guān)系還非常親密。

覬覦英偉達(dá)芯片收入的公司并不在少數(shù)，包括人工智能芯片初創(chuàng)企業(yè)Groq、Cerebras Systems和SambaNova Systems。亞馬遜的競爭對手微軟和谷歌也下場開發(fā)自己的人工智能芯片，并試圖減少對英偉達(dá)的依賴。

自從2018年推出基于Arm架構(gòu)的CPU Graviton以來，亞馬遜一直致力于為客戶開發(fā)自研的芯片產(chǎn)品。亞馬遜高管表示，公司的目標(biāo)是復(fù)制Graviton的成功經(jīng)驗(yàn)，向客戶證明，其產(chǎn)品雖然成本更低，但性能并不遜色于市場領(lǐng)先者。

亞馬遜造芯，復(fù)刻Graviton的成功經(jīng)驗(yàn)

AWS的人工智能芯片實(shí)驗(yàn)室位于德克薩斯州奧斯汀市，其前身是亞馬遜在2015年以約3.5億美元收購的以色列微電子公司Annapurna Labs。

加迪·哈特(Gadi Hutt)在亞馬遜收購Annapurna之前就加入了該公司，擔(dān)任產(chǎn)品與客戶工程部的總監(jiān)。他表示：“芯片實(shí)驗(yàn)室自Annapurna創(chuàng)業(yè)之初就已設(shè)立，當(dāng)時(shí)Annapurna安家于奧斯汀的考量正是希望所處的位置要靠近芯片巨頭設(shè)有辦事處的地方?！?/p>

該實(shí)驗(yàn)室工程部主任拉米·辛諾(Rami Sinno)說，在實(shí)驗(yàn)室內(nèi)部，工程師們可能今天還在裝配線上工作，明天就去焊接了。他們會(huì)立即著手處理任何需要完成的工作，這種精明務(wù)實(shí)的心態(tài)在初創(chuàng)企業(yè)中更為常見，而非像亞馬遜這樣的萬億美元公司。

辛諾稱，這是有意為之的，因?yàn)锳nnapurna對于人才招聘有自己的理解，并不像行業(yè)中的其他公司那樣尋找專長于一個(gè)領(lǐng)域的“專家”。他們會(huì)尋找既精通版圖設(shè)計(jì)又精通信號完整性和功率傳輸，并且還能編寫代碼的電路板設(shè)計(jì)師。

“我們同時(shí)設(shè)計(jì)芯片、核心、整臺服務(wù)器和機(jī)架。我們不會(huì)等到芯片準(zhǔn)備好后再設(shè)計(jì)主板，”辛諾說?！斑@讓團(tuán)隊(duì)能夠以超快的速度前進(jìn)?！?/p>

AWS在2018年推出了Inferentia，這是一種專門用于推理的機(jī)器學(xué)習(xí)芯片，即將數(shù)據(jù)輸入AI模型以生成輸出的過程。亞馬遜高級副總裁兼杰出工程師詹姆斯·漢密爾頓（James Hamilton）表示，團(tuán)隊(duì)首先專注于推理，因?yàn)榕c訓(xùn)練相比，推理任務(wù)對芯片的要求略低。

到2020年，Annapurna已經(jīng)準(zhǔn)備好推出其首款面向客戶用于訓(xùn)練AI模型的芯片“Trainium”。去年，亞馬遜宣布推出Trainium2芯片，稱該芯片現(xiàn)已可供客戶使用。AWS還表示，目前正在開發(fā)Trainium3芯片以及基于該芯片的服務(wù)器，其性能將是基于Trainium2芯片服務(wù)器的四倍。

規(guī)模決定算力，亞馬遜服務(wù)器搭載芯片數(shù)量為英偉達(dá)兩倍

隨著AI模型和數(shù)據(jù)集的規(guī)模越來越大，為其提供動(dòng)力的芯片和芯片集群的規(guī)模也在不斷擴(kuò)大?？萍季揞^們不僅從英偉達(dá)購買更多的芯片，還自行設(shè)計(jì)芯片。如今，他們正試圖將盡可能多的芯片集中在一個(gè)地方。

“越來越大”也是亞馬遜芯片集群的目標(biāo)，該集群由Annapurna和Anthropic合作構(gòu)建，目的是讓AI初創(chuàng)公司使用該集群來訓(xùn)練和運(yùn)行其未來的AI模型。亞馬遜表示，該集群的浮點(diǎn)運(yùn)算能力是Anthropic當(dāng)前訓(xùn)練集群的五倍。馬斯克的xAI最近建造了一臺名為Colossus的超級計(jì)算機(jī)，該計(jì)算機(jī)使用了10萬個(gè)英偉達(dá)的Hopper芯片。

漢密爾頓說：“你將服務(wù)器的規(guī)模擴(kuò)大得越多，就意味著你需要解決的問題越少，整個(gè)訓(xùn)練集群的效率也就越高。一旦你意識到這一點(diǎn)，更大更強(qiáng)就成了目標(biāo)?！?/p>

亞馬遜的Ultraserver將64個(gè)芯片整合到一個(gè)封裝中，由四臺服務(wù)器組成，每臺服務(wù)器包含16個(gè)Tranium芯片。布朗說，相比之下，英偉達(dá)的部分GPU服務(wù)器只包含8個(gè)芯片。為了將這些芯片組合在一起，形成一個(gè)可以達(dá)到83.2千萬億次浮點(diǎn)運(yùn)算的服務(wù)器，亞馬遜的秘密武器是其網(wǎng)絡(luò)技術(shù)NeuronLink，這項(xiàng)技術(shù)可以使所有四個(gè)服務(wù)器相互通信。

漢密爾頓稱，這是他們在不使服務(wù)器過熱的情況下所能容納的最大數(shù)量。從尺寸上看，它更接近于冰箱大小，而不是緊湊的個(gè)人計(jì)算機(jī)。但布朗和其他高管表示，這并不是在向客戶施壓，讓他們從亞馬遜和英偉達(dá)之間二選一。他們更希望客戶可以在其云平臺上繼續(xù)使用自己喜歡的產(chǎn)品。

AI編程初創(chuàng)公司Poolside的聯(lián)合創(chuàng)始人兼CTO艾索.康德（Eiso Kant）表示，他們公司在使用Amazon的芯片運(yùn)行其AI模型時(shí)，相較于使用英偉達(dá)的芯片，可節(jié)省約40%的成本。但缺點(diǎn)是，工程師需要花費(fèi)更多的時(shí)間讓亞馬遜的相關(guān)芯片軟件正常運(yùn)行。

康德表示：“亞馬遜直接通過臺積電制造芯片，并將其應(yīng)用于自己的數(shù)據(jù)中心，因此對AI初創(chuàng)企業(yè)來說，這是看起來更“穩(wěn)妥的選擇”。他表示，亞馬遜的賭注下在哪里至關(guān)重要，因?yàn)樵谟布I(lǐng)域，落后對手6個(gè)月就可能意味著業(yè)務(wù)的終結(jié)?！?/p>

蘋果機(jī)器學(xué)習(xí)與人工智能高級總監(jiān)貝諾伊·杜平(Benoit Dupin)在大會(huì)上表示，蘋果內(nèi)部正在測試Trainium2芯片，預(yù)計(jì)可節(jié)省約50%的成本。

面對英偉達(dá)，Trainium能走多遠(yuǎn)

分析師表示，對于大多數(shù)企業(yè)來說，選擇英偉達(dá)還是亞馬遜并不是一個(gè)迫切的問題。因?yàn)榇笮推髽I(yè)更關(guān)心如何從運(yùn)行AI模型中獲得價(jià)值，而不是研究如何訓(xùn)練它們。

這樣的市場趨勢對亞馬遜來說是件好事，因?yàn)榭蛻舨粫?huì)注意到云服務(wù)背后是哪家芯片廠商在提供算力。它可以與Databricks這樣的云數(shù)據(jù)公司合作，將Trainium應(yīng)用于云計(jì)算，大多數(shù)企業(yè)都不會(huì)注意到任何差異，因?yàn)橛?jì)算能夠正常運(yùn)行，而且成本還會(huì)越來越低。

市場研究和IT咨詢公司Gartner的分析師奇拉格.德卡特（Chirag Dekate）表示，亞馬遜、谷歌和微軟正在開發(fā)自己的AI芯片，因?yàn)樗麄冎雷孕性O(shè)計(jì)芯片可以節(jié)省時(shí)間和成本，同時(shí)提高性能。因?yàn)槎ㄖ朴布梢蕴峁┓浅＞唧w的并行化功能，這可能比通用型GPU的性能更好。

研究公司Redburn Atlantic的分析師亞歷克斯·海斯?fàn)?Alex Haissl)表示，AWS在人工智能不太被關(guān)注到的領(lǐng)域也有著被低估的實(shí)力，包括網(wǎng)絡(luò)、加速器和名為“Bedrock”供企業(yè)使用人工智能模型的平臺。

不過，公司領(lǐng)導(dǎo)對于AWS的芯片能夠走多遠(yuǎn)持懷疑態(tài)度，至少目前是這樣。AWS CEO加曼說：“實(shí)際上，我估計(jì)在很長一段時(shí)間內(nèi)，市場還是會(huì)被英偉達(dá)占據(jù)，因?yàn)槟壳?9%的工作負(fù)載都是由它們來處理的，這種情況可能不會(huì)改變。但是，我希望Trainium能夠開辟出一個(gè)不錯(cuò)的利基市場，它將會(huì)是很多工作負(fù)載的絕佳選擇。

本文由雷峰網(wǎng)(公眾號：雷峰網(wǎng))編譯自：Exclusive | Amazon Announces Supercomputer, New Server Powered by Homegrown AI Chips - WSJ

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。