作者丨朱可軒

編輯丨陳彩嫻

時至今日，如果說清華系撐起了中國大模型創(chuàng)業(yè)的半壁江山，那 AI Infra 這條賽道絕對是清華系「上陣師徒兵」的又一波創(chuàng)業(yè)豪賭：

媒體所實驗室孵化的清昴智能、高性能計算機研究中心牽頭的清程極智、NICS-EFC 實驗室孕育出的無問芯穹......AI Infra 賽道的明星創(chuàng)企幾乎都來自清華各大實驗室，而硅基流動和潞晨科技的創(chuàng)始人袁進輝和尤洋也均屬「清華代表隊」。

當(dāng)前，在這層創(chuàng)業(yè)要解決的問題也比較明確，主要就是面向上下游，把各類模型同芯片深度適配，一方面減少算力資源閑置現(xiàn)象，另一方面則實現(xiàn)模型應(yīng)用的提速降本。

不過，作為中間層，模型、應(yīng)用和硬件層正處在瞬息萬變之間，這意味著 AI Infra 的突破方向也在隨之調(diào)整，值此之際，該方向的創(chuàng)業(yè)也不斷面臨質(zhì)疑和些許陣痛，例如：

• 創(chuàng)業(yè)公司做 MaaS 平臺會不會面臨壓力？

• 訓(xùn)推一體機究竟是不是偽命題？

• 海內(nèi)外需要的基礎(chǔ)設(shè)施有何差異？

• 國產(chǎn)算力的軟件生態(tài)需要怎樣的突破口？

• 異構(gòu)混訓(xùn)是長遠方向嗎？

• ……

這些問題的背后關(guān)系著創(chuàng)業(yè)最終能走多遠，而不同的團隊顯然有著不同的預(yù)判。

在這條尚處探索期的賽道中，孰對孰錯還尚未可知，那么各家能否在此之中找尋到真正的商機呢？

推理究竟如何布局？

去年年底開始，大模型的發(fā)展重心變開始逐步從訓(xùn)練轉(zhuǎn)向推理，而繼 OpenAI 發(fā)布 o1 大模型后，大模型的 Scaling Law 從訓(xùn)練轉(zhuǎn)向推理的趨勢也更加明顯。

不過，在業(yè)內(nèi)看來，目前哪怕是 o1 這種閉源模型，半年后，其能力也能被開源模型陸續(xù)趕上。而隨著模型的能力逐漸達到相對滿意的程度，訓(xùn)練廠商減少和萎縮是必然發(fā)生的趨勢，此后，應(yīng)用落地才是箭在弦上的問題，而其中最關(guān)鍵的核心便是推理成本。

推理需求爆發(fā)是必然趨勢，據(jù)預(yù)測，整個推理成本未來三年，每年都做到十倍降本是可行且會發(fā)生的事情。當(dāng)前，推理優(yōu)化部署無疑成為讓大模型好用的關(guān)鍵一環(huán)，隨之而來的還有巨大的算力缺口。

不過，盡管海內(nèi)外 AI Infra 創(chuàng)企都看到了推理側(cè)的機遇，在具體布局上卻有著些許分歧，比如在打造 MaaS 平臺這一趨向上。

由于模型每天的調(diào)用量是海量的，如果不優(yōu)化一年將花費巨大，所以應(yīng)用方要實際用起來的話，還是需要找可靠性較高的彈性服務(wù)，通過在底層更快部署來合理運用算力以節(jié)省成本，創(chuàng)業(yè)的價值也在于此。

簡單來講，MaaS 這條路徑的思維就是將模型要部署到云上，過程中平臺不訓(xùn)練模型，而是變成 API 再集成，只負責(zé)最終的工程化實現(xiàn)，更多地專注在計算調(diào)度方面，主打提高成本、穩(wěn)定性、可用性。

不過，對此，潞晨科技創(chuàng)始人尤洋曾向 AI 科技評論表達過些許顧慮。在他的觀點中，通過 MaaS 平臺賣大模型 API 實際上是在和通用大模型公司競爭，創(chuàng)業(yè)公司將很難吃到「蛋糕」。

于是，潞晨入局了視頻大模型，除了年初發(fā)布全面開源的 Open-Sora 外，今年 10 月，其還發(fā)布了 Video Ocean 視頻大模型，正式走向商業(yè)化。尤洋堅持認為，如果不做自己的優(yōu)質(zhì)大模型，推理平臺上沒有優(yōu)質(zhì)資源。

這步棋下得和 Together.AI 其實有些異曲同工之妙，去年 5 月， Together.AI 也曾發(fā)布過類 ChatGPT 開源模型 RedPajama-INCITE。

目前，從海外各家廠商的情況來看，他們似乎對于做 MaaS 的壓力也有些許感觸。Lepton.AI、Fireworks 都在布局 Together.AI、CoreWeave 的方向，而后者的核心收入基本都是 IaaS 收入。

有知情人士向 AI 科技評論透露，F(xiàn)ireworks 比較猶豫，之前說要做 MaaS 平臺，現(xiàn)在估計覺得這種方式會直接和 ChatGPT、Anthropic 競爭，壓力對于基礎(chǔ)設(shè)施公司來講太大了。

而 Lepton.AI 最開始主要聚焦的其實是 PaaS 和 MaaS，今年 5 月，其新上線了 FastGPU，這時旗下的 IaaS 業(yè)務(wù)才逐步開始入場。

「推理平臺要和 ChatGPT 競爭很難，因為這類平臺的優(yōu)質(zhì)資源是模型本身，而訓(xùn)練微調(diào)平臺只需要和 CoreWeave、Lambda Labs 競爭，并且作為優(yōu)質(zhì)資源的 GPU 肯定能買到?！箻I(yè)內(nèi)人士曾向 AI 科技評論分析。

值得一提的是，據(jù) AI 科技評論了解，Together.AI 同 Lepton.AI 和 Fireworks 相比完全是自己的 GPU，這種方式相較于使用他人的硬件和云，然后在上層疊加模型服務(wù)部分，利潤空間其實會更大。

除此之外，一位 AI Infra 創(chuàng)業(yè)者也曾告訴 AI 科技評論，在 AI Infra 這一層創(chuàng)業(yè)，其實硬件也要自己做，光做軟件長期可能站不住，技術(shù)再好也不能沒有底層基礎(chǔ)設(shè)施。

從布局上來看，無問芯穹也有著相似的感知：

今年來，無問芯穹開始布局端側(cè)大模型推理處理器 LPU，計劃以 IP 的形式和合作伙伴做聯(lián)合芯片發(fā)布，并在明年開始落地嘗試。

在無問芯穹的思考中，大模型作為一個人機交互的接口，本身非常大，所以對于端上這部分的場景有很大的需求量，而固化到硬件層面也有很強烈的需求。所以在端上的大模型推理，大模型落地的硬件是一定會被大量需求的。

「無問芯穹如果能把自己的推理卡做好，有這樣的背景，就可以通過芯片層去變現(xiàn)，感覺這是他們在思考的事情?！箻I(yè)內(nèi)人士在和 AI 科技評論交談時曾有提及。

不過，和前述顧慮相比，部分創(chuàng)業(yè)者的想法還是偏向樂觀的。他們認為，除了自身并不局限于 MaaS 這一種形式外，就算是做 MaaS 和通用大模型公司有競爭也是實屬正常。

從當(dāng)前情況來看，即使 OpenAI 一年創(chuàng)收十幾億美金，但大模型應(yīng)用的需求依舊處于非常初期的階段，未來，大模型應(yīng)用必然會起量，大模型將無處不在，形成非?；A(chǔ)的能力，成本也會降得很低。

待到那時，跑大模型或者 AIGC 推理需要的將會是百萬甚至千萬張，就像每人一部手機的時代，需求量會變得非常巨大。而這樣一個足夠大的市場之中，同一個細分市場也能容下好幾家廠商。

除了云平臺外，私有化部署在國內(nèi)呼聲也逐日走高。

在這一趨勢的洞察之下，硅基流動、潞晨科技和清昴智能紛紛選擇了訓(xùn)推一體機的交付路徑，這也和當(dāng)前市場內(nèi)大多數(shù)頭部玩家的走向一致。

從尤洋的判斷中看，潞晨科技布局訓(xùn)推一體機主要針對的是 Post-training（后訓(xùn)練）這一層，面向的大部分傳統(tǒng)行業(yè)客戶目前并沒有采用大規(guī)模集群，最多買了千卡。

但并非所有玩家都做此選擇，也有觀點認為，訓(xùn)推一體機為了兼顧訓(xùn)練和推理，可能會出現(xiàn)顧此失彼的情況，這不會是長期走向。

清程極智創(chuàng)始人湯雄超就覺得，訓(xùn)推一體機實際上并不契合訓(xùn)練的算力需求，「訓(xùn)練和推理兩種業(yè)務(wù)間區(qū)別較大，很難想象一個較小的一體機能承載大的訓(xùn)練業(yè)務(wù)，現(xiàn)在大模型預(yù)訓(xùn)練可能都是萬卡以上的規(guī)模，只能在大規(guī)模智算集群上完成?！?/p>

需要關(guān)注的是，面向推理，端側(cè)對于中間層而言也有著很大的想象空間。

除了前文提到過的無問芯穹外，清昴智能也已有所布局，與許多同行從云切入有所不同，其最初便從端側(cè)切入，也曾和手機上的高通、驍龍芯片，寒武紀、比特大陸等都進行過適配。

當(dāng)前，手機、電腦、車均開始逐步有了落地場景，但卻存在因模型太大而放不到端側(cè)的情況，這時就需要把大模型變成 1B、7B 的小模型。 

中國比美國應(yīng)用場景更多，而端側(cè)把性能、成本、功耗做到極致則非常關(guān)鍵。未來，端側(cè)軟件的作用也會愈發(fā)凸顯。

夾縫中能否覓得商機？

在海外，軟件層創(chuàng)業(yè)似乎相對國內(nèi)更容易：首先，海外市場有一套成熟的訂閱軟件付費方法，其次，由于英偉達統(tǒng)一了市場，基于英偉達去做會更簡單。

中美市場存在些許差異，在應(yīng)用的多樣性上雙方是類似的，都要去支持不同應(yīng)用，比較大的區(qū)別在于對底層芯片的支持，海外主要由英偉達和 AMD 瓜分天下，需要適配的芯片較少，創(chuàng)業(yè)可能相對國內(nèi)好做。

不過，從另外一個角度來看，海外市場反而也會因為有巨頭的存在，必要性不太強，國內(nèi)芯片廠商長期來說還會處于分散的狀態(tài)，這種情況下，對不同國產(chǎn)芯片的支持就顯得比較重要。

有業(yè)內(nèi)人士曾向 AI 科技評論分析過，在海外像 Coreweave、Lambda Labs 這樣的小型云其實是有機會的，不過，現(xiàn)階段附加值有限，即便是 Coreweave 都有些像是英偉達的「白手套」。

另外，海外一切以 GPU 為核心，產(chǎn)業(yè)鏈的核心定價權(quán)都由能否拿到足夠多的卡來決定，以規(guī)模為核心。很多創(chuàng)業(yè)公司甚至沒法獲得「白手套」的身份，且做的也僅僅是資產(chǎn)租賃生意，有短期的紅利，但不是長期事業(yè)。

目前來看，海內(nèi)外走向兩個極端，海外被巨頭壟斷，而國內(nèi)則過于分散。國內(nèi)的芯片格局有些類似于「戰(zhàn)國時代」，各家都在爭奪技術(shù)高地。

一方面，芯片設(shè)計中不同的處理器架構(gòu)和指令集設(shè)計會直接影響芯片性能和效率，盡管大體上設(shè)計理念和架構(gòu)相近，但在具體實現(xiàn)和芯片制造過程中，各廠商的技術(shù)路線與細節(jié)處理上存在差異，這造成了芯片性能和兼容性等方面的區(qū)別。

另一方面，雖然在芯片設(shè)計及前端的 IC 設(shè)計環(huán)節(jié)已取得一定進展，但芯片生產(chǎn)制造以及配套軟件生態(tài)的建設(shè)相對較弱，尤其是軟件開發(fā)方面的投入相較于硬件設(shè)計來說還有待加強，這就導(dǎo)致了芯片碎片化問題較為嚴重。

據(jù) AI 科技評論了解，目前英偉達的軟件占比在 2: 1，而國內(nèi)甚至還不到 1: 2，因為國內(nèi)廠商主要還在跑產(chǎn)能，保證交貨量，軟件生態(tài)肯定相對來講要弱一些。

同時，國內(nèi)算力其實并非不夠，反而是太多了，問題關(guān)鍵在于「富裕但不匹配」，真正能用于大模型訓(xùn)練的集群不夠集中和規(guī)模化。

國內(nèi)有約十多萬張 A100 和 H100，但配有萬卡集群的只有頭部三四個玩家，這些卡中超半數(shù)屬于頭部大廠，但大廠卻因集群不是一個業(yè)務(wù)部門獨占，導(dǎo)致無法集中使用算力，而剩下一部分則分散在三五百家不同的中小型企業(yè)、園區(qū)及金融機構(gòu)中。

算力分散化導(dǎo)致大量算力未集中用于大模型訓(xùn)練，不僅造成了算力資源閑置，也限制了國產(chǎn)算力資源能力的發(fā)揮。

當(dāng)前業(yè)內(nèi)多有提及的 GPU 泡沫或者說算力通縮現(xiàn)象也是正在發(fā)生的事實，這種情況下，國內(nèi)大量自建算力中心自持資產(chǎn)則顯得不一定理智。

有業(yè)者曾向 AI 科技評論分析，由于 GPU 性能提升和迭代速度遠高于 CPU，所以 GPU 的整個貶值速度或者攤銷的時間必須更短，但國內(nèi)許多智算中心動輒 5 年、8 年時間攤銷，這種現(xiàn)象顯然不合理，CPU 最多也就 5 年攤銷。

這些問題也恰好為 AI Infra 創(chuàng)業(yè)帶來了空間——

無問芯穹是國內(nèi)少數(shù)選擇了異構(gòu)混訓(xùn)這條路徑的創(chuàng)企，主要通過異構(gòu)多種 GPU 卡來同時混訓(xùn)一個大模型，地方政府、大模型廠商和偏研究型的單位都有這方面需求。

在無問芯穹創(chuàng)始人夏立雪看來，「異構(gòu)混訓(xùn)的難點主要在于，不同能力、背景的員工怎樣一起做一個大任務(wù)，其中會存在 GPU 性能如何預(yù)測，任務(wù)怎樣拆分、分配讓硬件各司其職，同時，怎樣在通信上實現(xiàn)較好地協(xié)調(diào)以及打通通信庫等多種問題。」

據(jù)了解，目前，英偉達加上國產(chǎn)卡 1+1 混訓(xùn)，無問芯穹共有六種芯片，任意兩種都能組合訓(xùn)練，在百卡和千卡這個級別都已經(jīng)完成混訓(xùn)，整體效率達到 97.6%。

不過，GPU 異構(gòu)真的是長久之計嗎？長期來看這類解決方案究竟能走多遠呢？

業(yè)內(nèi)多有觀點認為，異構(gòu)是芯片產(chǎn)能不足現(xiàn)狀下的妥協(xié)。更甚者，有較為尖銳的聲音直指，「在異構(gòu)的或者在不同品牌的芯片上去做一個統(tǒng)一的訓(xùn)練平臺是個偽命題，是不存在且沒必要去做的方向?！?/p>

在實際的訓(xùn)練場景里，如若采用不同的芯片架構(gòu)去做異構(gòu)訓(xùn)練，其中的性能損耗較大，整體上來說效率和性價比均無法匹敵單一型號 GPU 的同構(gòu)集群，很難發(fā)揮硬件的底層算力性能。

即便都是英偉達的芯片，將 A100、H100 混用也會帶來每層之間的訓(xùn)練參數(shù)、能力之間的巨大差異，最后會導(dǎo)致這些 Bottleneck 影響到訓(xùn)練的效果。

因為訓(xùn)練是一個集中式的過程，其實有點像一個超級計算機，每一層的中間過程都會影響到性能發(fā)揮，所以在單一集群里混用多種芯片做訓(xùn)練實際上必要性不大。

從超算的更迭趨勢上來看，也不存在同一超算中心放不同型號加速卡的情況。所以，隨著國產(chǎn)芯片產(chǎn)能的提升，最終智算中心會回歸到以往比較偏同構(gòu)的基礎(chǔ)架構(gòu)里，因為單一方式是最高效的解決方案。

此外，推理更沒必要異構(gòu)，因為推理基本上把模型部署在單臺機器或者一個小集群上，即使是商業(yè)閉源模型也都部署在 16 卡、 32 卡的小集群上，因此，每個集群本身僅需保證集群內(nèi)卡型一致。

而如若能夠兼容多種不同類型的芯片，不同集群使用不同芯片跑，就可以將推理變成一個分布式的任務(wù)，這也是 PPIO 派歐云看好分布式推理的原因之一。

「在這個過程中更重要的事情就是調(diào)度，因為可能 A 集群性能最強，任務(wù)很快就處理完了，B 集群 Transformer 還在過程中，那下一個任務(wù)要優(yōu)先調(diào)給 A 還是 B，其實是任務(wù)調(diào)度和資源池化管理任務(wù)分配的話題。」PPIO 派歐云聯(lián)合創(chuàng)始人、CEO 姚欣曾向 AI 科技評論解釋。

超越云廠

過往，關(guān)于創(chuàng)業(yè) AI Infra 到底會不會和云廠產(chǎn)生正面沖突，也是被提及最多的疑問之一。二者看似存在諸多相似之處，那大家為何不選擇體系更為成熟的云廠呢？

對此，也有許多業(yè)者向 AI 科技評論表達了自己的見解。從結(jié)論中綜合看來，大部分觀點其實都指向與云廠相比存在差異，這也是創(chuàng)企有著同云廠友好協(xié)作空間的原因所在：

一是，云廠過去解決的問題跟現(xiàn)在要解決的問題并不完全相同，甚至是相對的兩個方向，云廠基本從資源池化和共享的角度切入，而當(dāng)前要解決的難題在于分布式的資源合并；

二是，云廠商都是做后端、做前端、網(wǎng)絡(luò)管理、調(diào)度的人才，AI 人才較為缺乏，事實上很難對國產(chǎn)芯片做適配。

但也有不同的聲音認為，「不管是美國的大模型公司，還是中國六小龍，其實都要建自己的基礎(chǔ)設(shè)施，不然就是被云廠服務(wù)，創(chuàng)業(yè)公司很難切到這部分蛋糕?！?/p>

總體上來看，如今，AI Infra 的重要性是不言而喻的。而在大模型的這一波浪潮中許多創(chuàng)企也正在摸索更合適的業(yè)務(wù)方向，正因為此，可以明顯感知到業(yè)內(nèi)的觀點在不斷碰撞摩擦。

火星四濺之下，無論是會否和通用大模型公司抑或是其他云大廠競爭，還是說一體機和異構(gòu)是否為長久之計，要解決的底層關(guān)鍵都是國產(chǎn)算力問題，而對于當(dāng)前階段而言，不管從哪個方向切入或許都會是調(diào)優(yōu)路上的有益嘗試。雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。