作者丨朱可軒

編輯丨陳彩嫻

時(shí)至今日，如果說(shuō)清華系撐起了中國(guó)大模型創(chuàng)業(yè)的半壁江山，那 AI Infra 這條賽道絕對(duì)是清華系「上陣師徒兵」的又一波創(chuàng)業(yè)豪賭：

媒體所實(shí)驗(yàn)室孵化的清昴智能、高性能計(jì)算機(jī)研究中心牽頭的清程極智、NICS-EFC 實(shí)驗(yàn)室孕育出的無(wú)問(wèn)芯穹......AI Infra 賽道的明星創(chuàng)企幾乎都來(lái)自清華各大實(shí)驗(yàn)室，而硅基流動(dòng)和潞晨科技的創(chuàng)始人袁進(jìn)輝和尤洋也均屬「清華代表隊(duì)」。

當(dāng)前，在這層創(chuàng)業(yè)要解決的問(wèn)題也比較明確，主要就是面向上下游，把各類模型同芯片深度適配，一方面減少算力資源閑置現(xiàn)象，另一方面則實(shí)現(xiàn)模型應(yīng)用的提速降本。

不過(guò)，作為中間層，模型、應(yīng)用和硬件層正處在瞬息萬(wàn)變之間，這意味著 AI Infra 的突破方向也在隨之調(diào)整，值此之際，該方向的創(chuàng)業(yè)也不斷面臨質(zhì)疑和些許陣痛，例如：

• 創(chuàng)業(yè)公司做 MaaS 平臺(tái)會(huì)不會(huì)面臨壓力？

• 訓(xùn)推一體機(jī)究竟是不是偽命題？

• 海內(nèi)外需要的基礎(chǔ)設(shè)施有何差異？

• 國(guó)產(chǎn)算力的軟件生態(tài)需要怎樣的突破口？

• 異構(gòu)混訓(xùn)是長(zhǎng)遠(yuǎn)方向嗎？

• ……

這些問(wèn)題的背后關(guān)系著創(chuàng)業(yè)最終能走多遠(yuǎn)，而不同的團(tuán)隊(duì)顯然有著不同的預(yù)判。

在這條尚處探索期的賽道中，孰對(duì)孰錯(cuò)還尚未可知，那么各家能否在此之中找尋到真正的商機(jī)呢？

推理究竟如何布局？

去年年底開(kāi)始，大模型的發(fā)展重心變開(kāi)始逐步從訓(xùn)練轉(zhuǎn)向推理，而繼 OpenAI 發(fā)布 o1 大模型后，大模型的 Scaling Law 從訓(xùn)練轉(zhuǎn)向推理的趨勢(shì)也更加明顯。

不過(guò)，在業(yè)內(nèi)看來(lái)，目前哪怕是 o1 這種閉源模型，半年后，其能力也能被開(kāi)源模型陸續(xù)趕上。而隨著模型的能力逐漸達(dá)到相對(duì)滿意的程度，訓(xùn)練廠商減少和萎縮是必然發(fā)生的趨勢(shì)，此后，應(yīng)用落地才是箭在弦上的問(wèn)題，而其中最關(guān)鍵的核心便是推理成本。

推理需求爆發(fā)是必然趨勢(shì)，據(jù)預(yù)測(cè)，整個(gè)推理成本未來(lái)三年，每年都做到十倍降本是可行且會(huì)發(fā)生的事情。當(dāng)前，推理優(yōu)化部署無(wú)疑成為讓大模型好用的關(guān)鍵一環(huán)，隨之而來(lái)的還有巨大的算力缺口。

不過(guò)，盡管海內(nèi)外 AI Infra 創(chuàng)企都看到了推理側(cè)的機(jī)遇，在具體布局上卻有著些許分歧，比如在打造 MaaS 平臺(tái)這一趨向上。

由于模型每天的調(diào)用量是海量的，如果不優(yōu)化一年將花費(fèi)巨大，所以應(yīng)用方要實(shí)際用起來(lái)的話，還是需要找可靠性較高的彈性服務(wù)，通過(guò)在底層更快部署來(lái)合理運(yùn)用算力以節(jié)省成本，創(chuàng)業(yè)的價(jià)值也在于此。

簡(jiǎn)單來(lái)講，MaaS 這條路徑的思維就是將模型要部署到云上，過(guò)程中平臺(tái)不訓(xùn)練模型，而是變成 API 再集成，只負(fù)責(zé)最終的工程化實(shí)現(xiàn)，更多地專注在計(jì)算調(diào)度方面，主打提高成本、穩(wěn)定性、可用性。

不過(guò)，對(duì)此，潞晨科技創(chuàng)始人尤洋曾向 AI 科技評(píng)論表達(dá)過(guò)些許顧慮。在他的觀點(diǎn)中，通過(guò) MaaS 平臺(tái)賣(mài)大模型 API 實(shí)際上是在和通用大模型公司競(jìng)爭(zhēng)，創(chuàng)業(yè)公司將很難吃到「蛋糕」。

于是，潞晨入局了視頻大模型，除了年初發(fā)布全面開(kāi)源的 Open-Sora 外，今年 10 月，其還發(fā)布了 Video Ocean 視頻大模型，正式走向商業(yè)化。尤洋堅(jiān)持認(rèn)為，如果不做自己的優(yōu)質(zhì)大模型，推理平臺(tái)上沒(méi)有優(yōu)質(zhì)資源。

這步棋下得和 Together.AI 其實(shí)有些異曲同工之妙，去年 5 月， Together.AI 也曾發(fā)布過(guò)類 ChatGPT 開(kāi)源模型 RedPajama-INCITE。

目前，從海外各家廠商的情況來(lái)看，他們似乎對(duì)于做 MaaS 的壓力也有些許感觸。Lepton.AI、Fireworks 都在布局 Together.AI、CoreWeave 的方向，而后者的核心收入基本都是 IaaS 收入。

有知情人士向 AI 科技評(píng)論透露，F(xiàn)ireworks 比較猶豫，之前說(shuō)要做 MaaS 平臺(tái)，現(xiàn)在估計(jì)覺(jué)得這種方式會(huì)直接和 ChatGPT、Anthropic 競(jìng)爭(zhēng)，壓力對(duì)于基礎(chǔ)設(shè)施公司來(lái)講太大了。

而 Lepton.AI 最開(kāi)始主要聚焦的其實(shí)是 PaaS 和 MaaS，今年 5 月，其新上線了 FastGPU，這時(shí)旗下的 IaaS 業(yè)務(wù)才逐步開(kāi)始入場(chǎng)。

「推理平臺(tái)要和 ChatGPT 競(jìng)爭(zhēng)很難，因?yàn)檫@類平臺(tái)的優(yōu)質(zhì)資源是模型本身，而訓(xùn)練微調(diào)平臺(tái)只需要和 CoreWeave、Lambda Labs 競(jìng)爭(zhēng)，并且作為優(yōu)質(zhì)資源的 GPU 肯定能買(mǎi)到?！箻I(yè)內(nèi)人士曾向 AI 科技評(píng)論分析。

值得一提的是，據(jù) AI 科技評(píng)論了解，Together.AI 同 Lepton.AI 和 Fireworks 相比完全是自己的 GPU，這種方式相較于使用他人的硬件和云，然后在上層疊加模型服務(wù)部分，利潤(rùn)空間其實(shí)會(huì)更大。

除此之外，一位 AI Infra 創(chuàng)業(yè)者也曾告訴 AI 科技評(píng)論，在 AI Infra 這一層創(chuàng)業(yè)，其實(shí)硬件也要自己做，光做軟件長(zhǎng)期可能站不住，技術(shù)再好也不能沒(méi)有底層基礎(chǔ)設(shè)施。

從布局上來(lái)看，無(wú)問(wèn)芯穹也有著相似的感知：

今年來(lái)，無(wú)問(wèn)芯穹開(kāi)始布局端側(cè)大模型推理處理器 LPU，計(jì)劃以 IP 的形式和合作伙伴做聯(lián)合芯片發(fā)布，并在明年開(kāi)始落地嘗試。

在無(wú)問(wèn)芯穹的思考中，大模型作為一個(gè)人機(jī)交互的接口，本身非常大，所以對(duì)于端上這部分的場(chǎng)景有很大的需求量，而固化到硬件層面也有很強(qiáng)烈的需求。所以在端上的大模型推理，大模型落地的硬件是一定會(huì)被大量需求的。

「無(wú)問(wèn)芯穹如果能把自己的推理卡做好，有這樣的背景，就可以通過(guò)芯片層去變現(xiàn)，感覺(jué)這是他們?cè)谒伎嫉氖虑??！箻I(yè)內(nèi)人士在和 AI 科技評(píng)論交談時(shí)曾有提及。

不過(guò)，和前述顧慮相比，部分創(chuàng)業(yè)者的想法還是偏向樂(lè)觀的。他們認(rèn)為，除了自身并不局限于 MaaS 這一種形式外，就算是做 MaaS 和通用大模型公司有競(jìng)爭(zhēng)也是實(shí)屬正常。

從當(dāng)前情況來(lái)看，即使 OpenAI 一年創(chuàng)收十幾億美金，但大模型應(yīng)用的需求依舊處于非常初期的階段，未來(lái)，大模型應(yīng)用必然會(huì)起量，大模型將無(wú)處不在，形成非?；A(chǔ)的能力，成本也會(huì)降得很低。

待到那時(shí)，跑大模型或者 AIGC 推理需要的將會(huì)是百萬(wàn)甚至千萬(wàn)張，就像每人一部手機(jī)的時(shí)代，需求量會(huì)變得非常巨大。而這樣一個(gè)足夠大的市場(chǎng)之中，同一個(gè)細(xì)分市場(chǎng)也能容下好幾家廠商。

除了云平臺(tái)外，私有化部署在國(guó)內(nèi)呼聲也逐日走高。

在這一趨勢(shì)的洞察之下，硅基流動(dòng)、潞晨科技和清昴智能紛紛選擇了訓(xùn)推一體機(jī)的交付路徑，這也和當(dāng)前市場(chǎng)內(nèi)大多數(shù)頭部玩家的走向一致。

從尤洋的判斷中看，潞晨科技布局訓(xùn)推一體機(jī)主要針對(duì)的是 Post-training（后訓(xùn)練）這一層，面向的大部分傳統(tǒng)行業(yè)客戶目前并沒(méi)有采用大規(guī)模集群，最多買(mǎi)了千卡。

但并非所有玩家都做此選擇，也有觀點(diǎn)認(rèn)為，訓(xùn)推一體機(jī)為了兼顧訓(xùn)練和推理，可能會(huì)出現(xiàn)顧此失彼的情況，這不會(huì)是長(zhǎng)期走向。

清程極智創(chuàng)始人湯雄超就覺(jué)得，訓(xùn)推一體機(jī)實(shí)際上并不契合訓(xùn)練的算力需求，「訓(xùn)練和推理兩種業(yè)務(wù)間區(qū)別較大，很難想象一個(gè)較小的一體機(jī)能承載大的訓(xùn)練業(yè)務(wù)，現(xiàn)在大模型預(yù)訓(xùn)練可能都是萬(wàn)卡以上的規(guī)模，只能在大規(guī)模智算集群上完成?！?/p>

需要關(guān)注的是，面向推理，端側(cè)對(duì)于中間層而言也有著很大的想象空間。

除了前文提到過(guò)的無(wú)問(wèn)芯穹外，清昴智能也已有所布局，與許多同行從云切入有所不同，其最初便從端側(cè)切入，也曾和手機(jī)上的高通、驍龍芯片，寒武紀(jì)、比特大陸等都進(jìn)行過(guò)適配。

當(dāng)前，手機(jī)、電腦、車(chē)均開(kāi)始逐步有了落地場(chǎng)景，但卻存在因模型太大而放不到端側(cè)的情況，這時(shí)就需要把大模型變成 1B、7B 的小模型。 

中國(guó)比美國(guó)應(yīng)用場(chǎng)景更多，而端側(cè)把性能、成本、功耗做到極致則非常關(guān)鍵。未來(lái)，端側(cè)軟件的作用也會(huì)愈發(fā)凸顯。

夾縫中能否覓得商機(jī)？

在海外，軟件層創(chuàng)業(yè)似乎相對(duì)國(guó)內(nèi)更容易：首先，海外市場(chǎng)有一套成熟的訂閱軟件付費(fèi)方法，其次，由于英偉達(dá)統(tǒng)一了市場(chǎng)，基于英偉達(dá)去做會(huì)更簡(jiǎn)單。

中美市場(chǎng)存在些許差異，在應(yīng)用的多樣性上雙方是類似的，都要去支持不同應(yīng)用，比較大的區(qū)別在于對(duì)底層芯片的支持，海外主要由英偉達(dá)和 AMD 瓜分天下，需要適配的芯片較少，創(chuàng)業(yè)可能相對(duì)國(guó)內(nèi)好做。

不過(guò)，從另外一個(gè)角度來(lái)看，海外市場(chǎng)反而也會(huì)因?yàn)橛芯揞^的存在，必要性不太強(qiáng)，國(guó)內(nèi)芯片廠商長(zhǎng)期來(lái)說(shuō)還會(huì)處于分散的狀態(tài)，這種情況下，對(duì)不同國(guó)產(chǎn)芯片的支持就顯得比較重要。

有業(yè)內(nèi)人士曾向 AI 科技評(píng)論分析過(guò)，在海外像 Coreweave、Lambda Labs 這樣的小型云其實(shí)是有機(jī)會(huì)的，不過(guò)，現(xiàn)階段附加值有限，即便是 Coreweave 都有些像是英偉達(dá)的「白手套」。

另外，海外一切以 GPU 為核心，產(chǎn)業(yè)鏈的核心定價(jià)權(quán)都由能否拿到足夠多的卡來(lái)決定，以規(guī)模為核心。很多創(chuàng)業(yè)公司甚至沒(méi)法獲得「白手套」的身份，且做的也僅僅是資產(chǎn)租賃生意，有短期的紅利，但不是長(zhǎng)期事業(yè)。

目前來(lái)看，海內(nèi)外走向兩個(gè)極端，海外被巨頭壟斷，而國(guó)內(nèi)則過(guò)于分散。國(guó)內(nèi)的芯片格局有些類似于「戰(zhàn)國(guó)時(shí)代」，各家都在爭(zhēng)奪技術(shù)高地。

一方面，芯片設(shè)計(jì)中不同的處理器架構(gòu)和指令集設(shè)計(jì)會(huì)直接影響芯片性能和效率，盡管大體上設(shè)計(jì)理念和架構(gòu)相近，但在具體實(shí)現(xiàn)和芯片制造過(guò)程中，各廠商的技術(shù)路線與細(xì)節(jié)處理上存在差異，這造成了芯片性能和兼容性等方面的區(qū)別。

另一方面，雖然在芯片設(shè)計(jì)及前端的 IC 設(shè)計(jì)環(huán)節(jié)已取得一定進(jìn)展，但芯片生產(chǎn)制造以及配套軟件生態(tài)的建設(shè)相對(duì)較弱，尤其是軟件開(kāi)發(fā)方面的投入相較于硬件設(shè)計(jì)來(lái)說(shuō)還有待加強(qiáng)，這就導(dǎo)致了芯片碎片化問(wèn)題較為嚴(yán)重。

據(jù) AI 科技評(píng)論了解，目前英偉達(dá)的軟件占比在 2: 1，而國(guó)內(nèi)甚至還不到 1: 2，因?yàn)閲?guó)內(nèi)廠商主要還在跑產(chǎn)能，保證交貨量，軟件生態(tài)肯定相對(duì)來(lái)講要弱一些。

同時(shí)，國(guó)內(nèi)算力其實(shí)并非不夠，反而是太多了，問(wèn)題關(guān)鍵在于「富裕但不匹配」，真正能用于大模型訓(xùn)練的集群不夠集中和規(guī)?；?。

國(guó)內(nèi)有約十多萬(wàn)張 A100 和 H100，但配有萬(wàn)卡集群的只有頭部三四個(gè)玩家，這些卡中超半數(shù)屬于頭部大廠，但大廠卻因集群不是一個(gè)業(yè)務(wù)部門(mén)獨(dú)占，導(dǎo)致無(wú)法集中使用算力，而剩下一部分則分散在三五百家不同的中小型企業(yè)、園區(qū)及金融機(jī)構(gòu)中。

算力分散化導(dǎo)致大量算力未集中用于大模型訓(xùn)練，不僅造成了算力資源閑置，也限制了國(guó)產(chǎn)算力資源能力的發(fā)揮。

當(dāng)前業(yè)內(nèi)多有提及的 GPU 泡沫或者說(shuō)算力通縮現(xiàn)象也是正在發(fā)生的事實(shí)，這種情況下，國(guó)內(nèi)大量自建算力中心自持資產(chǎn)則顯得不一定理智。

有業(yè)者曾向 AI 科技評(píng)論分析，由于 GPU 性能提升和迭代速度遠(yuǎn)高于 CPU，所以 GPU 的整個(gè)貶值速度或者攤銷(xiāo)的時(shí)間必須更短，但國(guó)內(nèi)許多智算中心動(dòng)輒 5 年、8 年時(shí)間攤銷(xiāo)，這種現(xiàn)象顯然不合理，CPU 最多也就 5 年攤銷(xiāo)。

這些問(wèn)題也恰好為 AI Infra 創(chuàng)業(yè)帶來(lái)了空間——

無(wú)問(wèn)芯穹是國(guó)內(nèi)少數(shù)選擇了異構(gòu)混訓(xùn)這條路徑的創(chuàng)企，主要通過(guò)異構(gòu)多種 GPU 卡來(lái)同時(shí)混訓(xùn)一個(gè)大模型，地方政府、大模型廠商和偏研究型的單位都有這方面需求。

在無(wú)問(wèn)芯穹創(chuàng)始人夏立雪看來(lái)，「異構(gòu)混訓(xùn)的難點(diǎn)主要在于，不同能力、背景的員工怎樣一起做一個(gè)大任務(wù)，其中會(huì)存在 GPU 性能如何預(yù)測(cè)，任務(wù)怎樣拆分、分配讓硬件各司其職，同時(shí)，怎樣在通信上實(shí)現(xiàn)較好地協(xié)調(diào)以及打通通信庫(kù)等多種問(wèn)題。」

據(jù)了解，目前，英偉達(dá)加上國(guó)產(chǎn)卡 1+1 混訓(xùn)，無(wú)問(wèn)芯穹共有六種芯片，任意兩種都能組合訓(xùn)練，在百卡和千卡這個(gè)級(jí)別都已經(jīng)完成混訓(xùn)，整體效率達(dá)到 97.6%。

不過(guò)，GPU 異構(gòu)真的是長(zhǎng)久之計(jì)嗎？長(zhǎng)期來(lái)看這類解決方案究竟能走多遠(yuǎn)呢？

業(yè)內(nèi)多有觀點(diǎn)認(rèn)為，異構(gòu)是芯片產(chǎn)能不足現(xiàn)狀下的妥協(xié)。更甚者，有較為尖銳的聲音直指，「在異構(gòu)的或者在不同品牌的芯片上去做一個(gè)統(tǒng)一的訓(xùn)練平臺(tái)是個(gè)偽命題，是不存在且沒(méi)必要去做的方向。」

在實(shí)際的訓(xùn)練場(chǎng)景里，如若采用不同的芯片架構(gòu)去做異構(gòu)訓(xùn)練，其中的性能損耗較大，整體上來(lái)說(shuō)效率和性價(jià)比均無(wú)法匹敵單一型號(hào) GPU 的同構(gòu)集群，很難發(fā)揮硬件的底層算力性能。

即便都是英偉達(dá)的芯片，將 A100、H100 混用也會(huì)帶來(lái)每層之間的訓(xùn)練參數(shù)、能力之間的巨大差異，最后會(huì)導(dǎo)致這些 Bottleneck 影響到訓(xùn)練的效果。

因?yàn)橛?xùn)練是一個(gè)集中式的過(guò)程，其實(shí)有點(diǎn)像一個(gè)超級(jí)計(jì)算機(jī)，每一層的中間過(guò)程都會(huì)影響到性能發(fā)揮，所以在單一集群里混用多種芯片做訓(xùn)練實(shí)際上必要性不大。

從超算的更迭趨勢(shì)上來(lái)看，也不存在同一超算中心放不同型號(hào)加速卡的情況。所以，隨著國(guó)產(chǎn)芯片產(chǎn)能的提升，最終智算中心會(huì)回歸到以往比較偏同構(gòu)的基礎(chǔ)架構(gòu)里，因?yàn)閱我环绞绞亲罡咝У慕鉀Q方案。

此外，推理更沒(méi)必要異構(gòu)，因?yàn)橥评砘旧习涯Ｐ筒渴鹪趩闻_(tái)機(jī)器或者一個(gè)小集群上，即使是商業(yè)閉源模型也都部署在 16 卡、 32 卡的小集群上，因此，每個(gè)集群本身僅需保證集群內(nèi)卡型一致。

而如若能夠兼容多種不同類型的芯片，不同集群使用不同芯片跑，就可以將推理變成一個(gè)分布式的任務(wù)，這也是 PPIO 派歐云看好分布式推理的原因之一。

「在這個(gè)過(guò)程中更重要的事情就是調(diào)度，因?yàn)榭赡?A 集群性能最強(qiáng)，任務(wù)很快就處理完了，B 集群 Transformer 還在過(guò)程中，那下一個(gè)任務(wù)要優(yōu)先調(diào)給 A 還是 B，其實(shí)是任務(wù)調(diào)度和資源池化管理任務(wù)分配的話題?！筆PIO 派歐云聯(lián)合創(chuàng)始人、CEO 姚欣曾向 AI 科技評(píng)論解釋。

超越云廠

過(guò)往，關(guān)于創(chuàng)業(yè) AI Infra 到底會(huì)不會(huì)和云廠產(chǎn)生正面沖突，也是被提及最多的疑問(wèn)之一。二者看似存在諸多相似之處，那大家為何不選擇體系更為成熟的云廠呢？

對(duì)此，也有許多業(yè)者向 AI 科技評(píng)論表達(dá)了自己的見(jiàn)解。從結(jié)論中綜合看來(lái)，大部分觀點(diǎn)其實(shí)都指向與云廠相比存在差異，這也是創(chuàng)企有著同云廠友好協(xié)作空間的原因所在：

一是，云廠過(guò)去解決的問(wèn)題跟現(xiàn)在要解決的問(wèn)題并不完全相同，甚至是相對(duì)的兩個(gè)方向，云廠基本從資源池化和共享的角度切入，而當(dāng)前要解決的難題在于分布式的資源合并；

二是，云廠商都是做后端、做前端、網(wǎng)絡(luò)管理、調(diào)度的人才，AI 人才較為缺乏，事實(shí)上很難對(duì)國(guó)產(chǎn)芯片做適配。

但也有不同的聲音認(rèn)為，「不管是美國(guó)的大模型公司，還是中國(guó)六小龍，其實(shí)都要建自己的基礎(chǔ)設(shè)施，不然就是被云廠服務(wù)，創(chuàng)業(yè)公司很難切到這部分蛋糕?！?/p>

總體上來(lái)看，如今，AI Infra 的重要性是不言而喻的。而在大模型的這一波浪潮中許多創(chuàng)企也正在摸索更合適的業(yè)務(wù)方向，正因?yàn)榇?，可以明顯感知到業(yè)內(nèi)的觀點(diǎn)在不斷碰撞摩擦。

火星四濺之下，無(wú)論是會(huì)否和通用大模型公司抑或是其他云大廠競(jìng)爭(zhēng)，還是說(shuō)一體機(jī)和異構(gòu)是否為長(zhǎng)久之計(jì)，要解決的底層關(guān)鍵都是國(guó)產(chǎn)算力問(wèn)題，而對(duì)于當(dāng)前階段而言，不管從哪個(gè)方向切入或許都會(huì)是調(diào)優(yōu)路上的有益嘗試。雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。