作者｜朱可軒

編輯｜陳彩嫻

 

作為2020年全球高性能計算領(lǐng)域在Google Scholar上引用次數(shù)最高的博士畢業(yè)生，尤洋曾被 UC Berkeley提名為ACM Doctoral Dissertation Award 候選人（81名UC Berkeley EECS 2020博士畢業(yè)生中選2人）。

同時，他也是世界上唯一一位 35 歲以下在 4 個頂會（AAAI, ACL, IPDPS, ICPP）上以領(lǐng)導(dǎo)者的身份（第一作者或通訊作者）獲得 Best Paper/Distinguished Paper 的人。

2021 年 7月，尤洋創(chuàng)立潞晨科技，轉(zhuǎn)眼間，已經(jīng)走進(jìn)第三個年頭。而經(jīng)過三年時間的沉淀，投資機(jī)構(gòu)對潞晨的估值增長了40 倍。

在向 AI 科技評論談起商業(yè)上的目標(biāo)時，尤洋表示，“我們要把潞晨的市值做到 200 億到 300 億這個量級，然后上市。目標(biāo)非常量化也很明確，就是達(dá)到 20 億的收入?！?/p>

回望這些年，為了適應(yīng) AI 時代對于基礎(chǔ)設(shè)施的需求，潞晨在戰(zhàn)略上也進(jìn)行了許多調(diào)整。

隨著大模型的發(fā)展重心由 Pre-training 逐漸轉(zhuǎn)向 Post-training 和 Inference，去年年底，潞晨正式開始布局訓(xùn)推一體機(jī)。

同一時間段里，尤洋和團(tuán)隊也意識到了雖然作為基礎(chǔ)設(shè)施中間層的公司，但自身也是需要有一定模型能力的。于是，今年6 月，潞晨自研并發(fā)布了全球首個開源類 Sora 架構(gòu)視頻生成模型 Open-Sora。

談及這方面的布局，在尤洋看來，“如果不去做一個自己的優(yōu)質(zhì)大模型的話，那推理平臺上其實是沒有優(yōu)質(zhì)資源的。”這也是潞晨有競爭力的點所在。

不過，最關(guān)鍵的原因還是在于，“視頻大模型還處在 GPT-1 時期，而發(fā)展到 GPT-4 之時，對算力的需求要求會是最高的，這是 AI 基礎(chǔ)設(shè)施公司最容易產(chǎn)生大價值的方向之一?！庇妊筮@樣向 AI 科技評論解釋。

視頻大模型和訓(xùn)推一體機(jī)是潞晨目前在推理方面的兩塊重點布局方向。而在把 Open-Sora 做成一個爆款之前，由于還是需要依賴開源模型，訓(xùn)推一體機(jī)則是潞晨的首要發(fā)力點。

除此之外，“生態(tài)”是尤洋對外多次提到的核心關(guān)鍵詞。他堅持認(rèn)為，“AI Infra 創(chuàng)業(yè)公司的長期壁壘就是在于生態(tài)，如若連生態(tài)都沒有，將會很難與巨頭對抗或是共存。”

目前，潞晨是世界上唯一一家有自己獨立開源生態(tài)的 AI Infra 創(chuàng)業(yè)公司，開源社區(qū)大概有 4 萬到 10 萬這個量級的開發(fā)者在深度使用潞晨的產(chǎn)品。

以下是 AI 科技評論與尤洋的訪談實錄，作者進(jìn)行了不改原意的編輯整理：

 

長期壁壘在于生態(tài) 

AI 科技評論：潞晨成立至今已經(jīng)有三年了，創(chuàng)業(yè)這三年來，您覺得和做學(xué)術(shù)相比會不會更艱辛？有什么心得體會可以分享一下嗎？

尤洋：我覺得要成為楊振寧還是馬云，其實二者可能不能直接相比，他們的成功都不會太容易，這是我的一個基礎(chǔ)看法。對于我個人而言，我現(xiàn)在還年輕，今年才 33 歲，所以還是有很大探索空間的。

我目前沒有感覺到難度，當(dāng)然我不是說我很厲害，我的意思我給自己定了一個比較合理的目標(biāo)，如果我要是現(xiàn)在就想五年之內(nèi)拿諾貝爾獎，這簡直天方夜譚，或者我五年之內(nèi)把公司做到英偉達(dá)那樣的市值，也不太可能。

其實我覺得這個東西難易還是分人，當(dāng)然首先是每個人基于自己的水平狀態(tài)設(shè)一個合理的目標(biāo)，由于我設(shè)的目標(biāo)還算合理，所以我現(xiàn)在倒沒有感覺到太艱辛。當(dāng)然有很多人的 Google Scholar 引用數(shù)比我多很多，還有一些人公司的市值，比如說國內(nèi)這幾家大模型公司肯定都比我們高，我覺得還是給自己一個合理的定位。

而我目前的定位，學(xué)術(shù)方面就是做出有影響力的工作，商業(yè)方面就是要把潞晨的市值做到 200 億到 300 億這個量級，然后上市，我們的目標(biāo)非常量化也很明確，就是達(dá)到 20 億的收入。

 

尤洋

AI 科技評論：看到官網(wǎng)介紹，潞晨在 GitHub Trending 開源社區(qū)熱度榜世界第一。Colossal-AI 和 Open-Sora 均多次登上 Github 全球榜單第一，目前你們開源社區(qū)的開發(fā)者大概有多少呢？

尤洋：我們開源社區(qū)的開發(fā)者大概有 4 萬到 10 萬這個量級在深度使用。

Github有周榜和日榜，我們好像上過三次周榜，七八次日榜，就相當(dāng)于如果上了日榜的話，今天就是全世界最受關(guān)注的開源項目。當(dāng)然我不能說我的產(chǎn)品是世界第一，我覺得在大模型訓(xùn)推軟件方面，Pytorch 肯定是毋庸置疑的世界第一，我覺得我們是除了Pytorch之外比較有影響力的，當(dāng)然跟 Pytorch 差距還是很大。

 

AI 科技評論：開發(fā)者使用潞晨的產(chǎn)品有遇到過什么難題嗎？你們是怎樣解決的？

尤洋：我們的開發(fā)者大體而言，第一類是偏科普，第二類就是平衡定制化需求是不是足夠通用。

首先，因為好多人是不斷切到大模型這個賽道里的，他們沒有相關(guān)背景知識，使用之時如果連背景知識都沒有，就像是我們做的是專業(yè)挖金子的東西，他連這些金子在哪的基本常識都沒有，那他們肯定會遇到一些困難，所以我們需要做一些科普型工作。

然后，對于專業(yè)的開發(fā)者而言，他們也用過 DeepSpeed、Megatron，甚至想自己寫框架，這種深度使用者往往有一些偏定制化的需求，這一點我們需要權(quán)衡一下，因為我們是通用的工具，我們可能為了一些用戶把它改成一個特別小眾的工具。這兩類用戶都可能給我們提出一些很有效的建議，我們進(jìn)一步改進(jìn)。

 

AI 科技評論：開源社區(qū)應(yīng)該是潞晨比較重視的部分。

尤洋：我覺得 AI Infra 創(chuàng)業(yè)公司的長期壁壘就是在于生態(tài)。

這一波 AI 可能才兩三年，還看不出究竟誰能夠成下一個巨頭，那可以看一下上一波的 AI 基礎(chǔ)設(shè)施公司，其實就是大數(shù)據(jù)，從 2010 年到 2020 年這十年之間可能最成功的就是 Databricks、Snowflake，他們的策略還是要跟用戶生態(tài)去綁定。

這就是為什么 Databricks 要構(gòu)建它的 Spark 生態(tài)，也是做了一個很大的開源社區(qū)，然后前兩年是主要培養(yǎng)開發(fā)者，開發(fā)者逐漸融入到各個行業(yè)之后，給他真正帶來一些客戶、收益，才能不斷把這個做起來。

否則如果作為基礎(chǔ)設(shè)施公司連生態(tài)都沒有，就很難跟大廠去對抗或者共存。確實 AWS 也嘗試做著開源生態(tài)，但是大廠也不一定很擅長，這也是他們允許類似于 Databricks 這樣的公司分一杯羹的原因所在，當(dāng)然他們是共享營收的。

我們在海外市場的競爭優(yōu)勢也是在生態(tài)上，我們是世界上唯一一家有自己獨立開源生態(tài)的 AI Infra 創(chuàng)業(yè)公司，這一部分用戶是我們的忠實用戶。

 

AI 科技評論：那潞晨現(xiàn)在會和云廠有競爭嗎？

尤洋：我們和云廠沒有競爭關(guān)系，尤其是在中國就更沒有了。我可以說一下中國的實際情況，就是中國的云廠商實際上沒有高端算力，因為要比較嚴(yán)格遵守美國制裁。而我們現(xiàn)在做的主要是把中國民間已有的合法高端算力，聚集起來形成一個塊，或者在廠商內(nèi)部提供服務(wù)，意思就是廠商內(nèi)部可能買了A100、H100，我們進(jìn)一步給他們服務(wù)。

 

AI 科技評論：你們現(xiàn)在的重心實際上也不是大模型公司。

尤洋：我們是有跟大模型公司合作的，但是目前更多的是跟一些微調(diào)的公司在合作。

我可以解釋一下 Pre-training、 Post-training 和 Inference，我覺得 Pre-training 的話肯定是大模型公司比較喜歡做的，但是他們由于融資額比較高，就像我沒聽說過 Together.AI、 Lambda Labs 有機(jī)會去服務(wù) OpenAI，要想服務(wù) OpenAI，必須得像微軟這樣的體量?；蛘呦耨R斯克的大模型公司，不要供應(yīng)商，自己弄了 10 萬卡集群。

不管是美國的大模型公司，還是中國的大模型六小龍，他們要自己去建自己的基礎(chǔ)設(shè)施，不然就是被大型云廠服務(wù)，創(chuàng)業(yè)公司根本切不到這一塊蛋糕。我們也收到了一些大模型公司的客戶，但并不把他們定為我們的戰(zhàn)略重要目標(biāo)，只是通過跟他們合作看看有沒有需要我們補(bǔ)的技術(shù)點。

我們目前收到的收入，主要來源于一些 Post-training，就是預(yù)訓(xùn)練之后的 training 階段的公司，比如說車廠、藥廠、石油公司、金融機(jī)構(gòu)。他們有數(shù)據(jù)隱私的需求，然后又沒有大規(guī)模集群，可能最多買了千卡，但他們對效率要求也很高，實際上也是在做內(nèi)部業(yè)務(wù)的大模型的。

 

推理層面的價值點

AI 科技評論：潞晨現(xiàn)在自己也入局了大模型，發(fā)布了類 Sora 架構(gòu)視頻生成模型 Open-Sora，國內(nèi)其他 AI Infra 的廠商好像都沒有下這一步棋。你們的初衷為何呢？

尤洋：因為未來兩三年視頻生成大模型發(fā)展空間是最大的，對算力的需求也是最高的。當(dāng)然，我的意思是如果視頻大模型也發(fā)展到 GPT-4 這個層面，今天 OpenAI 說視頻大模型只是在 GPT-1 的階段。

當(dāng)前，視頻大模型還很小。比如說，我想生成一個 720P 清晰度的視頻，并且還是用不大的模型的話，就需要一臺機(jī)器八卡，大概 1 到 4 分鐘才能生成。由此可見，這種級別的擴(kuò)展對 AI 基礎(chǔ)設(shè)施功力的優(yōu)化是需求最高的。

第二個原因是我們在實際服務(wù)的客戶里面，也真實遇到了一些客戶有這樣的訴求，他們確實是希望基礎(chǔ)設(shè)施廠商能提供一個很好的視頻大模型模板，方便他們在行業(yè)落地。

其實可以看一下目前做基礎(chǔ)設(shè)施最好的公司，Together.AI 是不錯的 AI 基礎(chǔ)設(shè)施公司，他們通過服務(wù)視頻大模型公司 Pika 積累了很多寶貴的產(chǎn)品經(jīng)驗，同時收獲了營收，基本相當(dāng)于做了視頻大模型布局。然后 Lambda Labs 平臺上的樂高是基于潞晨 Open-Sora 做的，他們也在做類似的布局。

但歸根到底，我們做這塊的初衷還是覺得視頻大模型對算力的需求要求比較高，這是 AI 基礎(chǔ)設(shè)施公司最容易產(chǎn)生大的價值的一個方向。

為什么我相信視頻大模型比LLM更可能有長期scaling law？因為視頻大模型的訓(xùn)練數(shù)據(jù)就是客觀世界的真實寫照，數(shù)據(jù)的最終制造者是造物主，大模型完全可以發(fā)現(xiàn)其內(nèi)在的規(guī)律。LLM的訓(xùn)練數(shù)據(jù)是互聯(lián)網(wǎng)和書籍，數(shù)據(jù)制造者的水平參差不齊，而且有很多歧義和垃圾信息。

每個人從出生開始，并不是每時每刻都在閱讀文字，但無時無刻不在接受視頻輸入，甚至文字本身也可以作為視覺輸入。在嬰幼兒時期，人類不識字卻能發(fā)展出智能，這都說明了視覺信號本身足以scale。且視覺中的各式各樣的物理規(guī)律，也需要scale到一定規(guī)模才有可能精確掌握。

 

AI 科技評論：那 Open-Sora 和目前市面上其他采用 Diffusion Transformer(DiT) 架構(gòu)的視頻生成模型相比，差異化優(yōu)勢具體體現(xiàn)在何處？

尤洋：我們的最大優(yōu)勢在于 id 一致性。

有一些商業(yè)客戶在用我們的 feature，雖然沒發(fā)到 Open-Sora 里，因為可能短時間內(nèi)真的能夠變現(xiàn)的話，就是面向視頻制作者、電影制片人等等，這種情況下，里面人物的一致性還是比較關(guān)鍵的。

比如說，我能不能在我導(dǎo)師女兒生日的時候，給她生成一個專屬的小電影，我們的 Open-Sora 在內(nèi)容上就是強(qiáng)調(diào) id 一致性的，這塊我們也下了很多功夫，雖然沒有開放。

近期，我們也打算把它拿到我們商業(yè)化產(chǎn)品里，在商業(yè)化產(chǎn)品發(fā)布以后，再看看是不是有必要開源，發(fā)布時間大概在國慶節(jié)前后。

 

AI 科技評論：這也是你們在推理這一塊的發(fā)力點之一。能否詳細(xì)介紹一下潞晨的整體推理布局呢？

尤洋：現(xiàn)在我們其實做了很多推理方案。

第一，就是要把我們的視頻大模型做好，要上線、有服務(wù)，這對我們的鍛煉價值還是非常高的，確實真正有人在用，我們也會努力把視頻大模型的推理速度優(yōu)化到極致。

第二，我個人對于 AI Infra 創(chuàng)業(yè)公司做 MaaS 去賣開源模型的 API 有一些顧慮。最開始其實我們也想過這條路，是特別美好，但是這塊蛋糕普通人拿不到。比如說，作為 AI 開發(fā)者到底是調(diào)這類平臺的API，還是調(diào)月之暗面、智譜、DeepSeek 的API，DeepSeek、通義千問都有自己的 MaaS，感覺這種方式相當(dāng)于在和通用大模型公司競爭。并且，如果不去做一個自己的優(yōu)質(zhì)大模型的話，那推理平臺上其實是沒有優(yōu)質(zhì)資源的。

現(xiàn)在最核心的就是這一塊，大模型還在能不能進(jìn)入別人的生產(chǎn)環(huán)節(jié)之中被討論之時，價格和速度是次要的，最重要的是能不能真正產(chǎn)生智能效果，內(nèi)容生成質(zhì)量到底如何，現(xiàn)在做推理 MaaS 最核心的是有沒有優(yōu)質(zhì)資源，這也是現(xiàn)在只有 ChatGPT 能夠帶來數(shù)億美元收入的原因所在。

所以，我們當(dāng)前的重點其實是在訓(xùn)推一體機(jī)上。因為現(xiàn)在 Open-Sora 顯然沒有到達(dá)一個 superstar 的階段，我們的影響力肯定還遠(yuǎn)遠(yuǎn)不如 Kimi，更別說跟 ChatGPT 比了。在把 Open-Sora 做成一個爆款之前，我們還是要先依賴開源模型。這方面就要想清楚什么時候開源模型對閉源模型有優(yōu)勢，這也是我前面提到的顧慮所在，因為我覺得開源模型在那種情況下相對閉源模型沒有任何優(yōu)勢。

什么時候有優(yōu)勢呢？就是能不能把用戶的稀有數(shù)據(jù)去微調(diào)一下的開源模型，通過 post-training 把開源模型變成一個用戶高度定制化的版本，那這個場景既然是隱私的話，其實就是賣一體機(jī)。我們可以把我們訓(xùn)練的基礎(chǔ)設(shè)施或者軟件都弄到一體機(jī)里，或者我們的潞晨云上，讓客戶通過這種方式先微調(diào)出自己的定制化模型，然后通過一體機(jī)服務(wù)內(nèi)部。

或者他們不愿意買一臺機(jī)的話，可以上我們的云，把整個機(jī)器包下來，我們相當(dāng)給他們做了一個 serving instance，就像 AWS Google cloud 上每個服務(wù)器就要一個 instance，相當(dāng)于構(gòu)建了一個 serving 的機(jī)器，他們可以快速把自己的模型部署上去，不是調(diào)API，而是對模型有十足的控制。

 

AI 科技評論：潞晨的訓(xùn)推一體機(jī)商業(yè)化情況如何了？

尤洋：已經(jīng)達(dá)到指標(biāo)了，今年我們在訓(xùn)推一體機(jī)上的目標(biāo)是獲得 2000 多萬的收入，現(xiàn)在已經(jīng)快 3000 萬了。

 

AI 科技評論：目前主要是和華為合作嗎？

尤洋：不止和華為合作，任何合法的華為或者英偉達(dá)機(jī)器我們都考慮。主要是華為的昇騰 910B 和馬上就要發(fā)布的昇騰 910C ，加上英偉達(dá)的 H20。

 

AI 科技評論：前段時間聽說你們在談算力中心落地，這塊是有什么樣的布局？

尤洋：因為各地的算力中心，他們的優(yōu)勢是有一些資金，而劣勢就是他們的軟件，特別是類似于 Colossal-AI，或者訓(xùn)推一體的軟件方面積累不是很多，這會導(dǎo)致芯片買過來之后，最壞情況下變成廢鐵了。

比如說，之前就有個地方政府弄了 3000p 的算力，但是閑置率基本上99%，賣都賣不出去，這樣就很不好。他們其實就是希望我們的軟件把它優(yōu)化一下，讓這 3000p 的算力真正能發(fā)揮出 3000 張 H100 的價值。

 

AI 科技評論：您覺得潞晨目前還有沒有什么需要補(bǔ)齊的短板呢？

尤洋：關(guān)于短板，去年我們意識到自身是需要有一定模型能力的，所以我們才做視頻大模型，這是去年年底我們思考到的一些事情，要想服務(wù)好這些公司，得自己先訓(xùn)過模型，如果自己都沒訓(xùn)過，他們會不放心把有些項目交給我們。所以訓(xùn)練視頻大模型，順便也是補(bǔ)齊了我們在這方面的短板。

這樣的話我們才有資格去服務(wù)?，F(xiàn)在4 個世界 500 強(qiáng)客戶和 7 個世界 2000 強(qiáng)的客戶已經(jīng)給我們付費了接近千萬元，是對我們最大的認(rèn)可。這塊也是潞晨比較有競爭力的點所在。

 

海內(nèi)外的發(fā)展機(jī)遇

AI 科技評論：那您覺得海內(nèi)外 AI Infra 目前有什么差異？

尤洋：國內(nèi)可能現(xiàn)在由于諸多因素的限制，我感覺沒有一個很自動化的產(chǎn)品能夠快速跑出來，而且國內(nèi)由于算力都分散在地方政府的手里，同時高端算力對中國明面上也禁運，芯片層的一些限制導(dǎo)致上層軟件目前發(fā)展速度沒有那么快。海外的話，由于英偉達(dá)快速統(tǒng)一了市場，這些公司反而比較好做，基于英偉達(dá)再把事情做好就可以了。

 

AI 科技評論：國內(nèi)的痛點也是在這塊嗎？

尤洋：國內(nèi)當(dāng)前的痛點肯定首先是能不能有一兩款硬件迅速整合市場，相當(dāng)于把 AI 基礎(chǔ)設(shè)施軟件以下的基礎(chǔ)設(shè)施，也就是芯片層，確實要統(tǒng)一好。不過機(jī)遇也是有的，我相信中國的市場比較大，未來不會比美國小。

 

AI 科技評論：那潞晨目前在海內(nèi)外的布局情況如何？

尤洋：目前我們在海內(nèi)外沒有做嚴(yán)格區(qū)分，因為我覺得現(xiàn)在我們還是在產(chǎn)品試錯的階段，從總收入而言，國內(nèi)可能跟去年的口徑是差不多的，而且我們的視頻大模型也有海外版的，本身我們也服務(wù)了一些海外的客戶，然后我們的潞晨云其實也有海外版的，海外客戶更容易對這種軟件服務(wù)付費，所以說目前海內(nèi)外收入是差不多的。

 

AI 科技評論：潞晨云的海外版和國內(nèi)版用戶會有什么差異嗎？

尤洋：國內(nèi)版的話客戶更散，我們發(fā)現(xiàn)國內(nèi)的客戶，如果訓(xùn)的模型比較大的話，可能會自己去買服務(wù)器，它是真正上云的地方，雖然是數(shù)量很多，但是都比較散的，所以我們的最小優(yōu)化單位是一張卡。

國外的話相對于而言更整一點，一個公司去采購，也不會去訓(xùn)那么小的模型，所以我們最小優(yōu)化單位是一臺服務(wù)器。

 

AI 科技評論：你們開拓海外市場會在哪些方面覺得比較有壓力？

尤洋：我覺得小規(guī)模的情況下，就比如說我們現(xiàn)在想做到 2 億人民幣這個收入，這個階段的話還不會有太大壓力。不過之后做到 10 億人民幣的話，肯定就會就要引起 CoreWeave、Lambda Labs  等公司的注意了。

 

AI 科技評論：我記得您之前有提到說潞晨科技是中國的 Together.AI，產(chǎn)品會有什么差異嗎？

尤洋：最大的差異就是 background 不太一樣。

我們是做并行計算的，Together.AI 可能更偏重于算法修改，我們的理念是把訓(xùn)練、推理這些計算改進(jìn)過之后，它的精度是不會變的，只是改了計算的方式，結(jié)果是一模一樣的，Together.AI 可能會涉及到一些新的 trick 或者新的方法去平衡精度和速度。雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。