作者 | 琰琰

編輯 | 陳大鑫

實習論文刷新Image世界記錄；

博士畢業(yè)收割常春藤大學教職offer；

入職幾個月晉升為“校長青年教授”，成為首位獲此殊榮的華人學者。

這位出道即巔峰的華人學者，便是現(xiàn)新加坡國立大學青年教授尤洋。

近日，尤洋在北京中關村創(chuàng)辦了一家高性能計算公司“潞晨科技”，作為高性能計算和人工智能領域的知名青年學者，尤洋回國創(chuàng)業(yè)的消息在業(yè)內(nèi)引起極大關注。

8月4日，潞晨科技完成種子輪融資，獲得創(chuàng)新工場、真格基金兩家頂級VC機構的超千萬元投資。當時創(chuàng)始人尤洋表示，其創(chuàng)業(yè)目標是期望最大化人工智能開發(fā)速度的同時最小化人工智能模型部署成本。

從左到右：創(chuàng)新工場執(zhí)行董事任博冰、潞晨科技創(chuàng)始人尤洋、真格基金董事總經(jīng)理尹樂

近幾年人工智能產(chǎn)業(yè)發(fā)展并不算太好，泡沫、虧損、裁員、流血上市......這些負面評價籠罩著整個行業(yè)。而人工智能投融資與創(chuàng)業(yè)熱潮也確實從2018年開始逐漸趨緩、甚至遇冷。據(jù)億歐統(tǒng)計顯示，中國人工智能初創(chuàng)企業(yè)數(shù)量連續(xù)四年下降，AI領域投融資頻次也連續(xù)三年下滑，且沒有觸底反彈的跡象。

在這樣的大環(huán)境下，尤洋為何選擇回國創(chuàng)業(yè)？高性能計算在國內(nèi)市場到底有多大潛力？李開復、徐小平，以及更多頂級VC為什么看好潞晨科技？未來這家公司有何戰(zhàn)略規(guī)劃？AI科技評論有幸對話了創(chuàng)始人尤洋，與他聊了聊創(chuàng)業(yè)的初衷和戰(zhàn)略規(guī)劃。

1

AI產(chǎn)業(yè)的“阿喀琉斯之踵”

“我目前仍在新加坡國立大學（NUS）任職，但已辭去了其它兼職顧問"，尤洋告訴AI科技評論，他之后會把任教之外的所有時間用于創(chuàng)業(yè)，以希望能做到產(chǎn)學結合，對社會產(chǎn)生價值。

尤洋創(chuàng)辦的潞晨科技是一家高性能計算公司，主要面向B端企業(yè)提供分布式軟件系統(tǒng)，大規(guī)模人工智能平臺，以及企業(yè)級云計算解決方案等服務。

有統(tǒng)計數(shù)據(jù)顯示，截止2021年，企業(yè)級人工智能的市場規(guī)模已經(jīng)超過萬億美元，AI云解決方案相比去年也增長39%，達到了50億。

龐大的市場規(guī)模為創(chuàng)業(yè)者們提供了更大的潛在機遇，但從技術角度來看，這也導致AI模型開始出現(xiàn)越練越大的現(xiàn)象。

自2020年GPT-3首次突破千億級規(guī)模后，AI模型的參數(shù)量和計算量都開始呈現(xiàn)爆發(fā)式的增?，目前最大模型智源悟道2.0參數(shù)量已達到1.75萬億。

雖然大模型創(chuàng)造了超乎想象的性能神話，但它也讓神經(jīng)網(wǎng)絡的訓練時間變得非常漫長。

例如，用1個英偉達 V100 GPU訓練 ResNet-50 (2500萬參數(shù))網(wǎng)絡需要1周，而訓練 GPT-3 (1750億參數(shù))可能需要355年。

因此，近幾年有越來越多的企業(yè)開始創(chuàng)建大規(guī)模集群或自研超級計算機，希望通過分布式計算的方式提高模型的訓練和部署效率。

例如，Google的TPU Pod，微軟為OpenAI 打造的1萬GPU集群，英偉達的SuperPOD，包括連自動駕駛領域的特斯拉也加入了這場軍備賽，它在今年6月推出的超算 Dojo，已經(jīng)在世界超算排行榜中位列第五。

超級計算機具有很強的計算和處理數(shù)據(jù)的能力，其運算速度基本上可以達到每秒一萬億次以上。對于任何AI而言，這種高性能計算有助于大幅提升模型性能。

尤洋認為，當機器到達一定數(shù)量后，再多堆砌也無法帶來效率上的明顯提升，即便是技術實力雄厚的巨頭，也難免在大規(guī)模人工智能上陷入瓶頸。

高性能計算其實就是使用集群進行計算的方式，實現(xiàn)計算資源的最大化——下到提升一個GPU的吞吐率，上到提升上千臺機器的可擴展性。在他看來，未來沒有高性能計算，前沿AI是無法發(fā)展進步的。現(xiàn)階段的主流模型AlphaGO，BERT，GPT-3，Switch Transformer，以及智源悟道模型都在一定程度上用到了高性能計算。

除了訓練和部署效率低之外，超大模型所帶來的并發(fā)癥也是顯而易見的。深度學習模型越大，意味著能耗越高。一般訓練一個小型AI模型基本可以達到一個人一年能耗的60倍，而現(xiàn)有的模型參數(shù)量已經(jīng)突破萬億級規(guī)模。

根據(jù)Emma Strubell等人的研究，從紐約到舊金山每位旅客乘坐飛機產(chǎn)生二氧化碳排放量是1,984 lbs。然而，訓練一個2億參數(shù)的模型可以達到626,155 lbs，幾乎是前者的300多倍。所以，要想實現(xiàn)人工智能在未來的廣泛應用，低能耗計算是非常必要的。

多維度是近年來AI模型發(fā)展的另一顯著特征。例如，BERT是基于Transformer Encoder，GPT-3是基于Transformer Decoder，Switch Transformer和清華智源是基于混合專家系統(tǒng)，MLP-Mixer是基于全連接網(wǎng)絡的變種等等。

與之對應的是，超算系統(tǒng)，聯(lián)邦學習，跨云計算等硬件配置也越來越復雜化。這兩者之間的自適應配置對整個訓練系統(tǒng)的性能起著決定性影響。

在尤洋看來，分布式人工智能是未來的大趨勢。而分布式計算效率、 高能耗、多維度自適應切分已經(jīng)成為阻礙當前AI學術與產(chǎn)業(yè)發(fā)展的“阿喀琉斯之踵”，因此高性能計算當前人工智能市場中極具發(fā)展前景。

2

高性能計算領域的佼佼者

創(chuàng)業(yè)項目越是早期，風險越大。由于沒有穩(wěn)定的商業(yè)模式、發(fā)展戰(zhàn)略也可能隨時調(diào)整，因此VC投資在很大程度上取決于投資人對創(chuàng)始人的判斷。

種子輪的投資金額一般比較小，大多在500萬（人民幣）以下。潞晨科技獲得創(chuàng)新工場、真格基金兩家頂級VC機構的超千萬元種子輪投資，可見李開復、徐小平對創(chuàng)始人尤洋的信任。

翻開尤洋的履歷，其在高性能計算領域的學術成就可見一斑。

尤洋在求學階段，獲得過清華大學計算機系最高獎學金西貝爾獎、優(yōu)秀畢業(yè)生等榮譽，并以第一名的成績保送清華計算機系碩士。在申請博士時，獲得了UC Berkeley、CMU、芝加哥大學、UIUC、佐治亞理工、西北大學等六所名校全獎offer。

2018年，尤洋選擇在Berkeley計算機系讀博，師從美國科學院學院與工程院院士、ACM/IEEE Fellow James Demmel，由此開啟了他開掛式的學術生涯。

2019年，尤洋以一作作者的身份發(fā)表一篇題目為《Large Batch Optimization for Deep Learning ：Training BERT in 76 Minutes》的研究論文，在國內(nèi)外學術界引起了不小的震動，被ScienceDaily，The Next Web，i-programmer等幾十家媒體廣泛報道。

論文地址：https://arxiv.org/abs/1904.00962

他在這篇論文中提出了一種新型優(yōu)化器 LAMB，將超大模型BERT的預訓練時間壓縮到了 76分鐘。

要知道BERT-Large預訓練的計算量非常大。例如，Transformer 使用 8 塊 P100 在 8 億詞量的數(shù)據(jù)集上訓練 40 個 Epoch 需要一個月，而BERT-Large 模型在有 33 億詞量的數(shù)據(jù)集上訓練 40 個 Epoch，使用 8 塊 P100 上可能需要 1 年。

論文中表明，相比基準 BERT-Large 用 16 塊 TPU 芯片，LAMB 訓練 BERT-Large 采用一個 TPU v3 Pod（1024 塊 TPU 芯片）。在批量訓練大小接近 TPUv3 pod 內(nèi)存極限的情況下，將預訓練的迭代次數(shù)由 100 萬次減少到了 8599 次，從而使訓練時間由3天縮短到了 76 分鐘，刷新世界記錄。

到目前為止，LAMB仍為機器學習領域的主流優(yōu)化器，并被廣泛應用于谷歌，微軟，英特爾，英偉達等科技巨頭。

而在更早之前，尤洋還刷新了ImageNet訓練速度的世界記錄，他發(fā)表的這篇《ImageNet Training in minutes》提出的算法將 AlexNet模型訓練壓縮到了24分鐘。此前，在英偉達的 M40 GPU 上利用 ImageNet訓練ResNet50 需要 14 天。

根據(jù)Google Scholar顯示，尤洋在并行計算、機器學習以及高性能計算研究領域已經(jīng)累計發(fā)表論文40多篇，其中兩篇論文被國際并行與分布式處理大會(IPDPS 2015)和國際并行處理大會(ICPP 2018)評選為最佳論文。

AI技術和人才是任何一家人工智能創(chuàng)業(yè)公司最核心的資本。尤洋告訴AI科技評論，潞晨公司招募的十名核心成員均來自美國加州大學伯克利分校，斯坦福大學，清華大學，北京大學，新加坡國立大學，新加坡南洋理工大學等國內(nèi)外知名高校。

他們在高性能計算，人工智能，分布式系統(tǒng)方面已有十余年的技術積累，并在國際頂級學術刊物或會議發(fā)表論文30余篇。

如潞晨科技的CTO卞正達碩士畢業(yè)于新加坡國立大學，曾以第一作者的身份在國際超級計算大會SC上發(fā)表論文 。國際超級計算大會每年有上萬人參會，但只收錄100篇左右論文，是超級計算機領域最有影響力的會議。

同時他們還邀請到了美國科學院院士，工程院院士James Demmel教授還擔任該團隊的顧問。Demmel教授是加州大學伯克利分校前EECS院長兼計算機系主任，中關村戰(zhàn)略科學家 (陳吉寧市長親自頒發(fā))，ACM/IEEE Fellow，也是尤洋讀博期間的導師。

3

先造錘子，再找釘子

人工智能產(chǎn)業(yè)的發(fā)展趨勢，讓尤洋看到了其中的創(chuàng)業(yè)機遇，而真正推動他回國創(chuàng)業(yè)還是在UC Berkeley讀博期間的思想熏陶?！癇erkeley計算機系的教授追求產(chǎn)研結合，希望真正做出一個有影響力的實用系統(tǒng)，而不僅僅是發(fā)論文”。

創(chuàng)業(yè)是產(chǎn)學結合的一種常見方式，近幾年越來越多的學術專家開始涉足產(chǎn)業(yè)界，尤其是在高性能計算領域。例如去年3月，知名機器學習華人學者、CMU助理教授陳天奇回國創(chuàng)業(yè)，試圖解決優(yōu)化深度學習模型的高效訓練和部署問題。

尤洋表示，Berkeley計算機系的產(chǎn)業(yè)化精神對青年學者產(chǎn)生了深遠影響，Ion Stoica，Matei Zaharia等從Berkeley走出來的教授都在兼顧學術與產(chǎn)業(yè)，而他的學長Prateek Saxena也總強調(diào)，‘my startup is my research’，這些思想讓他深受啟發(fā)和鼓舞。

雖然處于創(chuàng)業(yè)早期，但潞晨科技發(fā)展戰(zhàn)略似乎已經(jīng)非常明晰?！拔覀兿Ｍ仍戾N子，再找釘子’，在創(chuàng)業(yè)初期先努力打造一個通用系統(tǒng)，并在1年完成系統(tǒng)優(yōu)化，應用于中小型企業(yè)”。

在尤洋看來，企業(yè)完成分布式訓練需要投入昂貴的專業(yè)人員，這無形中大大降低了模型的部署效率，而且機器資源的價格往往是動態(tài)變化的，動態(tài)改變負載很容易造成人工智能系統(tǒng)學習效率低或崩潰，這對于中小企業(yè)而言更是致命一擊。

針對當前的行業(yè)痛點出發(fā)，他們希望以優(yōu)化技術為基礎，大幅度提升系統(tǒng)在超大規(guī)模計算的擴展性效率。在動態(tài)改變負載的同時，能夠穩(wěn)定人工智能系統(tǒng)，讓系統(tǒng)效率能隨著機器規(guī)模自動擴展，并在應用場景提供一些跨云服務。

此外，針對模型的多維度自適應切分，他們已經(jīng)實現(xiàn)了2維網(wǎng)格參數(shù)劃分，3維立體參數(shù)劃分，以及2.5維通信最小化參數(shù)劃分，這樣的動態(tài)模型并行技術也有助于大幅提升計算效率。

作為一家面向B端的AI企業(yè)，尤洋表示當前公司發(fā)展最重要的是積累技術實力，所獲超千萬元投資將主要用于技術研發(fā)。有了成熟穩(wěn)定的技術解決方案之后，再需要根據(jù)市場的需求調(diào)整戰(zhàn)略，制定更為詳細的商業(yè)化路徑。

現(xiàn)階段，他們希望潞晨科技在中期發(fā)展階段能夠設計出自適應新興智能硬件芯片的系統(tǒng)和自動擴展智能編程系統(tǒng)，以滿足中等互聯(lián)網(wǎng)公司或傳統(tǒng)行業(yè)公司的需求，進而再推出企業(yè)級的SaaS服務以及AI云服務(AIaaS)，與大型云服務商合作共同構建商業(yè)化智能計算中心。

4

廣納英才，可自薦CEO

目前潞晨科技正在招聘全職/實習軟件工程師，全職/實習人工智能工程師 等技術人才。可協(xié)助申請北京戶口，特別優(yōu)秀的人，還可以申請擔任公司的CEO。

崗位職責：

• 開發(fā)分布式人工智能系統(tǒng)并部署到大規(guī)模集群或云端。

• 從具體的場景和問題出發(fā)，研發(fā)和優(yōu)化算法系統(tǒng)，產(chǎn)出解決方案應用到場景中。

• 參與人工智能技術與現(xiàn)有工具的融合設計和優(yōu)化，提高產(chǎn)品性能。

• 撰寫高質(zhì)量的科技論文，有機會擔任重要論文的第一作者 (未來換工作或升學的重要加分項)。

任職要求

• 精通TensorFlow, PyTorch, Ray, DeepSpeed, NVIDIA Megatron，熟悉上述系統(tǒng)的內(nèi)部運行機制。

• 熟悉各類優(yōu)化算法與模型架構，熟悉python或C++的優(yōu)化算法庫，包括各類基于梯度的經(jīng)典算法與經(jīng)典模型 (BERT, GPT-3, Switch Transformer, ViT, MLP-Mixer)。

• 有較強的編程能力和工程實現(xiàn)能力。獲得過編程競賽獎或發(fā)表過高質(zhì)量論文的優(yōu)先錄用。

• 211、985、海外知名高校本科以上學位(或在讀)，計算機科學、軟件工程，電子信息，自動化，數(shù)學，物理或其它人工智能相關專業(yè)。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

---

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。