9 月 24 日至 26 日，第 20 屆 CCF 全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)（CCF HPC China 2024）在武漢市中國(guó)光谷科技會(huì)展中心舉行，主題為“華章廿載  新質(zhì)未來(lái)”。

本屆大會(huì)由 12 位院士領(lǐng)銜，攜手了來(lái)自算力領(lǐng)域的 400 多位頂尖學(xué)者，進(jìn)行學(xué)術(shù)交流和專(zhuān)題分享。值得一提的是，此次參會(huì)人數(shù)也創(chuàng)下歷屆新高，總數(shù)突破 4000 人。

在當(dāng)下的智算時(shí)代，面對(duì)軟硬件兼容復(fù)雜、訓(xùn)練集群故障頻發(fā)、可用算力效率不高、電力及空間限制等算力相關(guān)“卡脖子”的問(wèn)題，多名業(yè)內(nèi)大佬闡述了自身認(rèn)知。 

在結(jié)合海內(nèi)外發(fā)展的判斷下，他們也先后展開(kāi)了包括“高通量以太網(wǎng)(ETH+)”“晶圓級(jí)變結(jié)構(gòu)計(jì)算”“類(lèi)腦算力”等在內(nèi)多種解法的分享和探討。

值得一提的是，有關(guān)于全球市場(chǎng)中“算力的盡頭是電力”的類(lèi)似焦慮，在會(huì)上也出現(xiàn)了不同的聲音——中國(guó)工程院院士鄔江興特別強(qiáng)調(diào)了“用電力拼算力”這一發(fā)展范式的不可持續(xù)。

另外，AI 科技評(píng)論注意到，作為一年一度為超算、智算、數(shù)算等提供學(xué)術(shù)交流機(jī)會(huì)的平臺(tái)，在今年的 CCF HPC 中，“超智融合”被一眾大咖反復(fù)提及，成為本屆大會(huì)最鮮明的特點(diǎn)。

這也是在不少業(yè)內(nèi)人士的預(yù)判中，未來(lái)解決國(guó)內(nèi)計(jì)算瓶頸的重要路徑。

超算是可以用來(lái)訓(xùn)練 AI 的，而國(guó)內(nèi)過(guò)往在超算領(lǐng)域的豐富經(jīng)驗(yàn)積累，需要移植到智算領(lǐng)域中來(lái)，超算和智算走向融合已然成為大勢(shì)所趨。

這一趨勢(shì)的出現(xiàn)，也標(biāo)志著 HPC 由傳統(tǒng)通用計(jì)算主導(dǎo)的科學(xué)計(jì)算，逐步過(guò)渡到了異構(gòu)加速的 AI 計(jì)算新時(shí)代。

需要關(guān)注的是，近年，對(duì)于“算力網(wǎng)”這一概念的呼聲走高也同超智融合息息相關(guān)。這也是基于中美需求差異的洞察下，更為符合國(guó)內(nèi)算力市場(chǎng)現(xiàn)狀的解決方案之一。

算力的瓶頸與破局之道

當(dāng)前，國(guó)內(nèi)在算力集群之上已有不少千卡、萬(wàn)卡級(jí)別的實(shí)踐，但要實(shí)現(xiàn)十萬(wàn)卡，甚至超萬(wàn)卡的突破仍頗具挑戰(zhàn)性。 

國(guó)產(chǎn)算力究竟還有哪些“卡脖子”的問(wèn)題？在此次 CCF HPC China 2024 上，業(yè)界大咖齊聚一堂對(duì)此作出討論，與此同時(shí)，也帶來(lái)了多種不同的解題思路。

“大算力需要大集群的擴(kuò)展，但大集群并不一定能夠提供大算力”，高通量以太網(wǎng)聯(lián)盟執(zhí)行主席、中國(guó)科學(xué)院計(jì)算技術(shù)副研究院王展分析。

“今天基于并行的計(jì)算范式，對(duì)于每次的計(jì)算迭代來(lái)說(shuō)，完成之后 GPU 之間都要通過(guò)全局參數(shù)和提督同步才能進(jìn)行下一輪迭代，這種同步通信的特質(zhì)決定了訓(xùn)練集群很強(qiáng)的‘木桶短板’效應(yīng)，任何一點(diǎn)擁塞、故障，都會(huì)導(dǎo)致整個(gè)集群訓(xùn)練性能的損失或下降?！?nbsp;

所以，“為了讓大集群獲得好的算力，提高算力的線(xiàn)性擴(kuò)展度，需要做很多方面的優(yōu)化工作，包括上面的算法、通訊框架、并行的計(jì)算模式，以及計(jì)算和網(wǎng)絡(luò)協(xié)同，存儲(chǔ)和網(wǎng)絡(luò)的協(xié)同等等?！彼偨Y(jié)發(fā)現(xiàn)，“其中最核心的需求是需要一個(gè)穩(wěn)定高性能的網(wǎng)絡(luò)互聯(lián)。”

去年，大模型的興起帶動(dòng)了算力需求的提升，而王展觀察到，“彼時(shí)，許多頭部互聯(lián)網(wǎng)和云計(jì)算公司都還沒(méi)有基于以太網(wǎng)成熟的解決方案，一時(shí)間業(yè)內(nèi)唱衰以太網(wǎng)，認(rèn)為只有 InfiniBand（IB）才可以提供高性能的網(wǎng)絡(luò)互聯(lián)?！?nbsp;

發(fā)展至今年，“高通量以太網(wǎng)（ETH+）”逐漸走向主流舞臺(tái)，也在今年的大會(huì)上再度引來(lái)一波熱議。而從海外巨頭的動(dòng)向來(lái)看，據(jù)王展透露，AMD 發(fā)布的 UALINK 聯(lián)盟也或?qū)⒏臑橐蕴W(wǎng)：

“目前，AMD 采用的是 Infinity Fabri（IF ）的私有協(xié)議，在服務(wù)器內(nèi)部是基于全互聯(lián)，而它下一步的 GPU 一定是采用 Infinity Fabric Switch放在服務(wù)的外部，這方面如何構(gòu)建將成為行業(yè)重要風(fēng)向標(biāo)?！?nbsp;

不過(guò)，“高通量以太網(wǎng)（ETH+）”僅僅是解決思路之一，鄔江興給出的“答卷”則聚焦于“晶圓級(jí)變結(jié)構(gòu)計(jì)算”。

在他看來(lái)，國(guó)內(nèi)算力發(fā)展還有著以下難點(diǎn)：

一是性能增長(zhǎng)與算力需求的矛盾凸顯；二是還原論模式導(dǎo)入帶寬、時(shí)延和單位算力密度的插損；三是剛性計(jì)算架構(gòu)造成總體效率低下；四是存儲(chǔ)程序控制機(jī)理存在自在性安全矛盾。

當(dāng)前，晶上計(jì)算正成為大規(guī)模、低功耗、高密度、高性能計(jì)算系統(tǒng)主流，這一點(diǎn)從世界主流廠(chǎng)家的布局中可以窺見(jiàn)一斑——

2019 年，美國(guó) AI 芯片獨(dú)角獸 Cerebras Systems 首推晶圓級(jí)處理器 WSE 系列挑戰(zhàn)英偉達(dá)。2021年，特斯拉也推出了晶圓級(jí) Dojo 處理器，此外，也包括英特爾的 M2+ 晶圓級(jí)拼裝、臺(tái)積電的 TSMC-SoW 等等。  

而和前述布局稍有不同的是，鄔江興講述了“軟件定義晶上系統(tǒng)（SDSoW）”的新概念。

他提出了一個(gè)“SMV困境定理”，即現(xiàn)實(shí)技術(shù)物理環(huán)境在滿(mǎn)足全生命周期可擴(kuò)展性前提下，任何單一技術(shù)體制都不可能在S、M、V三維空間內(nèi)同時(shí)達(dá)到最優(yōu)，這也是當(dāng)前國(guó)產(chǎn)算力發(fā)展之時(shí)，所面對(duì)的計(jì)算架構(gòu)單一性與算力需求多樣性的矛盾所在。

針對(duì)這一“不可能三角”，“變結(jié)構(gòu)計(jì)算”則是關(guān)鍵突破點(diǎn)。據(jù)鄔江興介紹，變結(jié)構(gòu)計(jì)算的第一性原理為軟件定義的節(jié)點(diǎn)+互聯(lián)，SDSoW 則是這一解法的物理實(shí)現(xiàn)載體。 

不同的算力處理特征適用場(chǎng)景各有差異，于是芯片也需要實(shí)現(xiàn)異構(gòu)融合，這也同人腦處理任務(wù)具有相似之處。沿著這套邏輯，“類(lèi)腦算力”的概念也成為當(dāng)前業(yè)界前沿的思考之一。

“類(lèi)腦處理器（BPU）更加接近生物腦信息處理特征，比較適用于一些密度比高的矩陣和稀疏矩陣，以及知識(shí)圖譜、動(dòng)力學(xué)方程的運(yùn)算，處理非結(jié)構(gòu)化隨機(jī)排布的數(shù)據(jù)運(yùn)算更有效率?！敝袊?guó)科學(xué)院院士張旭如是說(shuō)道。

當(dāng)前，在全球范圍內(nèi)均有類(lèi)腦計(jì)算相關(guān)布局——去年年底，廣東智能科學(xué)與技術(shù)研究院發(fā)布了天琴芯類(lèi)腦晶圓計(jì)算芯片，今年 4 月，英特爾也發(fā)布了 Hala Point 大型神經(jīng)擬態(tài)系統(tǒng)。 

不過(guò)，類(lèi)腦芯片在功耗上能夠占據(jù)一定優(yōu)勢(shì)的同時(shí)，對(duì)于成本問(wèn)題，在業(yè)內(nèi)仍有部分顧慮的聲音存在。

另外，值得一提的是，電力也是算力發(fā)展過(guò)程中屢屢被強(qiáng)調(diào)的關(guān)鍵一環(huán)。

“我在一年前預(yù)測(cè)過(guò)芯片短缺，而下一個(gè)短缺的將是電力，明年將沒(méi)有足夠的電力來(lái)運(yùn)行所有芯片?！碧厮估紫瘓?zhí)行官埃隆·馬斯克曾發(fā)表過(guò)這方面的擔(dān)憂(yōu)。

無(wú)獨(dú)有偶，此前，OpenAI 創(chuàng)始人山姆·奧特曼也曾提出類(lèi)似警告：“下一波生成型人工智能系統(tǒng)消耗的電力將遠(yuǎn)遠(yuǎn)超出預(yù)期，能源系統(tǒng)將難以應(yīng)對(duì)，未來(lái)AI的技術(shù)取決于能源，我們需要更多的光伏和儲(chǔ)能?！?/p>

美國(guó)科技巨頭們的焦慮盡顯，海外研究機(jī)構(gòu)曾有報(bào)告稱(chēng)，ChatGPT 每天要響應(yīng)大約 2 億個(gè)請(qǐng)求，在此過(guò)程中消耗超過(guò) 50 萬(wàn)度電力，這基本相當(dāng)于 1.7 萬(wàn)個(gè)美國(guó)普通家庭的用電量。

針對(duì)國(guó)內(nèi)情況，鄔江興在會(huì)上對(duì)此發(fā)表了不同看法，他強(qiáng)調(diào)了“用電力拼算力”這一發(fā)展范式的不可持續(xù)?！八懔Φ臉O限不是電力，不應(yīng)該是電力，電力支持不了算力的持續(xù)發(fā)展?！编w江興堅(jiān)持認(rèn)為。

「超智融合」已成大勢(shì)所趨

今年以來(lái)，“超智融合”也已成為業(yè)界廣泛認(rèn)可的國(guó)內(nèi) HPC 新趨勢(shì)，這一點(diǎn)在本次大會(huì)上體現(xiàn)尤為明顯。

“超算是可以用來(lái)訓(xùn)練超大模型的”，清華大學(xué)計(jì)算機(jī)系教授陳文光在演講中提到，“過(guò)去，我國(guó)在超算上是有很好的基礎(chǔ)的，那為什么到了智算時(shí)代，所有人都覺(jué)得我們落后了很多，是不是可以把超算領(lǐng)域的經(jīng)驗(yàn)移植到智算領(lǐng)域里面來(lái)，通過(guò)‘超智融合’的方式。”  

他也在過(guò)往實(shí)踐中驗(yàn)證了這一觀點(diǎn)的可行性——

“我們?cè)谛律裢?jì)算機(jī)上研發(fā)了一個(gè)大模型訓(xùn)練框架叫‘Bagualu’，不過(guò)之前沒(méi)有說(shuō)要去超智融合，所以在雙精度算力和半精度算力上面只做到了 1：4。但是如果這臺(tái)機(jī)器能做到 1：16，用來(lái)做 AI 訓(xùn)練的話(huà)也會(huì)有一定競(jìng)爭(zhēng)力。”陳文光說(shuō)道。 

他認(rèn)為，超智融合或?yàn)榻鉀Q國(guó)內(nèi)算力瓶頸的重要路線(xiàn)：

“確實(shí)超算過(guò)去只有科學(xué)和工程計(jì)算作為主要的應(yīng)用，面臨商業(yè)用戶(hù)相對(duì)來(lái)說(shuō)是比較少的問(wèn)題，如果能夠做到很好的超智融合，也能給國(guó)產(chǎn)超級(jí)計(jì)算及的商業(yè)應(yīng)用，提高整個(gè)的投資效率起到很好的作用?！?/p>

并行科技董事長(zhǎng)、CCF 副理事長(zhǎng)陳健對(duì)于“超智融合”的趨勢(shì)也有類(lèi)似的感受。

在他看來(lái)，“在 AI 的進(jìn)化史中，較長(zhǎng)時(shí)間內(nèi)我們理解 AI 是 AI，超算是超算。但從去年開(kāi)始，AI的大模型訓(xùn)練需求暴漲，這是典型的并行計(jì)算應(yīng)用，底層需要超級(jí)計(jì)算機(jī)，是以 GPU 為主的超級(jí)計(jì)算機(jī)。其實(shí)超算也并不是說(shuō)只有 CPU 的超級(jí)計(jì)算機(jī)，我們?nèi)タ?nbsp;top500，70% 是英偉達(dá)和 AMD 的 GPU 搭建起來(lái)的超級(jí)計(jì)算機(jī)，主要的算力是由 GPU 來(lái)組成的?！?/p>

自“百模大戰(zhàn)”打響后，過(guò)去兩年，業(yè)內(nèi)不少實(shí)踐發(fā)現(xiàn)，傳統(tǒng)的基于云主機(jī)、虛擬化所搭建的云服務(wù)平臺(tái)，面對(duì)大模型訓(xùn)練并不合適，而最關(guān)鍵的一點(diǎn)在于，沒(méi)有解決卡與卡之間性能的問(wèn)題，也就是超算中常用的帶寬問(wèn)題，或者說(shuō)計(jì)算與通信的比例關(guān)系。

陳健將當(dāng)前大模型的算力需求總結(jié)為以下方面——超大規(guī)模大模型訓(xùn)練供不應(yīng)求，包括微調(diào)在內(nèi)的常規(guī)的大模型訓(xùn)練供大于求。

對(duì)于常規(guī)大模型訓(xùn)練，目前看到的情況是：“今年上半年大概有 140 多個(gè)智算中心在建，全國(guó)在規(guī)劃中的共有 250 多個(gè)智算中心，這部分算力搭建出來(lái)之后，大概率是 2000 卡以下的集群，而現(xiàn)在這樣的需求正在萎縮。”

其中，關(guān)鍵原因在于兩方面——“卷”基礎(chǔ)大模型的廠(chǎng)商變少以及隨著基礎(chǔ)大模型版本的更新迭代，許多行業(yè)模型的存在價(jià)值正在消失。

當(dāng)前，業(yè)內(nèi)有關(guān)“算力網(wǎng)”建設(shè)的呼吁，則是在對(duì)“超智融合”這一趨勢(shì)的預(yù)判之下給出的解決方案，對(duì)此，大會(huì)現(xiàn)場(chǎng)也有不少相關(guān)討論。 

國(guó)防科技大學(xué)院士王懷民介紹道，“超算與智算融合不僅體現(xiàn)在算力中心，還出現(xiàn)在更廣泛范圍內(nèi)算力中心資源的有效連接和共享，所以我們都在呼喚中國(guó)算力網(wǎng)的出現(xiàn)。”

這也是由中美需求上的差異所決定的，美國(guó)的算力主要集中在云服務(wù)商手里，通信運(yùn)營(yíng)商并沒(méi)有很強(qiáng)的算力，也并沒(méi)有強(qiáng)調(diào)建立算力網(wǎng)，而是利用分布式的系統(tǒng)和編程語(yǔ)言技術(shù)來(lái)解決云的孤立的問(wèn)題。 

中國(guó)工程院院士李國(guó)杰以天空實(shí)驗(yàn)室為例介紹了美國(guó)的當(dāng)前情況——

“Spark 的發(fā)明人 Ion Stoica 組建了一個(gè) SkyComputing 實(shí)驗(yàn)室，2022 年正式啟動(dòng)，主要是想解決云服務(wù)平臺(tái)的孤島問(wèn)題，想要發(fā)展成一種公共服務(wù)。主要包括三層平臺(tái)，兼容層隱藏云之間的差異，云間層尋找不同服務(wù)的最佳性?xún)r(jià)比，互惠對(duì)等層則主要實(shí)現(xiàn)免費(fèi)和快速地在云間傳輸?！?nbsp;

說(shuō)回到國(guó)內(nèi)，據(jù)李國(guó)杰觀察，當(dāng)前，由于在訓(xùn)練過(guò)程中需要頻繁交換模型參數(shù)和梯度信息，所以實(shí)現(xiàn)反向傳播的延遲通常要控制在毫秒級(jí)以下，國(guó)內(nèi)的龍頭企業(yè)都在做支持 10 萬(wàn) GPU 卡以上規(guī)模的大模型，但采用的都是相對(duì)集中的集群系統(tǒng)，并沒(méi)有采用異地分布式計(jì)算。

“他們的集群一般裝在一個(gè)園區(qū)，可能有幾個(gè)樓，分成幾個(gè)計(jì)算島，島里面進(jìn)行張量并行和流水線(xiàn)并行，島之間做數(shù)據(jù)并行。但數(shù)據(jù)并行有個(gè)大問(wèn)題，它要求一個(gè) GPU 就要把整個(gè)模型參數(shù)存起來(lái)，GPT4 有 1.8 萬(wàn)億參數(shù)，可能需要 10 個(gè) TB 以上的內(nèi)存，這個(gè)成本非常高?！彼f(shuō)道。 

同時(shí)，他還表示，“在西部建很多小的超算中心、智算中心，聯(lián)合起來(lái)就可以解決我們國(guó)家的人工智能訓(xùn)練問(wèn)題，這樣的想法可能并不太靠譜?！?/p>

較為可行的解法還是“算力網(wǎng)”。

在李國(guó)杰的設(shè)想中，“算力網(wǎng)要發(fā)揮智能時(shí)代的基礎(chǔ)設(shè)施的作用，也需要像有瀏覽器、微信一樣的全民的普及應(yīng)用。”

當(dāng)前算力提供商、政府及學(xué)界紛紛在呼吁算力網(wǎng)的建設(shè)，在這方面也做出了不同的努力：

運(yùn)營(yíng)商布局云網(wǎng)融合，地方政府建算力樞紐中心，計(jì)算機(jī)界則聚焦于分布式計(jì)算的基礎(chǔ)研究，例如，中科院計(jì)算所在做信息高鐵項(xiàng)目、劉韻潔院士在做確定性計(jì)算網(wǎng)絡(luò)、蔣昌俊院士在做機(jī)動(dòng)性的方艙計(jì)算。

不過(guò)李國(guó)杰也發(fā)現(xiàn)，目前，真正需要這種遠(yuǎn)程算力的關(guān)鍵用戶(hù)到底在哪，暫時(shí)還不是很清楚。 

未來(lái)，在用戶(hù)需求洞察的基礎(chǔ)之上，前述各方布局可以形成一定合力。

“最迫切的一點(diǎn)在于為需要幾百卡、幾千卡做訓(xùn)練的中小模型單位找到合適的算力，如果把這件事真正做好了，就能打磨出算力網(wǎng)的 1.0 版本。幾年后，推理會(huì)比訓(xùn)練需要更多算力，等到那時(shí)再升級(jí) 2.0 版本的算力網(wǎng)。”李國(guó)杰預(yù)判。

當(dāng)前，算力網(wǎng)的抽象還涉及以下四個(gè)問(wèn)題：一是怎么統(tǒng)一命名資源空間，也就是實(shí)現(xiàn)算力資源的池化；二是怎么提供一個(gè)萬(wàn)維網(wǎng)網(wǎng)頁(yè)一樣的運(yùn)行式抽象；三是怎么提供一個(gè)統(tǒng)一的編程方法；四是怎么系統(tǒng)性評(píng)價(jià)算力網(wǎng)的性能。雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。