集群規(guī)模擴(kuò)展至3倍后線性加速比高達(dá)97%以上、102B 模型訓(xùn)練性能達(dá)業(yè)界120% 以上……這是商湯基于昇騰計(jì)算生態(tài)的最新成果。

近日，商湯大裝置事業(yè)群研發(fā)總監(jiān)張行程受邀出席華為全聯(lián)接大會(huì)2024并發(fā)表演講，帶來了商湯大模型基于昇騰原生開發(fā)實(shí)踐的主題分享。

 

大會(huì)上，國際權(quán)威數(shù)據(jù)機(jī)構(gòu)IDC還發(fā)布了《AI時(shí)代數(shù)據(jù)中心網(wǎng)絡(luò)白皮書》，其中介紹了商湯與華為共同解決Al時(shí)代數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)挑戰(zhàn)，以大規(guī)模連接性、智能負(fù)載均衡等能力，提高大規(guī)模集群吞吐量，提升訓(xùn)練效率，實(shí)現(xiàn)AI大模型的快速迭代。

 

高效大模型原生開發(fā)

歷年來，商湯基于昇騰計(jì)算生態(tài)，共同推進(jìn)基礎(chǔ)模型、行業(yè)大模型應(yīng)用與創(chuàng)新。

例如，商湯通過高效并行、通信優(yōu)化及網(wǎng)絡(luò)架構(gòu)感知和任務(wù)調(diào)度等軟硬優(yōu)化技術(shù)，構(gòu)建了大規(guī)模并行訓(xùn)練加速系統(tǒng)，其中102B模型的訓(xùn)練性能達(dá)到了業(yè)界的120%以上，同時(shí)單一任務(wù)集群規(guī)模擴(kuò)展至3倍，算力效率損失僅為3%。

基于昇騰計(jì)算生態(tài)，商湯還建設(shè)長序列并行訓(xùn)練加速機(jī)制，與業(yè)界相比，4K序列性能提升1倍以上，32K序列性能持平，甚至還能處理128K長序列訓(xùn)練。

目前，商湯日日新大模型從底層軟件棧的接入到基礎(chǔ)框架優(yōu)化、再到模型原生開發(fā)，在性能、穩(wěn)定性等關(guān)鍵參數(shù)方面超過業(yè)界。

提供端到端的大模型創(chuàng)新支持

通過與昇騰團(tuán)隊(duì)合作，商湯將全棧大模型生產(chǎn)能力產(chǎn)品化，構(gòu)建了從基礎(chǔ)層、模型層、串聯(lián)層到應(yīng)用層的高效、完備、易用的大模型生產(chǎn)工具鏈。

通過大模型生產(chǎn)工具鏈，商湯大裝置可為客戶提供涵蓋算力、軟件平臺(tái)部署及模型遷移等端到端的大模型自主創(chuàng)新落地全流程業(yè)務(wù)服務(wù)。

 

不僅如此，面向不同客戶的特定應(yīng)用場景需求，商湯還可提供業(yè)務(wù)流設(shè)計(jì)、應(yīng)用編排、數(shù)據(jù)迭代等增值服務(wù)，助力客戶從0到1建立完整的AI能力體系。

同時(shí)，針對(duì)客戶不同的吞吐量、部署規(guī)模等要求，商湯還會(huì)進(jìn)行專項(xiàng)性能優(yōu)化，幫助客戶進(jìn)行極致性價(jià)比提升，實(shí)現(xiàn)成本效益最大化。

攜手共建開放、共享的大模型創(chuàng)新生態(tài)

從基礎(chǔ)設(shè)施的構(gòu)建，到大模型的突破，再到應(yīng)用的繁榮，商湯與華為一直是堅(jiān)實(shí)伙伴。

此前，商湯大裝置AI云、日日新·商量大語言模型、商湯醫(yī)療大模型“大醫(yī)”先后通過與Atlas系列服務(wù)器的相互兼容性測試，為客戶提供更為安全、高效、可靠的人工智能全棧解決方案和應(yīng)用體驗(yàn)。

商湯基礎(chǔ)大模型、行業(yè)大模型基于昇騰原生開發(fā)，持續(xù)探索在技術(shù)聯(lián)創(chuàng)、產(chǎn)業(yè)共建等方面的合作，在本次華為全聯(lián)接大會(huì)上，商湯科技獲得“2024昇騰生態(tài)最佳實(shí)踐伙伴獎(jiǎng)”。

 

今年7月，商湯還獲頒“最佳昇騰原生開發(fā)伙伴獎(jiǎng)”，以及昇騰“領(lǐng)先級(jí)應(yīng)用軟件伙伴獎(jiǎng)”， 展現(xiàn)了商湯在推動(dòng)開放、共享的大模型創(chuàng)新生態(tài)建設(shè)中的積極作用。

通過不斷的技術(shù)聯(lián)創(chuàng)與資源共享，商湯將持續(xù)助力昇騰計(jì)算生態(tài)發(fā)展，并攜手為客戶提供更加高效、便捷的智算服務(wù)，推動(dòng)AI在各行業(yè)的廣泛應(yīng)用與深入融合。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。