摩爾線程聯(lián)合無問芯穹宣布，雙方在近日正式完成基于國產(chǎn)全功能GPU千卡集群的3B規(guī)模大模型實訓(xùn)。該模型名為“MT-infini-3B”，在摩爾線程夸娥（KUAE）千卡智算集群與無問芯穹AIStudio PaaS平臺（https://cloud.infini-ai.com/aistudio）上完成了高效穩(wěn)定的訓(xùn)練。本次實訓(xùn)充分驗證了夸娥千卡智算集群在大模型訓(xùn)練場景下的可靠性，同時也在行業(yè)內(nèi)率先開啟了國產(chǎn)大語言模型與國產(chǎn)GPU千卡智算集群深度合作的新范式。

MT-infini-3B模型訓(xùn)練總用時13.2天，經(jīng)過精度調(diào)試，實現(xiàn)全程穩(wěn)定訓(xùn)練不中斷，集群訓(xùn)練穩(wěn)定性達到100%，千卡訓(xùn)練和單機相比擴展效率超過90%。目前，實訓(xùn)出來的MT-infini-3B性能在同規(guī)模模型中躋身前列，相比在國際主流硬件上訓(xùn)練而成的其他模型，在C-Eval，MMLU，CMMLU等3個測試集上均實現(xiàn)性能領(lǐng)先。

MT-infini-3B性能表現(xiàn) 

無問芯穹聯(lián)合創(chuàng)始人兼CEO夏立雪表示：“國內(nèi)大模型與國產(chǎn)芯片的軟硬件協(xié)同發(fā)展，最終目標(biāo)是構(gòu)建一個成熟的生態(tài)系統(tǒng)。無問芯穹正在打造‘M種模型’和‘N種芯片’間的‘M×N’中間層產(chǎn)品，實現(xiàn)多種大模型算法在多元芯片上的高效、統(tǒng)一部署。摩爾線程是第一家接入無問芯穹并進行千卡級別大模型訓(xùn)練的國產(chǎn)GPU公司，而‘MT-infini-3B’的訓(xùn)練是行業(yè)內(nèi)首次實現(xiàn)基于國產(chǎn)GPU芯片從0到1的端到端大模型實訓(xùn)案例。”

摩爾線程創(chuàng)始人兼CEO張建中表示：“無問芯穹在夸娥千卡智算集群上實現(xiàn)的從零開始的大模型訓(xùn)練，不僅是對摩爾線程技術(shù)實力的有力認證，更是實現(xiàn)了國內(nèi)大模型訓(xùn)練的國產(chǎn)化閉環(huán)。摩爾線程夸娥千卡智算集群以全功能GPU為底座，提供軟硬一體化的全棧解決方案，具備高兼容性、高穩(wěn)定性、高擴展性等綜合優(yōu)勢，我們致力于成為AGI時代大模型訓(xùn)練堅實可靠的先進基礎(chǔ)設(shè)施?！?/p>

此前，摩爾線程與無問芯穹已達成深度戰(zhàn)略合作。無問芯穹大模型開發(fā)與服務(wù)平臺“無穹Infini-AI”和摩爾線程大模型智算千卡集群夸娥已完成系統(tǒng)級融合適配，該平臺可以靈活調(diào)用夸娥的集群能力以完成大模型的訓(xùn)練、微調(diào)與推理任務(wù)。未來，雙方還將開展更多適配與測試，推動國產(chǎn)大模型技術(shù)的快速發(fā)展與應(yīng)用普及，為中國人工智能產(chǎn)業(yè)的蓬勃發(fā)展貢獻力量。

關(guān)于無問芯穹

無問芯穹（Infinigence AI）依托行業(yè)領(lǐng)先且經(jīng)過驗證的AI計算優(yōu)化能力與算力解決方案，追求大模型落地的極致能效。打造“M種模型”和“N種芯片”間的“M×N”中間層產(chǎn)品，實現(xiàn)多種大模型算法在多元芯片上的高效、統(tǒng)一部署。鏈接上下游，共建AGI時代大模型基礎(chǔ)設(shè)施，加速AGI落地千行百業(yè)。

關(guān)于摩爾線程

摩爾線程是一家以全功能GPU芯片設(shè)計為主的集成電路高科技公司，能夠為廣泛的科技生態(tài)合作伙伴提供強大的計算加速能力，致力于打造為下一代互聯(lián)網(wǎng)提供多元算力的元計算平臺。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。