近日，中國電信人工智能研究院（TeleAI）成功完成國內(nèi)首個基于全國產(chǎn)化萬卡集群訓(xùn)練的萬億參數(shù)大模型（萬卡萬參），并正式對外開源首個基于全國產(chǎn)化萬卡集群和國產(chǎn)深度學(xué)習(xí)框架訓(xùn)練的千億參數(shù)大模型——星辰語義大模型 TeleChat2-115B。

這是由中國電信集團(tuán) CTO、首席科學(xué)家、中國電信人工智能研究院（TeleAI）院長李學(xué)龍教授帶領(lǐng)團(tuán)隊完成的又一項里程碑式的重要科研成果，標(biāo)志著國產(chǎn)大模型訓(xùn)練真正實現(xiàn)全國產(chǎn)化替代，正式進(jìn)入全國產(chǎn)自主創(chuàng)新、安全可控的新階段。

TeleChat2-115B 基于中國電信自研的天翼云“息壤一體化智算服務(wù)平臺”和人工智能公司“星海 AI 平臺”訓(xùn)練完成，在保證訓(xùn)練精度的前提下利用多種優(yōu)化手段提升模型訓(xùn)練效率和穩(wěn)定性，實現(xiàn)了 GPU 同等算力計算效率的 93% 以上，同時模型有效訓(xùn)練時長占比達(dá)到 98% 以上。

 

TeleChat-52B在OpenCampass推理榜單排名第一

在今年5月的 OpenCampass 測試榜單中，TeleChat 系列模型的邏輯推理能力名列開源大模型榜單第一。作為新一代版本，TeleChat2-115B 在9月最新公布的 C-Eval 評測 Open Access 模型綜合榜單中，以 86.9 分的成績排名第一。其通用能力較 TeleChat 系列模型提升近 30%，特別是在工具使用、邏輯推理、數(shù)學(xué)計算、代碼生成和長文寫作等方面能力均有大幅提升。

 

TeleChat2-115B在C-Eval的Open Access模型綜合榜單排名第一

TeleChat2在模型訓(xùn)練與數(shù)據(jù)構(gòu)建方面的研究經(jīng)驗

針對超大參數(shù)模型訓(xùn)練，TeleAI 采用了大量小模型進(jìn)行 Scaling，進(jìn)而驗證不同模型結(jié)構(gòu)的有效性。同時，在數(shù)據(jù)配比方面，基于小模型實驗結(jié)果反饋，采用回歸預(yù)測模型，得到較優(yōu)數(shù)據(jù)配比。

基于以上策略，能夠大幅提升大參數(shù)模型最優(yōu)方案的搜尋效率。另外，在后訓(xùn)練退火階段，TeleAI 通過大量實驗驗證探索到了退火最佳數(shù)據(jù)量和最佳配比，以及學(xué)習(xí)率變化方式等，進(jìn)一步提升了模型訓(xùn)練效果。 

在 Post-Training（后訓(xùn)練）方面，TeleAI  首先針對數(shù)學(xué)、代碼和邏輯推理等內(nèi)容合成了大量問答數(shù)據(jù)，用于 SFT（監(jiān)督式微調(diào)）第一階段模型訓(xùn)練。其次采用迭代式更新策略，使用模型對 Prompt（提示詞）數(shù)據(jù)進(jìn)行指令復(fù)雜性提升與多樣性擴(kuò)充，通過模型合成和人工標(biāo)注提升答案質(zhì)量，并利用拒絕采樣獲取優(yōu)質(zhì) SFT 數(shù)據(jù)及 RM（獎勵模型）代表性數(shù)據(jù)，用于 SFT 訓(xùn)練和 DPO（偏好對齊）訓(xùn)練，以及模型效果迭代。

TeleAI自研語義大模型獲多項權(quán)威賽事第一名

連獲中國計算語言學(xué)大會（CCL2024）挑戰(zhàn)賽兩項冠軍：TeleAI 在 CCL2024 大會上獲得中文空間語義理解評測和古文歷史事件類型抽取評測兩項第一名。其中，在古文歷史事件類型抽取評測任務(wù)挑戰(zhàn)賽中，更是在所有子任務(wù)均取得第一名的情況下獲得了綜合排名第一。

NLPCC2024 中文議論文挖掘（Shared Task5）挑戰(zhàn)賽冠軍：TeleAI語義團(tuán)隊基于上下文學(xué)習(xí)策略對大模型進(jìn)行優(yōu)化，通過利用從粗粒度到細(xì)粒度的 Prompt 設(shè)計、多模型的投票機(jī)制等手段，進(jìn)一步提高了模型準(zhǔn)確率和魯棒性，最終以領(lǐng)先第二名將近 3 分的絕對優(yōu)勢排名第一。

開源共享，引領(lǐng)創(chuàng)新

TeleChat2-115B 的開源標(biāo)志著大模型國產(chǎn)化邁進(jìn)了又一個新征程。作為最早布局并首先開源大模型的央企機(jī)構(gòu)，TeleAI 積極通過開源推動大模型技術(shù)的不斷進(jìn)步，并持續(xù)推動和引領(lǐng)技術(shù)創(chuàng)新向產(chǎn)業(yè)落地快速躍遷。

開源地址：

• l GitHub：https://github.com/Tele-AI/TeleChat2

• l Gitee：https://gitee.com/Tele-AI/tele-chat2

• l Modescope：https://modelscope.cn/models/TeleAI/TeleChat2-115B

• l Modelers：https://modelers.cn/models/TeleAI/TeleChat2-115B

雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)雷峰網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。