模型表現(xiàn)好，金牌少不了。

剛剛，中文大模型測評基準(zhǔn)SuperCLUE發(fā)布《中文大模型基準(zhǔn)測評2024年10月報(bào)告》：

商湯日日新·商量大模型（SenseChat5.5）憑借出色的能力表現(xiàn)，總得分位列國內(nèi)大模型第一梯隊(duì)，獲得金牌。

 

本次SuperCLUE10月報(bào)告覆蓋23個(gè)國內(nèi)模型，聚焦語言大模型的通用能力評估，分為三大維度：除了考察“文科”、“理科”基礎(chǔ)能力外，還有考察模型更高階能力的“Hard”附加任務(wù)，總共2900+道題：

【理科任務(wù)】分為計(jì)算、邏輯推理、代碼、工具使用測評集；

【文科任務(wù)】分為知識百科、語言理解、長文本、角色扮演、生成與創(chuàng)作、安全六大測評集；

【Hard任務(wù)】分為精確指令遵循測評集，復(fù)雜任務(wù)高階推理測評集。

 

商湯SenseChat5.5在多項(xiàng)評測任務(wù)中均位列第一梯隊(duì)，文科中語言理解、安全等維度表現(xiàn)突出，也是理科中邏輯推理、代碼學(xué)科的“尖子生”。

值得注意的是，在【Hard】的兩項(xiàng)任務(wù)——精準(zhǔn)指令遵循和高階推理中，商湯SenseChat5.5是唯一兩項(xiàng)任務(wù)均位于國內(nèi)第一梯隊(duì)的大模型，體現(xiàn)了模型優(yōu)秀的復(fù)雜推理智能。

SuperCLUE本次報(bào)告顯示，國內(nèi)大模型的能力與ChatGPT-4o-latest表現(xiàn)接近，o1-preview則在復(fù)雜任務(wù)中更為突出。未來，商湯將繼續(xù)堅(jiān)持基礎(chǔ)大模型的持續(xù)研發(fā)與投入，不斷提升真正高階推理及“慢思考”能力。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。