0
本文作者: nebula | 2023-09-20 17:11 |
9月20日,上海人工智能實(shí)驗(yàn)室等機(jī)構(gòu)發(fā)布書(shū)生·浦語(yǔ)大模型(InternLM)200億參數(shù)版本InternLM-20B,并在阿里云魔搭社區(qū)(ModelScope)開(kāi)源首發(fā)、免費(fèi)商用。書(shū)生·浦語(yǔ)大模型體系與魔搭社區(qū)建立重磅生態(tài)合作,共同推動(dòng)中國(guó)大模型生態(tài)建設(shè)。
書(shū)生·浦語(yǔ)(InternLM)大語(yǔ)言模型由上海人工智能實(shí)驗(yàn)室聯(lián)合多家機(jī)構(gòu)共同推出。今年6月,InternLM千億參數(shù)(104B)語(yǔ)言大模型首次發(fā)布,現(xiàn)已經(jīng)歷多輪升級(jí);7月,上海人工智能實(shí)驗(yàn)室開(kāi)源書(shū)生·浦語(yǔ)70億參數(shù)的輕量級(jí)版本InternLM-7B,且在業(yè)內(nèi)率先開(kāi)源貫穿數(shù)據(jù)、預(yù)訓(xùn)練、微調(diào)、部署和評(píng)測(cè)的全鏈條工具體系。InternLM-7B也已上線魔搭社區(qū)。
本次發(fā)布的InternLM-20B是一款中量級(jí)大模型,性能先進(jìn)且應(yīng)用便捷,模型基于2.3T Tokens預(yù)訓(xùn)練語(yǔ)料從頭訓(xùn)練,相較于InternLM-7B,其理解能力、推理能力、數(shù)學(xué)能力、編程能力等都有顯著提升。
相比于此前國(guó)內(nèi)陸續(xù)開(kāi)源的7B和13B規(guī)格模型,20B量級(jí)模型具備更強(qiáng)大的綜合能力,復(fù)雜推理和反思能力尤為突出,能為實(shí)際應(yīng)用場(chǎng)景提供更有力的性能支持;同時(shí),20B量級(jí)模型可在單卡上進(jìn)行推理,經(jīng)過(guò)低比特量化后,可運(yùn)行在單塊消費(fèi)級(jí)GPU上,因而在實(shí)際應(yīng)用中更為便捷。
相比于此前的開(kāi)源模型,InternLM-20B擁有幾大優(yōu)勢(shì):一、優(yōu)異的綜合性能。不僅全面領(lǐng)先相近量級(jí)的開(kāi)源模型,且以不足1/3的參數(shù)量,測(cè)評(píng)成績(jī)達(dá)到了Llama2-70B的水平。二、強(qiáng)大的工具調(diào)用能力。支持?jǐn)?shù)十類插件,上萬(wàn)個(gè)API功能,還具備代碼解釋和反思修正能力,為智能體(Agent)的構(gòu)建提供了良好的技術(shù)基礎(chǔ)。三、更長(zhǎng)的語(yǔ)境。實(shí)現(xiàn)了對(duì)長(zhǎng)文理解、長(zhǎng)文生成和超長(zhǎng)對(duì)話的有效支持,同時(shí)支持 16K 語(yǔ)境長(zhǎng)度。四、更安全的價(jià)值對(duì)齊。在研發(fā)訓(xùn)練的過(guò)程中,研究團(tuán)隊(duì)進(jìn)行了基于SFT和RLHF兩階段價(jià)值對(duì)齊,并通過(guò)專家紅隊(duì)的對(duì)抗訓(xùn)練大幅提高其安全性。
書(shū)生·浦語(yǔ)開(kāi)源工具鏈也已全新升級(jí),形成更完善的體系,包括預(yù)訓(xùn)練框架InternLM-Train、低成本微調(diào)框架XTuner、部署推理框架 LMDeploy、評(píng)測(cè)框架OpenCompass 以及面向場(chǎng)景應(yīng)用的智能體框架Lagent。書(shū)生·浦語(yǔ)工具鏈將和開(kāi)源數(shù)據(jù)平臺(tái)OpenDataLab構(gòu)成強(qiáng)大的開(kāi)源工具及數(shù)據(jù)體系,為業(yè)界提供全鏈條研發(fā)與應(yīng)用支持。
書(shū)生·浦語(yǔ)-20B:
https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b
書(shū)生·浦語(yǔ)-對(duì)話-20B:
https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b-chat
魔搭社區(qū)最佳實(shí)踐:
魔搭社區(qū)開(kāi)設(shè)了書(shū)生·浦語(yǔ)“模型品牌館”專頁(yè),聚合書(shū)生·浦語(yǔ)系列所有模型及體驗(yàn)接口,便于開(kāi)發(fā)者一站式查詢、下載、使用書(shū)生模型;魔搭公眾號(hào)則推出了最佳實(shí)踐教程,提前跑通模型的部署、推理和微調(diào)流程,供開(kāi)發(fā)者參考。
阿里云魔搭社區(qū)是國(guó)內(nèi)規(guī)模最大、開(kāi)發(fā)者最活躍的AI模型社區(qū),擁有200多萬(wàn)開(kāi)發(fā)者,聚集了20多家頭部人工智能機(jī)構(gòu)貢獻(xiàn)的1000多款優(yōu)質(zhì)AI模型,為開(kāi)發(fā)者提供一站式的模型體驗(yàn)、下載、推理、調(diào)優(yōu)、定制等服務(wù),社區(qū)模型累計(jì)下載量已突破7500萬(wàn)次。
“以開(kāi)源開(kāi)放促進(jìn)中國(guó)大模型生態(tài)繁榮”是書(shū)生·浦語(yǔ)大模型體系與魔搭社區(qū)攜手共建的初衷。上海人工智能實(shí)驗(yàn)室堅(jiān)持通過(guò)開(kāi)源開(kāi)放,全面賦能AI社區(qū)生態(tài)的繁榮發(fā)展,支撐學(xué)術(shù)研究與產(chǎn)業(yè)發(fā)展。阿里云則把促進(jìn)中國(guó)大模型生態(tài)的繁榮作為首要目標(biāo),牽頭建設(shè)中國(guó)最大的AI模型開(kāi)源社區(qū)魔搭,并為大模型企業(yè)和開(kāi)發(fā)者提供全方位云服務(wù)。
雷峰網(wǎng)(公眾號(hào):雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。