2023 年，是國(guó)內(nèi)外大模型瘋狂 rush 的一年。

在這場(chǎng)白熱化的競(jìng)爭(zhēng)中，大模型過(guò)剩帶來(lái)的市場(chǎng)擠壓感正時(shí)刻提醒著參與者所面臨的行業(yè)洗牌風(fēng)險(xiǎn)。各廠商深知，基礎(chǔ)通用大模型，注定是少數(shù)人的游戲。

為了贏得這場(chǎng)游戲，各家大模型多以一月四次的頻率飛速迭代自身產(chǎn)品。這么做的原因，無(wú)非是看中沖在前面的先發(fā)優(yōu)勢(shì)——這可以在一定的商業(yè)周期中，與后來(lái)者拉開(kāi)不小的距離。

加之?dāng)?shù)據(jù)上的“飛輪效應(yīng)”，更早應(yīng)用、更多用戶的大模型，具備更高的市場(chǎng)打開(kāi)度。

誠(chéng)然，更靠前的身位的確重要，但過(guò)度地重視速度，則容易忽略大模型落地所需要的長(zhǎng)周期、重基建和工程化難度——底層基礎(chǔ)尚不堅(jiān)固就匆匆在此基礎(chǔ)上搭建高樓，其效果往往是「基礎(chǔ)不牢，地動(dòng)山搖」。

雖說(shuō)如此做法也可以營(yíng)造繁榮的表象，成功地將模型的成績(jī)?cè)谀承┨囟ǖ姆矫嫣嵘蟻?lái)，且在評(píng)測(cè)榜單中處于一個(gè)比較不錯(cuò)的位置，但其背后，則更多地依靠專項(xiàng)調(diào)優(yōu)的方法，潛力十分有限。

經(jīng)過(guò)市場(chǎng)的狂熱期，整個(gè)行業(yè)意識(shí)到，還是要更多地關(guān)注基礎(chǔ)能力是否真正取得了進(jìn)步。

不同于商業(yè)化的大模型廠商，上海人工智能實(shí)驗(yàn)室在這場(chǎng)角逐中則穩(wěn)定地保持著自己的節(jié)奏。在 2023 年下半年發(fā)布了一個(gè) 20B 的模型之后，相當(dāng)長(zhǎng)一段時(shí)間內(nèi)，在主模型上沒(méi)有太多的動(dòng)作。

直到今年 1 月 17 日，書(shū)生·浦語(yǔ) 2.0 （InternLM2 ）正式發(fā)布。

在這幾個(gè)月中，上海人工智能實(shí)驗(yàn)室回歸到模型本身的核心能力上去，發(fā)現(xiàn)團(tuán)隊(duì)還是有些課要補(bǔ)的，于是就關(guān)起門來(lái)，真正地、扎扎實(shí)實(shí)地把基礎(chǔ)能力給補(bǔ)上去。

「扎扎實(shí)實(shí)地在做高質(zhì)量基礎(chǔ)模型，回歸到語(yǔ)言建模的本質(zhì)。」上海人工智能實(shí)驗(yàn)室領(lǐng)軍科學(xué)家林達(dá)華如是說(shuō)到。

回歸語(yǔ)言建模的本質(zhì)

2023 年 9 月，基于對(duì)剛發(fā)布的 20B 大模型一系列表現(xiàn)的思考，上海人工智能實(shí)驗(yàn)室進(jìn)行了深入的探討，最終得出結(jié)論：如果真的要做到 GPT 4 的水平，單是依靠在應(yīng)用層面的調(diào)優(yōu)是不夠的。

把大模型的部分能力或成績(jī)調(diào)到一個(gè)較高水平并不難，但這并不代表整個(gè)語(yǔ)言模型的能力到了一個(gè)新的高度。林達(dá)華表示，「 InternLM2 的核心即在于回歸語(yǔ)言建模的本質(zhì)?！?/p>

其實(shí)，就當(dāng)下的技術(shù)發(fā)展現(xiàn)狀，要想做好基礎(chǔ)能力，模型結(jié)構(gòu)并沒(méi)有特別大的改變空間，仍然是相對(duì)標(biāo)準(zhǔn)的 Transformer 架構(gòu)，訓(xùn)練方法大多也是類似的，所以核心還在數(shù)據(jù)。

「我們?nèi)匀徽J(rèn)為，數(shù)據(jù)是做大模型的本質(zhì)，語(yǔ)言建模能力增強(qiáng)的關(guān)鍵在于訓(xùn)練語(yǔ)料質(zhì)量以及信息密度的提升。」林達(dá)華告訴 AI 科技評(píng)論。

為此，上海人工智能實(shí)驗(yàn)室研發(fā)了新一代的數(shù)據(jù)清洗過(guò)濾技術(shù)，主要發(fā)展了多維度數(shù)據(jù)價(jià)值評(píng)估、高質(zhì)量語(yǔ)料驅(qū)動(dòng)的數(shù)據(jù)富集和有針對(duì)性的數(shù)據(jù)補(bǔ)齊這三方面的技術(shù)方法。

數(shù)據(jù)清洗的方式在原理上其實(shí)并不復(fù)雜，但是里面涉及到大量的技術(shù)細(xì)節(jié)。這些技術(shù)細(xì)節(jié)的打磨和調(diào)優(yōu)是一個(gè)艱苦的過(guò)程，需要進(jìn)行大量的投入。

首先，從數(shù)據(jù)價(jià)值評(píng)估體系來(lái)看，沉淀出來(lái)這套體系實(shí)際上是要花很大力氣。其背后有十幾個(gè)不同的模型去關(guān)注數(shù)據(jù)的語(yǔ)言質(zhì)量、信息密度等不同維度。每一個(gè)模型都由一個(gè)小團(tuán)隊(duì)或是研究員專門做，最后匯聚成一個(gè)完善高效的數(shù)據(jù)處理管線。

比如一個(gè)特定的模型，它的任務(wù)就是把所有的廣告濾出來(lái)，保留其中數(shù)學(xué)層面的東西，要求模型能相對(duì)精準(zhǔn)地執(zhí)行這一指令。

其次，從高質(zhì)量語(yǔ)料的比重層面來(lái)看，從物理世界、互聯(lián)網(wǎng)以及語(yǔ)料庫(kù)中找到高價(jià)值的數(shù)據(jù)，然后加重它們?cè)谡麄€(gè)訓(xùn)練數(shù)據(jù)中的比重，本身即是一件有技術(shù)含量的事情。

互聯(lián)網(wǎng)中數(shù)據(jù)的密度較低，會(huì)有廣告、低質(zhì)量的信息充斥其中，這種數(shù)據(jù)對(duì)于模型能力的進(jìn)一步提升帶來(lái)的效果是非常有限的。因此，在數(shù)據(jù)的分布調(diào)整上需要加強(qiáng)對(duì)于高信息量的、高價(jià)值的數(shù)據(jù)的富集，會(huì)通過(guò)一些高質(zhì)量的導(dǎo)引數(shù)據(jù)和種子數(shù)據(jù)去匯聚真正富有知識(shí)含量的數(shù)據(jù)，壓動(dòng)此類數(shù)據(jù)的比重，提高使用效率。

最后，對(duì)于模型暴露出來(lái)短板，在數(shù)據(jù)方面做了針對(duì)性的增強(qiáng)。針對(duì)性補(bǔ)充語(yǔ)料，重點(diǎn)加強(qiáng)世界知識(shí)、數(shù)理、代碼等核心能力。

為了打造這一套數(shù)據(jù)清洗和過(guò)濾的體系，團(tuán)隊(duì)在背后訓(xùn)了三位數(shù)數(shù)量級(jí)的模型，起碼有一兩百個(gè)?；旧希看卧诓糠旨夹g(shù)上做一些迭代，得全量訓(xùn)一個(gè)起碼 7B 量級(jí)的模型，來(lái)發(fā)現(xiàn)它究竟有沒(méi)有真正成規(guī)模的去應(yīng)用，是不是帶來(lái)有效的提升。

在這個(gè)過(guò)程中的，大量的內(nèi)容是沒(méi)有帶來(lái)提升的，但是也留下了一些真正有效的提升的東西，而這些提升的背后是大量實(shí)驗(yàn)和龐大資源。

基于千億規(guī)模驗(yàn)證集，比較初代 InternLM 和 InternLM2 在大規(guī)模高質(zhì)量的驗(yàn)證語(yǔ)料上的 loss 分布，可以看到曲線整體左移，表明了語(yǔ)言建模能力的實(shí)質(zhì)性增強(qiáng)。

為了把曲線從右邊挪到左邊，團(tuán)隊(duì)花了三四個(gè)月的時(shí)間。曲線挪過(guò)去之后就會(huì)發(fā)現(xiàn)，只需要花幾個(gè)星期的時(shí)間，稍做一些對(duì)齊等其他工作，下游的表現(xiàn)、能力顯而易見(jiàn)取得更高的成績(jī)。

在過(guò)去一年的大模型研發(fā)歷程中，上海人工智能實(shí)驗(yàn)室的數(shù)據(jù)清洗技術(shù)完成了三輪迭代。

比較這三代數(shù)據(jù)訓(xùn)練的 7B 模型在下游任務(wù)中的性能成長(zhǎng)曲線會(huì)發(fā)現(xiàn)，在新的數(shù)據(jù)清洗技術(shù)的加持下，只使用約60%的訓(xùn)練數(shù)據(jù)量即可達(dá)到使用上一版數(shù)據(jù)訓(xùn)練 1T tokens的性能表現(xiàn)，而且持續(xù)訓(xùn)練后建模能力到達(dá)更高的水平。

去提升數(shù)據(jù)質(zhì)量，而非參數(shù)量——這一步于上海人工智能實(shí)驗(yàn)室而言，是一個(gè)策略性考量。

打造出一版高質(zhì)量的數(shù)據(jù)之后，就可以根據(jù)算力的安排靈活地訓(xùn)大、中、小的模型，無(wú)論是現(xiàn)在訓(xùn) 7B 的、20B 的，還是未來(lái)訓(xùn) 60B 的、100B 的都可以用這版數(shù)據(jù)。

目前，上海人工智能實(shí)驗(yàn)室有幾個(gè) T 的高質(zhì)量 Tokens，還沒(méi)有清洗的 Token 還有幾十個(gè) T 的規(guī)模。

「上海 AI Lab 沉淀的訓(xùn)練數(shù)據(jù)處理方法和能力，是我們重要的技術(shù)優(yōu)勢(shì)之一?！沽诌_(dá)華表示。

水到渠成的核心能力提升

回歸到本質(zhì)，把語(yǔ)言建模能力這件事做好之后，模型下游任務(wù)的性能自然得到了全方位的提升。

這就相當(dāng)于，如果底子不好，后續(xù)的一系列進(jìn)程都難以為繼，雖然也能夠通過(guò)大量的題海戰(zhàn)術(shù)，在某個(gè)特定的方向上做到很高的水平，但并不是模型能力本質(zhì)地提升；底子好了后，很多上層的東西能夠很快地上手，無(wú)論是繼續(xù)去做應(yīng)用，還是把某個(gè)方向做一些加強(qiáng)，都是水到渠成的事情。

大海撈針的長(zhǎng)窗口能力

InternLM2 可以有效支持 200K tokens超長(zhǎng)上下文，而且在 LongBench 和 L-Eval 等長(zhǎng)文任務(wù)中的表現(xiàn)也達(dá)到開(kāi)源模型中的領(lǐng)先水平。

模型的超長(zhǎng)上上下文支持能力，在當(dāng)下是有切實(shí)需求的。

做一個(gè)比較長(zhǎng)的對(duì)話、完成一個(gè)復(fù)雜的任務(wù)、解一道復(fù)雜的題目、讀一個(gè)財(cái)報(bào)，這些實(shí)用的基本需求都會(huì)對(duì)上下文的承接能力有要求。如果長(zhǎng)窗口能力不成熟，有很多應(yīng)用就根本跑不起來(lái)。

支持超長(zhǎng)上下文的能力，并不只上海人工智能實(shí)驗(yàn)室在做，其中不乏把能力打磨得很優(yōu)秀的大模型，但也有很多大模型用了些取巧的方法，雖然宣稱做了128K Token 的上下文，但是不一定能穩(wěn)定發(fā)揮，或者主要支持開(kāi)頭和結(jié)尾的信息，一旦真正在中間某個(gè)地方塞一個(gè)信息，模型就無(wú)法正確回答。

為了檢驗(yàn)長(zhǎng)窗口能力的有效性，上海人工智能實(shí)驗(yàn)室對(duì) InternLM2 進(jìn)行“大海撈針”試驗(yàn) —— 即將關(guān)鍵信息隨機(jī)插入一段長(zhǎng)文本的不同位置來(lái)構(gòu)造問(wèn)題，測(cè)試模型是否能從長(zhǎng)文本中提取出關(guān)鍵信息，對(duì)模型的要求好似，無(wú)論把針?lè)旁谀?，都要?shí)打?qū)嵉負(fù)瞥鰜?lái)才行。

比較 InternLM-Chat 和 InternLM2-Chat 在不同長(zhǎng)度的上下文（橫軸）及上下文中不同位置（縱軸）上召回關(guān)鍵信息的準(zhǔn)確率，紅色代表較低的召回準(zhǔn)確率，而綠色則代表較高的召回率。

可以見(jiàn)得，初代模型隨著文檔長(zhǎng)度的增長(zhǎng)，召回準(zhǔn)確率不斷下降，對(duì)于超過(guò) 8K 的上下文，平均準(zhǔn)確率下降到低于30%的水平。而新一代 InternLM2-Chat，召回準(zhǔn)確率始終保持在高位，16K以內(nèi)的平均準(zhǔn)確率達(dá)到 95.65%。

繼續(xù)延長(zhǎng)上下文的長(zhǎng)度，對(duì) InternLM-2 提出更大的挑戰(zhàn)。試驗(yàn)結(jié)果表明，InternLM2-Chat 在上下文長(zhǎng)度延展到 200K 時(shí)依舊保持了很高的信息召回成功率，驗(yàn)證了 InternLM2 對(duì)于超長(zhǎng)上下文的支持能力是十分堅(jiān)實(shí)的。

通過(guò)兩個(gè)主流的長(zhǎng)文評(píng)測(cè)集 LongBench 和 L-Eval 檢驗(yàn)?zāi)Ｐ驮诙喾N長(zhǎng)文任務(wù)中的表現(xiàn)對(duì)比，從上表中可以看到，InternLM2 在主流長(zhǎng)文評(píng)測(cè)中表現(xiàn)不俗，不僅顯著超越了初代 InternLM、Qwen 和 Mistral，而且相比于在長(zhǎng)文任務(wù)中有很強(qiáng)表現(xiàn)的 ChatGLM3 也稍勝一籌。

在提升長(zhǎng)窗口能力方面，上海人工智能實(shí)驗(yàn)室沒(méi)有做太多取巧。訓(xùn)練的時(shí)候使用了最科學(xué)的位置編碼的方式，并且找到了一些有長(zhǎng)結(jié)構(gòu)依賴關(guān)系的數(shù)據(jù)，真正優(yōu)化了訓(xùn)練系統(tǒng)能夠支持那么長(zhǎng)的數(shù)據(jù)，沒(méi)有中間截取了一半文本的情況。

高質(zhì)量的對(duì)話和創(chuàng)作能力

InternLM2 采用了 Online RLHF，對(duì)獎(jiǎng)勵(lì)模型和對(duì)話模型進(jìn)行了三輪迭代更新，在每一輪更新中針對(duì)前一輪模型的表現(xiàn)更新偏好數(shù)據(jù)和訓(xùn)練 prompt。在獎(jiǎng)勵(lì)模型訓(xùn)練和 PPO 階段都平衡地采用各類 prompt，使得模型在安全性進(jìn)一步提升的情況下，對(duì)話的主觀體驗(yàn)也能顯著提升。

在斯坦福大學(xué)1月份剛發(fā)布的 AlpacaEval2 英文主觀對(duì)話榜單上，InternLM2-Chat-20B 超越了 GPT-3.5、 Gemini Pro 和 Claude-2。在谷歌發(fā)布的指令遵循能力評(píng)測(cè)集 IFEval 上，InternLM2-Chat-20B 的指令遵循率則超越了 GPT-4（79.5% vs 79.3%）。

在對(duì)話能力方面，InternLM2-Chat 可以精準(zhǔn)地理解和遵循?戶意圖，具備較強(qiáng)的共情能?。

大模型的情感能力還是源于數(shù)據(jù)基礎(chǔ)能力。林達(dá)華表示，在 Chat 版本微調(diào)的時(shí)候，一方面，在制定微調(diào)的數(shù)據(jù)上面做了高質(zhì)量的清洗和過(guò)濾，數(shù)據(jù)清洗過(guò)濾技術(shù)的迭代不僅用在預(yù)訓(xùn)練，也用在后面的微調(diào)數(shù)據(jù)上面；另一方面，RLHF的能力也得到了比較強(qiáng)大的增強(qiáng)，給了非常強(qiáng)的反饋，這些反饋使得模型在表達(dá)溫度、安全性上面各方面其實(shí)都能夠得到比較好的調(diào)整。

在創(chuàng)作能力方面，書(shū)生·浦語(yǔ) 2.0 的優(yōu)勢(shì)也很明顯，并且中文特色能力如吟詩(shī)作對(duì)不在話下，劇本小說(shuō)亦信手拈來(lái)。

InternLM2-Chat-20B 將根據(jù)用戶的簡(jiǎn)單指示展開(kāi)暢想，編寫(xiě)《流浪地球3》的電影劇本提綱：

這一劇本提綱，在保持一個(gè)合理自洽的邏輯的同時(shí)，想象力也足夠豐富。

可靠的工具調(diào)用能力

工具調(diào)用能夠把大模型的應(yīng)用能力拓展到非常廣的邊界。

使用更高質(zhì)量的基礎(chǔ)模型，其工具調(diào)用會(huì)做得非?？煽浚@表現(xiàn)在能夠持續(xù)多步的去調(diào)工具，中間都不出錯(cuò)，從而完成復(fù)雜任務(wù)。

上一代的書(shū)生·浦語(yǔ)模型就已經(jīng)初步支持了工具調(diào)用能力，也展現(xiàn)出了零樣本調(diào)用工具的泛化能力。

InternLM2 進(jìn)一步升級(jí)了模型的工具調(diào)用能力，基于更強(qiáng)和更具有泛化性的指令理解、工具篩選與結(jié)果反思等能力，可以更可靠地支持復(fù)雜智能體的搭建，支持對(duì)工具進(jìn)行有效的多輪調(diào)用。

針對(duì)多種任務(wù)構(gòu)建了細(xì)粒度工具調(diào)用評(píng)測(cè)集 T-Eval（https://open-compass.github.io/T-Eval/），InternLM2-Chat-7B 在 T-Eval 上甚至超越了 Claude-2.1 和目前的開(kāi)源模型，性能接近 GPT-3.5 和 GPT-4。

突出的數(shù)理能力

數(shù)學(xué)能力是大模型邏輯思維和推理能力的重要體現(xiàn)，InternLM2 從多方面提升模型的數(shù)學(xué)能力。不僅能解復(fù)雜數(shù)學(xué)題，還提供實(shí)用的數(shù)據(jù)分析能力，還能使用代碼解決各類復(fù)雜的計(jì)算問(wèn)題。

InternLM2 針對(duì)性提高了模型的計(jì)算能力，在不依靠計(jì)算器等外部工具的情況下，在100以內(nèi)的簡(jiǎn)單數(shù)學(xué)運(yùn)算上能夠做到接近100%的準(zhǔn)確率，在1000以內(nèi)達(dá)到80%左右的運(yùn)算準(zhǔn)確率。

除此之外，書(shū)生·浦語(yǔ) 2.0 也能很好地支持代碼解釋器、編寫(xiě)代碼進(jìn)行更復(fù)雜的計(jì)算，或者對(duì)推理的結(jié)果進(jìn)行形式化驗(yàn)證，從而可以解決計(jì)算要求更高或者演算過(guò)程更加復(fù)雜的問(wèn)題。

在典型的數(shù)學(xué)評(píng)測(cè)集 GSM8K 和 MATH 上，配合代碼解釋器，InternLM2 都能夠達(dá)到較高的分?jǐn)?shù)。其中對(duì)于難度更高的 MATH 數(shù)據(jù)集，借助代碼解釋器，精度從 32.5 大幅提升到 51.2，甚至超過(guò)了 GPT-4 的表現(xiàn)。

配合代碼解釋器，20B 模型已經(jīng)能夠完成一些例如積分求解等大學(xué)級(jí)別的數(shù)學(xué)題目。

除了求解數(shù)學(xué)題之外，InternLM2 還能借助代碼解釋器進(jìn)行數(shù)據(jù)分析和可視化。

例如，給模型新一份鮮出爐的2023年全國(guó)工業(yè)產(chǎn)值的數(shù)據(jù)表格，模型能夠根據(jù)數(shù)據(jù)繪制經(jīng)濟(jì)數(shù)據(jù)折線圖，并且使用機(jī)器學(xué)習(xí)模型預(yù)測(cè)未來(lái)的數(shù)據(jù)。

書(shū)生·浦語(yǔ) 2.0 ——打造堅(jiān)實(shí)的語(yǔ)言大模型基座

經(jīng)過(guò) 2023 年大模型市場(chǎng)的角逐，不難發(fā)現(xiàn)，諸如長(zhǎng)窗口、情感計(jì)算等任何一個(gè)大模型能力上的突破作為優(yōu)勢(shì)，持續(xù)的時(shí)間不會(huì)超過(guò)三個(gè)月，各家的大模型用不了多久就會(huì)把能力補(bǔ)齊。

時(shí)間到了2024年，基座大模型的技術(shù)壁壘或許已不再高不可攀，要想獲得公眾、資本還是市場(chǎng)的青睞，勢(shì)必還需要把大模型推向真正的應(yīng)用落地上。

反過(guò)來(lái)，各種應(yīng)用的落地一定會(huì)依托一個(gè)比較強(qiáng)的、高質(zhì)量的基礎(chǔ)模型，這也是為什么上海人工智能實(shí)驗(yàn)室選擇做高質(zhì)量基礎(chǔ)模型的原因——它能夠讓從模型到最終落地的應(yīng)用中間的鏈條變得更短。

高質(zhì)量的模型能讓 AI 基礎(chǔ)上的應(yīng)用變得更方便、便捷、可靠，用更小的力氣，站在更高的平臺(tái)上。

「未來(lái)，我們的關(guān)注點(diǎn)還是在基礎(chǔ)模型的質(zhì)量和能力上。商業(yè)組織會(huì)在人工智能基座的基礎(chǔ)上進(jìn)行各類商業(yè)探索，但實(shí)驗(yàn)室不一樣，我們會(huì)一直聚焦基礎(chǔ)模型研發(fā)，長(zhǎng)期投入于我們堅(jiān)信的正確方向上?！沽诌_(dá)華告訴 AI 科技評(píng)論。

書(shū)生·浦語(yǔ) 2.0 有三個(gè)版本，分別為 InternLM2-Base、InternLM2 和 InternLM2-Chat。

相較于浦語(yǔ) 1.0 ，本次多了一個(gè) Base 版本。不同于以往的是，之前的基座模型已經(jīng)在數(shù)學(xué)、編程、理解等多個(gè)方面做過(guò)強(qiáng)化，而本次的 Base 版本沒(méi)有進(jìn)行任何的強(qiáng)化工作。

InternLM2-Base 更像是一個(gè)預(yù)訓(xùn)練的版本，它的能力還沒(méi)有被任何的方式激發(fā)，可能在直接表現(xiàn)方面并不是特別強(qiáng)，但是它的可塑性很高。

Base 版本提供了很大的探索的空間，上海人工智能實(shí)驗(yàn)室發(fā)布它的初衷也是希望各行業(yè)可以去探索如何將浦語(yǔ) 2.0 在某些垂直的方向進(jìn)行運(yùn)用，同時(shí)也期待對(duì)整個(gè)領(lǐng)域的生態(tài)構(gòu)建帶來(lái)更大的價(jià)值。

比較初代 InternLM 和 InternLM2 在各個(gè)能力維度上的表現(xiàn)，在推理、數(shù)學(xué)、代碼方面，新一代模型的進(jìn)步尤為明顯。

觀察 InternLM2 和 InternLM2-Chat 與 ChatGPT（GPT-3.5）以及 GPT-4 之間的差距可以發(fā)現(xiàn)：

20B 的模型，在多個(gè)關(guān)鍵評(píng)測(cè)中已經(jīng)很接近甚至部分超越 ChatGPT（GPT-3.5），其中在 AGIEval、 BigBench-Hard（BBH）、GSM8K、MATH等對(duì)推理能力有較高要求的評(píng)測(cè)上，新一代20B模型的表現(xiàn)都優(yōu)勝于 ChatGPT，在代碼能力上的表現(xiàn)也遠(yuǎn)優(yōu)于同量級(jí)開(kāi)源模型，縮小了和 ChatGPT 的差距。

1 月 17 日，書(shū)?·浦語(yǔ) 2.0 正式發(fā)布后，即可免費(fèi)商用，全鏈條開(kāi)源。

上海人工智能實(shí)驗(yàn)室在大模型上，始終堅(jiān)持一個(gè)路線：以高質(zhì)量的開(kāi)源來(lái)賦能創(chuàng)新——這是實(shí)驗(yàn)室的定位所在，也是其使命使然。雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)

「我們正在建立國(guó)家的高質(zhì)量的開(kāi)源基座，也希望能夠跟業(yè)界、學(xué)界傳達(dá)這樣的一個(gè)觀點(diǎn)：做大模型還是要回歸到很難但長(zhǎng)期價(jià)值大的路徑上去，這樣才能最終到達(dá)一個(gè)新的高度。」

開(kāi)源鏈接：https://github.com/InternLM/InternLM

免費(fèi)商用授權(quán)許可申請(qǐng)：https://wj.qq.com/s2/12725412/f7c1

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。