“l(fā)ossless long context is everything”，楊植麟不止一次表達(dá)過這一觀點(diǎn)，而月之暗面的最新動(dòng)作也表明團(tuán)隊(duì)對(duì)這一觀點(diǎn)的堅(jiān)定信仰。

3月18日，AI大模型初創(chuàng)企業(yè)——月之暗面宣布在大模型長(zhǎng)上下文窗口技術(shù)上取得新的突破，Kimi 智能助手已支持200萬字超長(zhǎng)無損上下文，并于即日起開啟產(chǎn)品“內(nèi)測(cè)”，用戶可到 Kimi 智能助手網(wǎng)頁(yè)版 kimi.ai 首頁(yè)申請(qǐng)?bào)w驗(yàn)。

而這距離去年10月，Kimi 智能助手正式推出，最高可支持20萬漢字無損上下文輸入，才過去不到半年時(shí)間。

據(jù)介紹，Kimi 智能助手是月之暗面基于自研千億參數(shù)大模型——Kimi大模型（原Moonshot大模型）打造的對(duì)話式 AI 助手產(chǎn)品，一經(jīng)發(fā)布，最高可支持20萬漢字無損上下文輸入的能力創(chuàng)造了消費(fèi)級(jí)AI產(chǎn)品所支持的上下文輸入長(zhǎng)度紀(jì)錄。

面向全社會(huì)開放服務(wù)后，基于出色的長(zhǎng)上下文處理能力，Kimi 智能助手幫助用戶解鎖了很多新的使用場(chǎng)景，比如專業(yè)學(xué)術(shù)論文的翻譯和理解、輔助分析法律問題、一次性整理幾十張發(fā)票、快速理解API開發(fā)文檔……

用戶在使用過后紛紛給予好評(píng)，認(rèn)為其是當(dāng)前最好用的智能助手之一。

而現(xiàn)在，月之暗面開始自己卷自己，不到半年時(shí)間，月之暗面就將 Kimi 智能助手的無損上下文長(zhǎng)度提升了一個(gè)數(shù)量級(jí)， 從 20 萬字到 200 萬字，提高了10倍。

據(jù)月之暗面透露，為了達(dá)到更好的長(zhǎng)窗口無損壓縮性能，研發(fā)和技術(shù)團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對(duì)齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開發(fā)，不走“滑動(dòng)窗口”“降采樣”等技術(shù)捷徑，攻克了很多底層技術(shù)難點(diǎn)，才取得了新的突破。

月之暗面工程副總裁許欣然告訴雷峰網(wǎng)，在過去的5個(gè)月里，基于相同成本、相同設(shè)備，Kimi大模型的響應(yīng)速度提升了近3倍。

200萬字漢字的上下文長(zhǎng)度，能做什么

升級(jí)后的Kimi 智能助手到底能做哪些事情呢？

簡(jiǎn)單來說，200萬字漢字的上下文長(zhǎng)度，意味著它能夠解鎖海量的超長(zhǎng)任務(wù)、復(fù)雜任務(wù)；快速學(xué)習(xí)一個(gè)新領(lǐng)域，kimi10分鐘速成定律；快速學(xué)習(xí)大模型推理、挖掘長(zhǎng)篇故事情節(jié)中的深層次信息。

在溝通會(huì)現(xiàn)場(chǎng)，月之暗面展示了一些超長(zhǎng)無損上下文的使用場(chǎng)景示例。比如，用戶上傳幾十萬字的經(jīng)典德州撲克長(zhǎng)篇教程后，讓 Kimi 扮演德?lián)鋵＜覟樽约禾峁┏雠撇呗缘闹笇?dǎo)。

上傳一份完整的近百萬字中醫(yī)診療手冊(cè)，讓 Kimi 針對(duì)的用戶問題給出診療建議。

上傳英偉達(dá)過去幾年的完整財(cái)報(bào)，讓 Kimi 成為英偉達(dá)財(cái)務(wù)研究專家，幫用戶分析總結(jié)英偉達(dá)歷史上的重要發(fā)展節(jié)點(diǎn)。

上傳一個(gè)代碼倉(cāng)庫(kù)里的源代碼，可以詢問 Kimi 關(guān)于代碼庫(kù)的所有細(xì)節(jié)，即便是毫無注釋的陳年老代碼也能幫助你快速梳理出代碼的結(jié)構(gòu)。

過去要 10000 小時(shí)才能成為專家的領(lǐng)域，現(xiàn)在只需要 10 分鐘，Kimi 就能接近任何一個(gè)新領(lǐng)域的初級(jí)專家水平。用戶可以跟 Kimi 探討這個(gè)領(lǐng)域的問題，讓 Kimi 幫助自己練習(xí)專業(yè)技能，或者啟發(fā)新的想法。有了支持 200 萬字無損上下文的Kimi，快速學(xué)習(xí)任何一個(gè)新領(lǐng)域都會(huì)變得更加輕松。

無損的長(zhǎng)上下文，將是通往AGI的關(guān)鍵

如今，國(guó)內(nèi)大模型在歷經(jīng)持續(xù)了一年多的百模大戰(zhàn)后，市場(chǎng)競(jìng)爭(zhēng)逐漸深化，切實(shí)提升模型能力，才是決定模型是否真正可用、好用的關(guān)鍵所在。而上下文長(zhǎng)度也成為各大AI大模型公司比拼的一個(gè)焦點(diǎn)所在。

在許欣然看來，大模型無損上下文長(zhǎng)度的數(shù)量級(jí)提升，將會(huì)進(jìn)一步幫助大家打開對(duì)AI應(yīng)用場(chǎng)景的想象力，包括完整代碼庫(kù)的分析理解、自主幫助大家完成多步驟復(fù)雜任務(wù)的智能體Agent、不會(huì)遺忘關(guān)鍵信息的終身助理，以及真正統(tǒng)一架構(gòu)的多模態(tài)模型，等等。

“無論是內(nèi)存、算力還是網(wǎng)絡(luò)帶寬，歷史上每一次基礎(chǔ)技術(shù)的升級(jí)，都會(huì)解鎖新的產(chǎn)品形態(tài)和應(yīng)用場(chǎng)景。我們對(duì) 200 萬無損上下文的 Kimi 可以帶來哪些超出想象力的創(chuàng)新機(jī)遇充滿期待。”

而楊植麟也不止一次公開表示，想要通往通用人工智能（AGI），無損的長(zhǎng)上下文將會(huì)是一個(gè)很關(guān)鍵的基礎(chǔ)技術(shù)。從 word2vec 到 RNN、LSTM，再到Transformer，歷史上所有的模型架構(gòu)演進(jìn)，本質(zhì)上都是在提升有效的、無損的上下文長(zhǎng)度。

“上下文長(zhǎng)度可能存在摩爾定律，但需要同時(shí)優(yōu)化長(zhǎng)度和無損壓縮水平兩個(gè)指標(biāo)，才是有意義的規(guī)?；！?/p>

之前，20 萬字的無損長(zhǎng)上下文幫已經(jīng)幫助用戶打開了新的AI應(yīng)用世界。許欣然告訴雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))，用戶使用Kimi 智能助手能做的事情遠(yuǎn)遠(yuǎn)超過他們的想象，有很多好玩的玩法也是在看了用戶的使用評(píng)價(jià)之后才發(fā)現(xiàn)，“原來還可以這樣玩。”

而這也是月之暗面一直堅(jiān)持的觀點(diǎn)——與用戶共創(chuàng)。

如今，伴隨模型能力的每日升級(jí)，iOS應(yīng)用、Android應(yīng)用、小程序、Web等多端平臺(tái)的上線，Kimi 智能助手已成為越來越多用戶工作和生活離不開的 AI 小助手。此次正式啟動(dòng) 200 萬字超長(zhǎng)上下文的內(nèi)測(cè)申請(qǐng)后，月之暗面會(huì)逐步開放更多用戶來體驗(yàn)具備超長(zhǎng)無損上下文能力的 Kimi 智能助手，期待與更多用戶共創(chuàng)智能。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。