作者：李揚(yáng)霞

編輯：陳彩嫻

10月9日，由楊植麟創(chuàng)立的?之暗?，發(fā)布大模型產(chǎn)品——Moonshot AI，以及搭載該模型的智能助?Kimi Chat，是全球首個(gè)支持20萬(wàn)字輸??度的大模型。

據(jù)楊植麟介紹，Claude支持8萬(wàn)字左右，GPT4 只支持2萬(wàn)字左右。也就是說(shuō) Moonshot AI 已經(jīng)超越了支持 100K 輸??度的大模型 Claude 以及支持 32K tokens 處理能力的 GPT4 。

其中Claude通過(guò)提供??本問(wèn)答服務(wù)實(shí)現(xiàn)了產(chǎn)品層的突破，并于近期拿下Amazon的40億美?投資。

而?之暗?在成立不久也已經(jīng)獲得來(lái)?紅杉資本、今?資本、礪思資本等知名投資機(jī)構(gòu)近20億元的融資。

那么楊植麟在國(guó)內(nèi)做大模型的公司里面究竟是一個(gè)什么位置呢？

一個(gè)硅谷極具影響力的科技媒體The Information列出了其認(rèn)為有可能成為“中國(guó)OpenAI”的五個(gè)候選，里面有MiniMax、智譜AI、光年之外以及瀾舟科技，而另一個(gè)位置就是楊植麟。

楊植麟不僅師從清華教授、IEEE Fellow唐杰。后來(lái)他還前往 NLP 研究全球排名第一的 CMU（卡內(nèi)基梅隆大學(xué)）語(yǔ)言技術(shù)研究所（LTI），跟隨蘋果公司 AI 負(fù)責(zé)人Ruslan Salakhutdinov 和 Google AI 智能首席科學(xué)家 William W. Cohen 攻讀博士學(xué)位。

卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)專業(yè)的博士生往往要經(jīng)過(guò)六年的學(xué)習(xí)才能畢業(yè)，而楊植麟只用了四年（2015-2019）就從CMU出師。

而其團(tuán)隊(duì)的核心成員也多出身清華系，有明星團(tuán)隊(duì)的光環(huán)在身，倍受關(guān)注。

楊植麟表示，這次創(chuàng)業(yè)瞄準(zhǔn)的是ToC賽道，并闡述了創(chuàng)業(yè)的三個(gè)主要原因：第一，探索智能的邊界，滿足好奇心；第二，探索的東西對(duì)世界有用，和用戶共創(chuàng)找到落地的場(chǎng)景；第三，希望AI是普惠的，提供一個(gè)更強(qiáng)大的方式，做個(gè)性化的結(jié)合。

（Kimi Chat內(nèi)測(cè)界面）

1、瞄準(zhǔn)ToC賽道

“大模型產(chǎn)品將進(jìn)入長(zhǎng)文本時(shí)代，”在媒體溝通會(huì)上楊植麟指出。Moonshot AI相信，更?的上下??度可以為?模型應(yīng)?帶來(lái)全新的篇章，促使?模型從 LLM時(shí)代進(jìn)?L(Long)LLM時(shí)代

“我們認(rèn)為不光是要有足夠多的參數(shù)量，同時(shí)要有很長(zhǎng)的上下文能力，這是標(biāo)志的新一代大模型的內(nèi)存?！痹跅钪谗肟磥?lái)，做好大模型，有兩個(gè)條件，第一個(gè)就是參數(shù)量，因?yàn)閰?shù)量決定了能處理多復(fù)雜的計(jì)算；第二個(gè)條件就是文本長(zhǎng)度，因?yàn)樯舷挛膶?duì)應(yīng)的是計(jì)算機(jī)的內(nèi)存。

楊植麟說(shuō)突破長(zhǎng)文本能力是“登月計(jì)劃”的第一步，也是為之后的多模態(tài)能力打基礎(chǔ)。他對(duì)雷峰網(wǎng)表示，計(jì)劃明年會(huì)推出多模態(tài)能力。

Moonshot AI 的技術(shù)路線就是不走捷徑，踏實(shí)解決算法和工程的雙重挑戰(zhàn)。在楊植麟看來(lái)，目前很多長(zhǎng)上下文的模型走的是以下三種捷徑：鯨魚模型、蜜蜂模型、蝌蚪模型。

“鯨魚模型”可以理解為，以滑動(dòng)窗口的方式，直接主動(dòng)拋棄了很多上文，雖然號(hào)稱的范圍很長(zhǎng)，但是實(shí)際上支持的很短，這種鯨魚模型是很難解決很多任務(wù)。

“蜜蜂模型”是關(guān)注局部，忽略了全局，雖然可以輸入整個(gè)上下文，但模型可能只是采樣其中的局部。比如一篇文章的關(guān)鍵在中間，那么它就無(wú)法提取到關(guān)鍵信息。

“蝌蚪模型”則是能力不夠，可能只有10億的參數(shù)量，并不是千億級(jí)別的，所以能力有限。

目前Moonshot AI在存儲(chǔ)、算力、帶寬，都做了很多的優(yōu)化，是一個(gè)真正可用可產(chǎn)品化的長(zhǎng)文本，楊植麟如是說(shuō)。

2、長(zhǎng)文本處理能力驚人

為什么在這場(chǎng)如火如荼的AI大戰(zhàn)中，大模型的長(zhǎng)文本處理能力成為了各家攀比的關(guān)鍵。

用過(guò)大模型產(chǎn)品的朋友應(yīng)該遇到過(guò)這樣一個(gè)現(xiàn)象：當(dāng)你和大模型進(jìn)行多輪對(duì)話，聊著聊著它可能就忘了你之前說(shuō)話的內(nèi)容，此時(shí)回答的內(nèi)容也比較拉垮。事實(shí)上是大模型在處理大量新內(nèi)容時(shí)會(huì)有點(diǎn)“力不從心”，因此看起來(lái)像是出現(xiàn)了“分心”的現(xiàn)象。

長(zhǎng)文本處理是生成式AI的重要應(yīng)用場(chǎng)景之一，因?yàn)榱己玫拈L(zhǎng)文本處理能力可以讓AI系統(tǒng)理解書籍、研究報(bào)告、法律文件等足夠復(fù)雜和冗長(zhǎng)的信息，這將為知識(shí)獲取、文檔分析、語(yǔ)義理解等方面帶來(lái)實(shí)用價(jià)值。

溝通會(huì)現(xiàn)場(chǎng)，楊植麟為我們演示了，Kimi Chat 在提取20萬(wàn)字小說(shuō)關(guān)鍵信息的能力；可以一口氣輸入幾十個(gè)文檔進(jìn)行提??；同時(shí)還能輸入鏈接，直接提取鏈接內(nèi)的內(nèi)容，進(jìn)行角色扮演；另外還可以分析財(cái)報(bào)，理解法律條文。

當(dāng)問(wèn)及上下文輸入過(guò)長(zhǎng)可能會(huì)導(dǎo)致注意力分散問(wèn)題，楊植麟對(duì)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))表示，當(dāng)你的輸入有 20 萬(wàn)字的時(shí)候，要讓模型準(zhǔn)確的去連到某一個(gè) token 上，這個(gè)難度肯定是會(huì)變大。所以在這里面其實(shí)就需要一些更高效的對(duì)齊方式，比如怎么去高效地得到好的數(shù)據(jù)，同時(shí)用一個(gè)工程化的方式去把它實(shí)現(xiàn)出來(lái)，這個(gè)需要大量的迭代和訓(xùn)練，而傳統(tǒng)的鯨魚、蜜蜂、蝌蚪模型是無(wú)法解決這些問(wèn)題的。

Moonshot AI 突破這些難點(diǎn)的兩個(gè)關(guān)鍵詞是“全局”和“大規(guī)模參數(shù)”，一方面是要全局地思考上下文，另一方面是用千億參數(shù)來(lái)訓(xùn)練，這兩點(diǎn)很重要，楊植麟在最后表示。

在雷峰網(wǎng)看來(lái)，目前各家大模型還處于你追我趕的爭(zhēng)奪賽當(dāng)中，未來(lái)生成式AI的技術(shù)競(jìng)賽將在長(zhǎng)文本處理領(lǐng)域。

---

本文作者：李揚(yáng)霞，微信Dec9102。長(zhǎng)期聚焦網(wǎng)絡(luò)安全領(lǐng)域，同時(shí)關(guān)注AIGC、大模型等內(nèi)容，對(duì)以上領(lǐng)域感興趣的讀者歡迎添加作者微信。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。