0
作者：李揚霞
編輯：陳彩嫻
10月9日，由楊植麟創(chuàng)立的?之暗?，發(fā)布大模型產(chǎn)品——Moonshot AI，以及搭載該模型的智能助?Kimi Chat，是全球首個支持20萬字輸??度的大模型。
據(jù)楊植麟介紹，Claude支持8萬字左右，GPT4 只支持2萬字左右。也就是說 Moonshot AI 已經(jīng)超越了支持 100K 輸??度的大模型 Claude 以及支持 32K tokens 處理能力的 GPT4 。
其中Claude通過提供??本問答服務(wù)實現(xiàn)了產(chǎn)品層的突破，并于近期拿下Amazon的40億美?投資。
而?之暗?在成立不久也已經(jīng)獲得來?紅杉資本、今?資本、礪思資本等知名投資機構(gòu)近20億元的融資。
那么楊植麟在國內(nèi)做大模型的公司里面究竟是一個什么位置呢？
一個硅谷極具影響力的科技媒體The Information列出了其認(rèn)為有可能成為“中國OpenAI”的五個候選，里面有MiniMax、智譜AI、光年之外以及瀾舟科技，而另一個位置就是楊植麟。
楊植麟不僅師從清華教授、IEEE Fellow唐杰。后來他還前往 NLP 研究全球排名第一的 CMU（卡內(nèi)基梅隆大學(xué)）語言技術(shù)研究所（LTI），跟隨蘋果公司 AI 負(fù)責(zé)人Ruslan Salakhutdinov 和 Google AI 智能首席科學(xué)家 William W. Cohen 攻讀博士學(xué)位。
卡內(nèi)基梅隆大學(xué)計算機專業(yè)的博士生往往要經(jīng)過六年的學(xué)習(xí)才能畢業(yè)，而楊植麟只用了四年（2015-2019）就從CMU出師。
而其團隊的核心成員也多出身清華系，有明星團隊的光環(huán)在身，倍受關(guān)注。
楊植麟表示，這次創(chuàng)業(yè)瞄準(zhǔn)的是ToC賽道，并闡述了創(chuàng)業(yè)的三個主要原因：第一，探索智能的邊界，滿足好奇心；第二，探索的東西對世界有用，和用戶共創(chuàng)找到落地的場景；第三，希望AI是普惠的，提供一個更強大的方式，做個性化的結(jié)合。
（Kimi Chat內(nèi)測界面）
1、瞄準(zhǔn)ToC賽道
“大模型產(chǎn)品將進入長文本時代，”在媒體溝通會上楊植麟指出。Moonshot AI相信，更?的上下??度可以為?模型應(yīng)?帶來全新的篇章，促使?模型從 LLM時代進?L(Long)LLM時代
“我們認(rèn)為不光是要有足夠多的參數(shù)量，同時要有很長的上下文能力，這是標(biāo)志的新一代大模型的內(nèi)存?！痹跅钪谗肟磥?，做好大模型，有兩個條件，第一個就是參數(shù)量，因為參數(shù)量決定了能處理多復(fù)雜的計算；第二個條件就是文本長度，因為上下文對應(yīng)的是計算機的內(nèi)存。
楊植麟說突破長文本能力是“登月計劃”的第一步，也是為之后的多模態(tài)能力打基礎(chǔ)。他對雷峰網(wǎng)表示，計劃明年會推出多模態(tài)能力。
Moonshot AI 的技術(shù)路線就是不走捷徑，踏實解決算法和工程的雙重挑戰(zhàn)。在楊植麟看來，目前很多長上下文的模型走的是以下三種捷徑：鯨魚模型、蜜蜂模型、蝌蚪模型。
“鯨魚模型”可以理解為，以滑動窗口的方式，直接主動拋棄了很多上文，雖然號稱的范圍很長，但是實際上支持的很短，這種鯨魚模型是很難解決很多任務(wù)。
“蜜蜂模型”是關(guān)注局部，忽略了全局，雖然可以輸入整個上下文，但模型可能只是采樣其中的局部。比如一篇文章的關(guān)鍵在中間，那么它就無法提取到關(guān)鍵信息。
“蝌蚪模型”則是能力不夠，可能只有10億的參數(shù)量，并不是千億級別的，所以能力有限。
目前Moonshot AI在存儲、算力、帶寬，都做了很多的優(yōu)化，是一個真正可用可產(chǎn)品化的長文本，楊植麟如是說。
2、長文本處理能力驚人
為什么在這場如火如荼的AI大戰(zhàn)中，大模型的長文本處理能力成為了各家攀比的關(guān)鍵。
用過大模型產(chǎn)品的朋友應(yīng)該遇到過這樣一個現(xiàn)象：當(dāng)你和大模型進行多輪對話，聊著聊著它可能就忘了你之前說話的內(nèi)容，此時回答的內(nèi)容也比較拉垮。事實上是大模型在處理大量新內(nèi)容時會有點“力不從心”，因此看起來像是出現(xiàn)了“分心”的現(xiàn)象。
長文本處理是生成式AI的重要應(yīng)用場景之一，因為良好的長文本處理能力可以讓AI系統(tǒng)理解書籍、研究報告、法律文件等足夠復(fù)雜和冗長的信息，這將為知識獲取、文檔分析、語義理解等方面帶來實用價值。
溝通會現(xiàn)場，楊植麟為我們演示了，Kimi Chat 在提取20萬字小說關(guān)鍵信息的能力；可以一口氣輸入幾十個文檔進行提??；同時還能輸入鏈接，直接提取鏈接內(nèi)的內(nèi)容，進行角色扮演；另外還可以分析財報，理解法律條文。
當(dāng)問及上下文輸入過長可能會導(dǎo)致注意力分散問題，楊植麟對雷峰網(wǎng)表示，當(dāng)你的輸入有 20 萬字的時候，要讓模型準(zhǔn)確的去連到某一個 token 上，這個難度肯定是會變大。所以在這里面其實就需要一些更高效的對齊方式，比如怎么去高效地得到好的數(shù)據(jù)，同時用一個工程化的方式去把它實現(xiàn)出來，這個需要大量的迭代和訓(xùn)練，而傳統(tǒng)的鯨魚、蜜蜂、蝌蚪模型是無法解決這些問題的。
Moonshot AI 突破這些難點的兩個關(guān)鍵詞是“全局”和“大規(guī)模參數(shù)”，一方面是要全局地思考上下文，另一方面是用千億參數(shù)來訓(xùn)練，這兩點很重要，楊植麟在最后表示。
在雷峰網(wǎng)(公眾號：雷峰網(wǎng))看來，目前各家大模型還處于你追我趕的爭奪賽當(dāng)中，未來生成式AI的技術(shù)競賽將在長文本處理領(lǐng)域。
本文作者：李揚霞，微信Dec9102。長期聚焦網(wǎng)絡(luò)安全領(lǐng)域，同時關(guān)注AIGC、大模型等內(nèi)容，對以上領(lǐng)域感興趣的讀者歡迎添加作者微信。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
