丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號安全和更好的產(chǎn)品體驗,強烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預(yù)覽,將在時失效
業(yè)界 正文
發(fā)私信給林覺民
發(fā)送

0

在知乎上,多位研發(fā)工程師“親自答”萬億參數(shù)Kimi K2開源幕后故事

本文作者: 林覺民   2025-07-15 12:57
導(dǎo)語:“參與過Kimi K2的接生,自己的孩子怎么看都順眼”。7月11日晚,國內(nèi)大模型獨角獸月之暗面正式發(fā)布并開源了其最新一代MoE架構(gòu)基礎(chǔ)模型Kimi K

“參與過Kimi K2的接生,自己的孩子怎么看都順眼”。7月11日晚,國內(nèi)大模型獨角獸月之暗面正式發(fā)布并開源了其最新一代MoE架構(gòu)基礎(chǔ)模型Kimi K2,總參數(shù)量達到1萬億(1T),這一消息迅速引發(fā)了AI領(lǐng)域的廣泛關(guān)注,Kimi內(nèi)部則將K2研發(fā)群戲稱為“接生群”。多位參與“接生”的Kimi研發(fā)人員隨后在知乎展開“親自答”,從多個角度深入講述了其背后研發(fā)歷程。

作為月之暗面 Infra側(cè)推理方面研發(fā)人員,知乎答主劉少偉談及了K2模型結(jié)構(gòu)的設(shè)計宗旨。他稱K2模型是在DeepSeek V3結(jié)構(gòu)的框架之下,如何選擇合適的參數(shù),使得模型在訓(xùn)練、推理成本與v3相當(dāng)?shù)那疤嵯?,獲得明顯更低的loss。“綜合以上四個相比v3的改動,我們能夠得到一個在相同EP數(shù)量下,雖然總參數(shù)增大到1.5倍,但除去通信部分,理論的prefill和decode耗時都更小的推理方案”。

在知乎上,多位研發(fā)工程師“親自答”萬億參數(shù)Kimi K2開源幕后故事 

月之暗面研究員、知乎答主Flood Sung則表示,Kimi K2最值得關(guān)注的信息,除了MuonClip帶來的漂亮得起飛的loss曲線,還有就是Agent能力。他透露,為了實現(xiàn)更好的通用Agent能力,構(gòu)建了一個大規(guī)模的agent合成數(shù)據(jù)pipeline:簡單的說是一個完全自動化的agent數(shù)據(jù)生產(chǎn)工廠,通過全流程的模擬來過濾出好的Agent軌跡數(shù)據(jù)。Flood Sung稱,“這個生產(chǎn)線非常符合老子的思想:‘一生二,二生三,三生萬物’?!?/p>

另一位月之暗面研發(fā)人員、知乎答主Justin Wong談到Kimi K2為何會選擇開源時稱,開源意味著能夠借助社區(qū)力量完善技術(shù)生態(tài),“在我們開源不到24小時就看到有社區(qū)做出K2的MLX實現(xiàn)、4bit量化等等,這些憑我們這點人力真的做不出來”。月之暗面研究員、知乎答主Dylan則表示,K2實際上就是一個剛出生的baby,雖然略顯“靈性”,但和很多已久的frontier model(前沿模型)相比,還是有很多、很明顯的缺點,“作為post-train(后訓(xùn)練)相關(guān)的同學(xué),還是略感慚愧,希望后面的版本迭代里面能夠持續(xù)釋放K2 base model的潛力”。

在知乎上,多位研發(fā)工程師“親自答”萬億參數(shù)Kimi K2開源幕后故事 

開發(fā)者在AI成果發(fā)布的同時,越來越多選擇來知乎發(fā)布背后的詳盡思考。6月,月之暗面也曾發(fā)布一款A(yù)gent產(chǎn)品,Kimi-researcher兩位主要研發(fā)人員也在知乎親自答,解讀產(chǎn)品背后的技術(shù)思考和亮點。更早之前,月之暗面開源MoBA框架研發(fā)人員鹿恩哲、蘇劍林分別在知乎上講述了研發(fā)思路,引發(fā)了業(yè)界對“稀疏注意力”框架的討論。

2025年以來,伴隨AI技術(shù)新浪潮的蔓延,知乎引領(lǐng)了一系列全網(wǎng)重要的AI趨勢發(fā)布。3月,DeepSeek在知乎開設(shè)官方賬號,并獨家發(fā)布《DeepSeek-V3/R1 推理系統(tǒng)概覽》技術(shù)文章;智元機器人聯(lián)合創(chuàng)始人彭志輝(稚暉君)在知乎以視頻形式發(fā)布了人形機器人靈犀X2;10年“老答主”王興興在知乎與網(wǎng)友大量互動,分享宇樹機器人最新研發(fā)動態(tài)……

在頂流創(chuàng)業(yè)者們的一次次分享中,知乎見證了中國創(chuàng)新科技勢力的一次次突破,也凸顯了知乎作為AI領(lǐng)域核心交流陣地的獨特價值——以其濃厚的技術(shù)討論氛圍,搭建起開發(fā)者與行業(yè)、創(chuàng)新成果與大眾認(rèn)知之間的橋梁,讓前沿技術(shù)不再是晦澀難懂的孤島,持續(xù)推動著AI行業(yè)在“思維鏈開源”交流下向前發(fā)展躍遷。

雷峰網(wǎng)雷峰網(wǎng)(公眾號:雷峰網(wǎng))雷峰網(wǎng)


雷峰網(wǎng)特約稿件,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

分享:
相關(guān)文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說