美團(tuán)邁出通向“世界模型”的第一步，并計劃用它更好地連接“原子世界”與“比特世界”。                  

▲美團(tuán)發(fā)布并開源LongCat-Video視頻生成模型，邁出通向“世界模型”的第一步（資料圖）

10月27日，美團(tuán)LongCat團(tuán)隊發(fā)布并開源LongCat-Video視頻生成模型，以統(tǒng)一模型在文生、圖生視頻基礎(chǔ)任務(wù)上達(dá)到開源SOTA（最先進(jìn)水平），并依托原生視頻續(xù)寫任務(wù)預(yù)訓(xùn)練，實現(xiàn)分鐘級長視頻連貫生成，保障跨幀時序一致性與物理運動合理性，在長視頻生成領(lǐng)域具備顯著優(yōu)勢。

近年來，“世界模型”（World Model）因讓人工智能真正理解、預(yù)測甚至重構(gòu)真實世界，被業(yè)界視作通往下一代智能的核心引擎。作為能夠建模物理規(guī)律、時空演化與場景邏輯的智能系統(tǒng)，“世界模型”賦予人工智能“看見”世界運行本質(zhì)的能力。而視頻生成模型有望成為構(gòu)建世界模型的關(guān)鍵路徑——通過視頻生成任務(wù)壓縮幾何、語義、物理等多種形式的知識，人工智能得以在數(shù)字空間中模擬、推演乃至預(yù)演真實世界的運行。

正因如此，美團(tuán)LongCat團(tuán)隊認(rèn)為，此次發(fā)布的視頻生成模型，是為探索“世界模型”邁出的第一步。未來，憑借精準(zhǔn)重構(gòu)真實世界運行狀態(tài)的能力，LongCat模型也會融入公司近年來持續(xù)投入的自動駕駛、具身智能等深度交互業(yè)務(wù)場景中，成為公司更好連接“比特世界”和“原子世界”的技術(shù)基礎(chǔ)。

▲LongCat-Video視頻生成模型視頻推理速度提升至10.1倍（資料圖）

 

具體來看，此次開源模型的技術(shù)報告顯示，作為基于Diffusion Transformer（DiT）架構(gòu)的多功能統(tǒng)一視頻生成基座，LongCat-Video創(chuàng)新通過 “條件幀數(shù)量” 實現(xiàn)任務(wù)區(qū)分，原生支持三大核心任務(wù)：文生視頻無需條件幀、圖生視頻輸入 1 幀參考圖、視頻續(xù)寫依托多幀前序內(nèi)容，且無需額外模型適配，形成“文生/圖生/視頻續(xù)寫”完整任務(wù)閉環(huán)。

此外，依托視頻續(xù)寫任務(wù)預(yù)訓(xùn)練，新模型可穩(wěn)定輸出5分鐘級別的長視頻，且無質(zhì)量損失，達(dá)到行業(yè)頂尖水平。同時，從根源規(guī)避色彩漂移、畫質(zhì)降解、動作斷裂等行業(yè)痛點，保障跨幀時序一致性與物理運動合理性，適配數(shù)字人、具身智能、世界模型等需要長時序動態(tài)模擬的場景需求。模型還結(jié)合塊稀疏注意力（BSA）與條件 token 緩存機制，大幅降低長視頻推理冗余——即便處理 93 幀及以上長序列，仍能兼顧效率與生成質(zhì)量穩(wěn)定，打破長視頻生成“時長與質(zhì)量不可兼得”的瓶頸。

針對高分辨率、高幀率視頻生成的計算瓶頸，LongCat-Video通過“二階段粗到精生成（C2F）+ 塊稀疏注意力（BSA）+ 模型蒸餾”三重優(yōu)化，視頻推理速度提升至10.1倍，實現(xiàn)效率與質(zhì)量的最優(yōu)平衡。

▲LongCat-Video視頻生成模型在文生、圖生視頻基礎(chǔ)任務(wù)上達(dá)到開源SOTA（資料圖）

技術(shù)報告還稱，LongCat-Video的模型評估圍繞內(nèi)部基準(zhǔn)測試和公開基準(zhǔn)測試展開，覆蓋 Text-to-Video（文本生成視頻）、Image-to-Video（圖像生成視頻）兩大核心任務(wù)，從多維度（文本對齊、圖像對齊、視覺質(zhì)量、運動質(zhì)量、整體質(zhì)量）驗證模型性能：136億參數(shù)的視頻生成基座模型，在文生視頻、圖生視頻兩大核心任務(wù)中，綜合性能均達(dá)到當(dāng)前開源領(lǐng)域SOTA級別；通過文本 - 視頻對齊、視覺質(zhì)量、運動質(zhì)量、整體質(zhì)量四大維度評估，其性能在文本對齊度、運動連貫性等關(guān)鍵指標(biāo)上展現(xiàn)顯著優(yōu)勢；在VBench等公開基準(zhǔn)測試中，LongCat-Video在參評模型中整體表現(xiàn)優(yōu)異。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。