2024年11月5日，北京智源人工智能研究院主辦的“智源論壇·2024具身與世界模型專題峰會”在智源大廈舉行，智源研究院理事長黃鐵軍、智源研究院院長王仲遠、智源研究院副院長林詠華出席大會。智源具身多模態(tài)大模型研究中心負責人、北京大學研究員仉尚航，智源具身智能研究中心負責人、北京大學助理教授、銀河通用創(chuàng)始人王鶴，Google DeepMind研究科學家，谷歌RT1、2，SayCan作者Ted Xiao以及來自清華大學、香港大學、康奈爾大學、UC Berkeley、英國曼徹斯特大學、大灣區(qū)大學（籌），中國科學院等知名高校和研究機構(gòu)的學者專家，加速進化、傅利葉、樂聚機器人、星塵智能等具身智能頭部企業(yè)的創(chuàng)始人、CEO圍繞具身智能和世界模型的前沿方向、技術(shù)實踐進行了主題分享與深度探討。

 

具身智能的發(fā)展，無論是硬件穩(wěn)定性，數(shù)據(jù)采集與仿真，具身大小腦模型分層架構(gòu)或者端到端技術(shù)路線，還是終端使用場景，都面臨諸多挑戰(zhàn)，需要產(chǎn)學研深度協(xié)同與廣泛聯(lián)動。智源研究院院長王仲遠在開幕式致辭中表示，智源研究院將依托多模態(tài)大模型技術(shù)優(yōu)勢資源，聯(lián)合北大、清華、中科院等高校院所以及銀河通用、樂聚、加速進化、宇樹等產(chǎn)業(yè)鏈上下游企業(yè)，建設具身智能創(chuàng)新平臺，重點開展數(shù)據(jù)、模型、場景驗證等研究，共同打造具身智能創(chuàng)新生態(tài)。

智源具身多模態(tài)大模型研究中心創(chuàng)新地設計了面向機器人具身基礎模型的快慢系統(tǒng)框架，快系統(tǒng)能夠高效快速的預測末端執(zhí)行器位姿，慢系統(tǒng)則是在面對復雜和錯誤行為時更加深入地思考和糾錯，不斷提升機器人大腦的能力。為了實現(xiàn)該快慢系統(tǒng)框架，智源探索了具身端到端以及大小腦分層結(jié)構(gòu)的不同技術(shù)路線，進行開放世界泛化物體操作，并基于大腦模型進行語義理解與常識推理，實現(xiàn)零樣本物體導航。無論是端到端模型還是分層結(jié)構(gòu)，最終都是為了讓機器人能更好地理解物理世界規(guī)律，更好地與環(huán)境交互，更好地執(zhí)行時序上的準確行為。因此，智源同時提出了四維世界模型Robo4D，為世界模型構(gòu)建四維時空，以解決機器人在開放世界中任務操作的物體泛化以及場景泛化等問題。相關(guān)研究被國際旗艦會議NeurIPS 2024、ICML 2024接收。

智源具身多模態(tài)大模型研究中心利用世界模型預測機器人與環(huán)境交互后的未來事件，從而生成準確的行為，提前預測行為是正確還是失敗。智源設計的世界模型的技術(shù)路徑是，首先將世界模型啟動和響應模態(tài)設置為視頻模態(tài)，給定關(guān)于動作的語言指令和當前機器人的狀態(tài)去生成機器人執(zhí)行完動作后的完整視頻。針對給定的任務，模型可以完整預測任務執(zhí)行的過程，從物理世界中學習規(guī)律，生成視頻之后，通過模型將視頻轉(zhuǎn)換成機器人的行動。其中，任務到視頻生成以及視頻到行動的過程，利用了智源原生多模態(tài)世界模型Emu3將理解和生成大一統(tǒng)的技術(shù)思路，形成自我反思的思維鏈。

 

智源具身多模態(tài)大模型研究中心負責人仉尚航認為，近期的一系列工作展現(xiàn)出具身基礎模型的廣泛前景，中心將繼續(xù)探索具身多模態(tài)大模型與大數(shù)據(jù)構(gòu)建，踐行機器人領(lǐng)域的Scaling Law。實現(xiàn)真實世界的四維時空世界模型是邁向機器人整體AGI的重要一步。四維世界模型將作為機器人的世界基礎模擬器，同時具備時間與空間智能，擁有長短期記憶與物理概念學習等能力，與真實物理世界進行交互并從中得到反饋。

智源具身多模態(tài)大模型研究中心在近期的研究中將世界模型從二維拓展至四維，采用先驗引導的3D Gaussian Splatting算法，基于單一視角的視頻片段生成四維世界空間。采用多輪世界空間映射模型將不同位置的世界空間映射到視頻域，最終應用于下游任務，生成式數(shù)據(jù)提升了機器人操作的泛化性。

 

智源具身智能研究中心負責人、北京大學助理教授、銀河通用創(chuàng)始人王鶴在特邀報告中強調(diào)，空間智能要注重三維信息的使用，否則對空間幾何的理解非常有限，還需注重交互智能，而交互智能背后所需的大量數(shù)據(jù)應該用合成數(shù)據(jù)替代真實世界的數(shù)據(jù)采集，才能達到大模型所需要的數(shù)據(jù)規(guī)模，實現(xiàn)真正的泛化性。

目前，智源具身智能研究中心展開了一系列技能的泛化研究和具身端到端大模型的訓練研究。首先把二維真實世界看到的二維圖像升維到三維，用擴散模型預測視差。并自研了大規(guī)模動作數(shù)據(jù)的仿真合成技術(shù)，覆蓋了桌面物體擺放、桌面紋理、光照等各種空間形態(tài)和位置關(guān)系，在仿真器中對光線折射和反射進行仿真并進行渲染。目前團隊最新的進展是完成了10億規(guī)模的靈巧抓取數(shù)據(jù)集DexGraspNet 2.0，覆蓋了基于各種物體的大規(guī)模的抓取標簽生成，在這樣的大規(guī)模數(shù)據(jù)上訓練的靈巧手抓取模型率先實現(xiàn)了泛化場景真機成功率90%以上。

在端到端模型研發(fā)方面，團隊訓練了全球首個基于視頻流的端到端導航大模型NaVid，無需建圖，也不依賴于深度信息和里程計信息等其它傳感器信號，完全依靠機器人攝像頭采集的單視角RGB視頻流，通過Sim2Real的方式，實現(xiàn)在真實世界室內(nèi)場景甚至是室外場景的zero-shot真機泛化。近期，智源在導航大模型加入了三維模態(tài)，提出了端到端空間導航大模型NaVid-4D，該模型在一系列有更高要求的自然語言指令導航任務中實現(xiàn)了進一步突破。

 

大會期間，智源研究院院長王仲遠主持具身智能技術(shù)與應用發(fā)展前沿展望圓桌討論，清華大學自動化系教授，加速進化聯(lián)合創(chuàng)始人趙明國，智源具身智能研究中心負責人、北京大學助理教授、銀河通用創(chuàng)始人王鶴、傅利葉創(chuàng)始人兼CEO顧捷，樂聚機器人創(chuàng)始人冷曉琨，中科院自動化所研究員王鵬，UC Berkeley潘家怡，圍繞具身智能的本體形態(tài)、數(shù)據(jù)、泛化能力、產(chǎn)業(yè)落地前景等議題分享了最新的思考與觀察。

 

此外，下午的空間智能和世界模型圓桌討論由智源研究院副院長林詠華主持，清華大學機械工程系助理研究員陳睿，清華大學電子工程系副教授代季峰，星塵智能創(chuàng)始人兼CEO來杰，香港大學助理教授李弘揚 ，北京通用人工智能研究院研究科學家黃思遠，分別就機器人的世界模型技術(shù)路線、關(guān)鍵技術(shù)要點以及面臨的核心挑戰(zhàn)等問題進行了不同視角的解讀。

 

在閉幕致辭中，智源研究院理事長黃鐵軍指出，智能是環(huán)境的產(chǎn)物。人類智能來源于對環(huán)境的適應演化以及對世界的抽象。智能應該是大大小小各種形態(tài)的，不能變成一個完全統(tǒng)一的智能。具身智能的發(fā)展是必然趨勢，無論是人形還是其他形態(tài)的機器人，未來需要龐大的產(chǎn)業(yè)群配套，促進具身智能的關(guān)鍵部件與材料，軟件與硬件協(xié)同發(fā)展。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。