今早，在美國(guó)丹佛舉行的第51屆SIGGRAPH圖形大會(huì)上，NVIDIA宣布，將為全球領(lǐng)先的機(jī)器人制造商、AI模型開(kāi)發(fā)者和軟件制造商提供一套服務(wù)、模型以及計(jì)算平臺(tái)，以開(kāi)發(fā)、訓(xùn)練和構(gòu)建下一代人形機(jī)器人。

 

NVIDIA帶來(lái)了適用于OpenUSD語(yǔ)言、幾何體、物理學(xué)和材質(zhì)的生成式AI模型與NIM微服務(wù)。這一新服務(wù)將加速基于通用場(chǎng)景描述的工作流以及工業(yè)數(shù)字孿生和機(jī)器人的開(kāi)發(fā)。

 

NVIDIA 創(chuàng)始人兼 CEO 黃仁勛表示，“AI 的下一波浪潮是機(jī)器人，其中最令人興奮的發(fā)展之一是人形機(jī)器人。我們正在推進(jìn)整個(gè) NVIDIA 機(jī)器人堆棧的發(fā)展，面向全球人形機(jī)器人開(kāi)發(fā)者和公司開(kāi)放訪問(wèn)，讓他們能夠使用最符合其需求的平臺(tái)、加速庫(kù)和 AI 模型?！?/span>

 

值得一提的是，黃仁勛還同 Meta 創(chuàng)始人兼 CEO 馬克·扎克伯格進(jìn)行了爐邊談話。二人一同探討了基礎(chǔ)研究如何推動(dòng)AI突破性進(jìn)展，以及生成式AI和開(kāi)源技術(shù)如何為開(kāi)發(fā)者和創(chuàng)作者賦能。

 

將生成式AI引入OpenUSD

 

在本次大會(huì)上，NVIDIA發(fā)布了通用場(chǎng)景描述（OpenUSD）的重大成果。據(jù)介紹，NVIDIA將擴(kuò)大這一通用3D數(shù)據(jù)交換框架在機(jī)器人、工業(yè)設(shè)計(jì)和工程領(lǐng)域的應(yīng)用，提高開(kāi)發(fā)者為AI新一輪發(fā)展構(gòu)建高精度虛擬世界的能力。

 

本次新推出的內(nèi)容包括，適用于AI模型的NVIDIA NIM?微服務(wù)。

 

這些微服務(wù)可生成回答用戶查詢的OpenUSD語(yǔ)言、生成OpenUSD Python代碼、將材質(zhì)應(yīng)用于3D物體、理解3D空間和物理學(xué)以幫助加快數(shù)字孿生的開(kāi)發(fā)等。

 

此外，還包括可用于機(jī)器人和工業(yè)仿真數(shù)據(jù)格式的全新USD連接器，以及各種開(kāi)發(fā)者工具，用戶可通過(guò)它們將海量NVIDIA RTX?全光線追蹤數(shù)據(jù)集傳輸?shù)紸pple Vision Pro。

 

公開(kāi)資料介紹，NIM 全稱為 Nvidia Inference Microservice，即英偉達(dá)推理微服務(wù)，是 Nvidia AI Enterprise 的一部分，可以幫助客戶快速部署產(chǎn)品級(jí) AI 大模型應(yīng)用。

 

全球首個(gè)用于OpenUSD開(kāi)發(fā)的生成式AI模型也將以NVIDIA NIM微服務(wù)的形式提供。借助這些模型，開(kāi)發(fā)者能夠?qū)⑸墒紸I copilot和智能體整合到USD工作流中，拓寬3D世界的可能性，幫助加快USD在制造業(yè)、汽車行業(yè)和機(jī)器人等新工業(yè)領(lǐng)域的應(yīng)用。

 

預(yù)覽版中的微服務(wù)包括：

 

· USD Code NIM微服務(wù)：回答常識(shí)性O(shè)penUSD問(wèn)題，并基于文本提示自動(dòng)生成 OpenUSD-Python代碼，然后將其輸入到OpenUSD查看應(yīng)用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的應(yīng)用，以實(shí)現(xiàn)相應(yīng)3D數(shù)據(jù)的可視化。

· USD Search NIM微服務(wù)：使開(kāi)發(fā)者能夠使用自然語(yǔ)言或圖像輸入，在海量OpenUSD、3D和圖像數(shù)據(jù)庫(kù)中進(jìn)行搜索。

· USD Validate NIM微服務(wù)：檢查上傳文件與OpenUSD發(fā)布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（應(yīng)用編程接口）驅(qū)動(dòng)的RTX渲染路徑追蹤圖像。

 

即將提供的新微服務(wù)包括：

 

· USD Layout NIM微服務(wù)：使用戶能夠基于空間智能，根據(jù)一系列文本提示組裝出基于 OpenUSD的場(chǎng)景。

· USD SmartMaterial NIM微服務(wù)：預(yù)測(cè)并將逼真的材料應(yīng)用于計(jì)算機(jī)輔助設(shè)計(jì)對(duì)象。

· fVDB Mesh Generation NIM微服務(wù)：根據(jù)點(diǎn)云數(shù)據(jù)生成基于OpenUSD的網(wǎng)絡(luò)，并通過(guò) Omniverse Cloud API進(jìn)行渲染。

· fVDB Physics Super-Res NIM微服務(wù)：對(duì)幀或幀序列執(zhí)行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。

· fVDB NeRF-XL NIM微服務(wù)：使用 Omniverse Cloud API 在 OpenUSD中生成大規(guī)模神經(jīng)輻射場(chǎng)。

 

加速人形機(jī)器人發(fā)展

 

開(kāi)發(fā)者還可以通過(guò)訪問(wèn)新的 NVIDIA NIM 微服務(wù)，用于 Isaac Lab 和 Isaac Sim 中的機(jī)器人仿真、OSMO 機(jī)器人云計(jì)算編排服務(wù)和遠(yuǎn)程操作數(shù)據(jù)捕獲工作流等。

 

NIM 微服務(wù)提供了由 NVIDIA 推理軟件提供支持的預(yù)構(gòu)建容器，使開(kāi)發(fā)者能夠?qū)⒉渴饡r(shí)間從數(shù)周縮短到幾分鐘。

 

機(jī)器人專家則將能夠通過(guò)兩項(xiàng)新的 AI 微服務(wù)，在 NVIDIA Isaac Sim?（基于 NVIDIA Omniverse? 平臺(tái)構(gòu)建的機(jī)器人仿真參考應(yīng)用）中增強(qiáng)生成式物理 AI 仿真工作流：

 

MimicGen NIM 微服務(wù)可根據(jù) Apple Vision Pro 等空間計(jì)算設(shè)備記錄的遠(yuǎn)程操作數(shù)據(jù)，生成合成運(yùn)動(dòng)數(shù)據(jù)。Robocasa NIM 微服務(wù)可在 OpenUSD（一個(gè)用于在 3D 世界中進(jìn)行開(kāi)發(fā)和協(xié)作的通用框架）中生成機(jī)器人任務(wù)和仿真就緒環(huán)境。

現(xiàn)已推出的 NVIDIA OSMO 是一項(xiàng)云原生托管服務(wù)，允許用戶跨分布式計(jì)算資源來(lái)協(xié)調(diào)和擴(kuò)展復(fù)雜的機(jī)器人開(kāi)發(fā)工作流，無(wú)論是在本地還是在云端。

OSMO 大大簡(jiǎn)化了機(jī)器人訓(xùn)練和仿真工作流，將部署和開(kāi)發(fā)周期從數(shù)月縮短到一周內(nèi)。用戶可以對(duì)各種任務(wù)進(jìn)行可視化管理，包括合成數(shù)據(jù)生成、模型訓(xùn)練、強(qiáng)化學(xué)習(xí)以及大規(guī)模的人形機(jī)器人、自主移動(dòng)機(jī)器人和工業(yè)機(jī)械臂軟件在環(huán)測(cè)試。

 

同時(shí)，NVIDIA 還提供了三個(gè)計(jì)算平臺(tái)來(lái)簡(jiǎn)化人形機(jī)器人的開(kāi)發(fā)，分別是：用于訓(xùn)練模型的 NVIDIA AI 超級(jí)計(jì)算機(jī)；基于 Omniverse 構(gòu)建的 NVIDIA Isaac Sim，使機(jī)器人可以在仿真世界中學(xué)習(xí)和完善技能；以及用于運(yùn)行模型的 NVIDIA Jetson? Thor 人形機(jī)器人計(jì)算機(jī)。開(kāi)發(fā)者可以根據(jù)具體需求來(lái)訪問(wèn)和使用全部平臺(tái)或其中的任何部分。雷峰網(wǎng)

 

USD連接器賦能千行百業(yè)

 

多款適用于機(jī)器人數(shù)據(jù)格式和Apple Vision Pro流式傳輸?shù)娜耈SD連接器將為更多行業(yè)帶來(lái) OpenUSD 互操作性與高級(jí)創(chuàng)作能力。

 

據(jù)介紹，當(dāng)前，為幫助更多使用 OpenUSD的工業(yè)工作負(fù)載，NVIDIA與西門子正在擴(kuò)大合作，西門子將把OpenUSD 流水線與其Simcenter仿真技術(shù)組合集成，以支持基于證據(jù)的決策和關(guān)鍵利益相關(guān)方之間的協(xié)作。這一集成可以實(shí)現(xiàn)復(fù)雜仿真數(shù)據(jù)的高保真、實(shí)時(shí)、逼真可視化，讓企業(yè)能夠更加深入地了解產(chǎn)品在實(shí)際操作環(huán)境中的性能。為打好基礎(chǔ)，西門子還將把Omniverse納入到其Teamcenter 產(chǎn)品生命周期管理軟件組合中。

 

NVIDIA還發(fā)布了一個(gè)從統(tǒng)一機(jī)器人描述格式（Unified Robotics Description Format）到OpenUSD的連接器，讓機(jī)器人專家能夠?qū)⑺麄兊臋C(jī)器人數(shù)據(jù)無(wú)縫導(dǎo)入到用于設(shè)計(jì)、仿真和強(qiáng)化學(xué)習(xí)等用途的各種應(yīng)用中。

 

除此之外，為了進(jìn)一步推動(dòng)OpenUSD生態(tài)系統(tǒng)的擴(kuò)張，NVIDIA發(fā)布了OpenUSD Exchange軟件開(kāi)發(fā)套件，幫助開(kāi)發(fā)者創(chuàng)建出自己的OpenUSD數(shù)據(jù)連接器。

 

新的開(kāi)發(fā)者工具和API可通過(guò)NVIDIA Graphics Delivery Network（GDN），將大規(guī)模OpenUSD場(chǎng)景從基于Omniverse平臺(tái)構(gòu)建的應(yīng)用流式傳輸?shù)?nbsp;Apple Vision Pro。目前，這些新工具和API提供搶先體驗(yàn)版本。

 

目前，NVIDIA API目錄提供有USD Search、USD Code 和 USD Validate NIM微服務(wù)的預(yù)覽版，OpenUSD - URDF連接器也已與 NVIDIA Isaac Sim?一起提供。雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。