今早，在美國丹佛舉行的第51屆SIGGRAPH圖形大會上，NVIDIA宣布，將為全球領(lǐng)先的機(jī)器人制造商、AI模型開發(fā)者和軟件制造商提供一套服務(wù)、模型以及計(jì)算平臺，以開發(fā)、訓(xùn)練和構(gòu)建下一代人形機(jī)器人。

 

NVIDIA帶來了適用于OpenUSD語言、幾何體、物理學(xué)和材質(zhì)的生成式AI模型與NIM微服務(wù)。這一新服務(wù)將加速基于通用場景描述的工作流以及工業(yè)數(shù)字孿生和機(jī)器人的開發(fā)。

 

NVIDIA 創(chuàng)始人兼 CEO 黃仁勛表示，“AI 的下一波浪潮是機(jī)器人，其中最令人興奮的發(fā)展之一是人形機(jī)器人。我們正在推進(jìn)整個 NVIDIA 機(jī)器人堆棧的發(fā)展，面向全球人形機(jī)器人開發(fā)者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和 AI 模型?！?/span>

 

值得一提的是，黃仁勛還同 Meta 創(chuàng)始人兼 CEO 馬克·扎克伯格進(jìn)行了爐邊談話。二人一同探討了基礎(chǔ)研究如何推動AI突破性進(jìn)展，以及生成式AI和開源技術(shù)如何為開發(fā)者和創(chuàng)作者賦能。

 

將生成式AI引入OpenUSD

 

在本次大會上，NVIDIA發(fā)布了通用場景描述（OpenUSD）的重大成果。據(jù)介紹，NVIDIA將擴(kuò)大這一通用3D數(shù)據(jù)交換框架在機(jī)器人、工業(yè)設(shè)計(jì)和工程領(lǐng)域的應(yīng)用，提高開發(fā)者為AI新一輪發(fā)展構(gòu)建高精度虛擬世界的能力。

 

本次新推出的內(nèi)容包括，適用于AI模型的NVIDIA NIM?微服務(wù)。

 

這些微服務(wù)可生成回答用戶查詢的OpenUSD語言、生成OpenUSD Python代碼、將材質(zhì)應(yīng)用于3D物體、理解3D空間和物理學(xué)以幫助加快數(shù)字孿生的開發(fā)等。

 

此外，還包括可用于機(jī)器人和工業(yè)仿真數(shù)據(jù)格式的全新USD連接器，以及各種開發(fā)者工具，用戶可通過它們將海量NVIDIA RTX?全光線追蹤數(shù)據(jù)集傳輸?shù)紸pple Vision Pro。

 

公開資料介紹，NIM 全稱為 Nvidia Inference Microservice，即英偉達(dá)推理微服務(wù)，是 Nvidia AI Enterprise 的一部分，可以幫助客戶快速部署產(chǎn)品級 AI 大模型應(yīng)用。

 

全球首個用于OpenUSD開發(fā)的生成式AI模型也將以NVIDIA NIM微服務(wù)的形式提供。借助這些模型，開發(fā)者能夠?qū)⑸墒紸I copilot和智能體整合到USD工作流中，拓寬3D世界的可能性，幫助加快USD在制造業(yè)、汽車行業(yè)和機(jī)器人等新工業(yè)領(lǐng)域的應(yīng)用。

 

預(yù)覽版中的微服務(wù)包括：

 

· USD Code NIM微服務(wù)：回答常識性O(shè)penUSD問題，并基于文本提示自動生成 OpenUSD-Python代碼，然后將其輸入到OpenUSD查看應(yīng)用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的應(yīng)用，以實(shí)現(xiàn)相應(yīng)3D數(shù)據(jù)的可視化。

· USD Search NIM微服務(wù)：使開發(fā)者能夠使用自然語言或圖像輸入，在海量OpenUSD、3D和圖像數(shù)據(jù)庫中進(jìn)行搜索。

· USD Validate NIM微服務(wù)：檢查上傳文件與OpenUSD發(fā)布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（應(yīng)用編程接口）驅(qū)動的RTX渲染路徑追蹤圖像。

 

即將提供的新微服務(wù)包括：

 

· USD Layout NIM微服務(wù)：使用戶能夠基于空間智能，根據(jù)一系列文本提示組裝出基于 OpenUSD的場景。

· USD SmartMaterial NIM微服務(wù)：預(yù)測并將逼真的材料應(yīng)用于計(jì)算機(jī)輔助設(shè)計(jì)對象。

· fVDB Mesh Generation NIM微服務(wù)：根據(jù)點(diǎn)云數(shù)據(jù)生成基于OpenUSD的網(wǎng)絡(luò)，并通過 Omniverse Cloud API進(jìn)行渲染。

· fVDB Physics Super-Res NIM微服務(wù)：對幀或幀序列執(zhí)行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。

· fVDB NeRF-XL NIM微服務(wù)：使用 Omniverse Cloud API 在 OpenUSD中生成大規(guī)模神經(jīng)輻射場。

 

加速人形機(jī)器人發(fā)展

 

開發(fā)者還可以通過訪問新的 NVIDIA NIM 微服務(wù)，用于 Isaac Lab 和 Isaac Sim 中的機(jī)器人仿真、OSMO 機(jī)器人云計(jì)算編排服務(wù)和遠(yuǎn)程操作數(shù)據(jù)捕獲工作流等。

 

NIM 微服務(wù)提供了由 NVIDIA 推理軟件提供支持的預(yù)構(gòu)建容器，使開發(fā)者能夠?qū)⒉渴饡r間從數(shù)周縮短到幾分鐘。

 

機(jī)器人專家則將能夠通過兩項(xiàng)新的 AI 微服務(wù)，在 NVIDIA Isaac Sim?（基于 NVIDIA Omniverse? 平臺構(gòu)建的機(jī)器人仿真參考應(yīng)用）中增強(qiáng)生成式物理 AI 仿真工作流：

 

MimicGen NIM 微服務(wù)可根據(jù) Apple Vision Pro 等空間計(jì)算設(shè)備記錄的遠(yuǎn)程操作數(shù)據(jù)，生成合成運(yùn)動數(shù)據(jù)。Robocasa NIM 微服務(wù)可在 OpenUSD（一個用于在 3D 世界中進(jìn)行開發(fā)和協(xié)作的通用框架）中生成機(jī)器人任務(wù)和仿真就緒環(huán)境。

現(xiàn)已推出的 NVIDIA OSMO 是一項(xiàng)云原生托管服務(wù)，允許用戶跨分布式計(jì)算資源來協(xié)調(diào)和擴(kuò)展復(fù)雜的機(jī)器人開發(fā)工作流，無論是在本地還是在云端。

OSMO 大大簡化了機(jī)器人訓(xùn)練和仿真工作流，將部署和開發(fā)周期從數(shù)月縮短到一周內(nèi)。用戶可以對各種任務(wù)進(jìn)行可視化管理，包括合成數(shù)據(jù)生成、模型訓(xùn)練、強(qiáng)化學(xué)習(xí)以及大規(guī)模的人形機(jī)器人、自主移動機(jī)器人和工業(yè)機(jī)械臂軟件在環(huán)測試。

 

同時，NVIDIA 還提供了三個計(jì)算平臺來簡化人形機(jī)器人的開發(fā)，分別是：用于訓(xùn)練模型的 NVIDIA AI 超級計(jì)算機(jī)；基于 Omniverse 構(gòu)建的 NVIDIA Isaac Sim，使機(jī)器人可以在仿真世界中學(xué)習(xí)和完善技能；以及用于運(yùn)行模型的 NVIDIA Jetson? Thor 人形機(jī)器人計(jì)算機(jī)。開發(fā)者可以根據(jù)具體需求來訪問和使用全部平臺或其中的任何部分。雷峰網(wǎng)

 

USD連接器賦能千行百業(yè)

 

多款適用于機(jī)器人數(shù)據(jù)格式和Apple Vision Pro流式傳輸?shù)娜耈SD連接器將為更多行業(yè)帶來 OpenUSD 互操作性與高級創(chuàng)作能力。

 

據(jù)介紹，當(dāng)前，為幫助更多使用 OpenUSD的工業(yè)工作負(fù)載，NVIDIA與西門子正在擴(kuò)大合作，西門子將把OpenUSD 流水線與其Simcenter仿真技術(shù)組合集成，以支持基于證據(jù)的決策和關(guān)鍵利益相關(guān)方之間的協(xié)作。這一集成可以實(shí)現(xiàn)復(fù)雜仿真數(shù)據(jù)的高保真、實(shí)時、逼真可視化，讓企業(yè)能夠更加深入地了解產(chǎn)品在實(shí)際操作環(huán)境中的性能。為打好基礎(chǔ)，西門子還將把Omniverse納入到其Teamcenter 產(chǎn)品生命周期管理軟件組合中。

 

NVIDIA還發(fā)布了一個從統(tǒng)一機(jī)器人描述格式（Unified Robotics Description Format）到OpenUSD的連接器，讓機(jī)器人專家能夠?qū)⑺麄兊臋C(jī)器人數(shù)據(jù)無縫導(dǎo)入到用于設(shè)計(jì)、仿真和強(qiáng)化學(xué)習(xí)等用途的各種應(yīng)用中。

 

除此之外，為了進(jìn)一步推動OpenUSD生態(tài)系統(tǒng)的擴(kuò)張，NVIDIA發(fā)布了OpenUSD Exchange軟件開發(fā)套件，幫助開發(fā)者創(chuàng)建出自己的OpenUSD數(shù)據(jù)連接器。

 

新的開發(fā)者工具和API可通過NVIDIA Graphics Delivery Network（GDN），將大規(guī)模OpenUSD場景從基于Omniverse平臺構(gòu)建的應(yīng)用流式傳輸?shù)?nbsp;Apple Vision Pro。目前，這些新工具和API提供搶先體驗(yàn)版本。

 

目前，NVIDIA API目錄提供有USD Search、USD Code 和 USD Validate NIM微服務(wù)的預(yù)覽版，OpenUSD - URDF連接器也已與 NVIDIA Isaac Sim?一起提供。雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。