昨天 CVPR 2022 在美國(guó)線下開(kāi)幕，大家都到現(xiàn)場(chǎng)了嗎？……（狗頭護(hù)體）

時(shí)隔兩年，CVPR終于線下面基，各方大神也紛紛各顯神通，大秀肌肉~那么，今年的CVPR有什么有趣的研究成果呈現(xiàn)呢？

小編密切關(guān)注，意外發(fā)現(xiàn)了一場(chǎng) 3D 渲染的爵士樂(lè)演奏會(huì)：

據(jù)了解，這個(gè)效果的背后推手是一個(gè)被稱(chēng)為“3D MoMa”的方法！

而研發(fā) MoMa 的團(tuán)隊(duì)，正是在圖像渲染領(lǐng)域頗有造樹(shù)的 NVIDIA Research！

該方法圖形學(xué)取經(jīng)，可以讓建筑師、設(shè)計(jì)師、概念藝術(shù)家和游戲開(kāi)發(fā)者迅速將物體導(dǎo)入圖形引擎，并開(kāi)始對(duì)其進(jìn)行處理——修改比例、改變材質(zhì)或嘗試不同的照明效果，最后形成這樣一幅逼真的演奏現(xiàn)場(chǎng)畫(huà)面！

爵士樂(lè)的精髓在于即興演奏，而可逆渲染流程“NVIDIA 3D MoMa”恰恰就能讓圖形創(chuàng)作者快速創(chuàng)建出 3D 物體，達(dá)到即興表演的要求。

巧合的是，今年 CVPR 的舉辦地新奧爾良正是爵士樂(lè)的發(fā)源地……

1

基于2D圖像創(chuàng)建3D物體

逆渲染是將一系列靜態(tài)照片重建為3D物體或場(chǎng)景模型的技術(shù)。NVIDIA圖形學(xué)研究副總裁David Luebke表示：“該技術(shù)長(zhǎng)期以來(lái)一直是統(tǒng)一計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的關(guān)鍵?！?/span>

他表示：“NVIDIA 3D MoMa渲染流水線可以將逆渲染問(wèn)題的每個(gè)部分表示為GPU加速的可微分組件，然后使用現(xiàn)代AI機(jī)器和NVIDIA GPU的原始算力快速生成3D物體，且創(chuàng)作者可以在現(xiàn)有工具中自由地導(dǎo)入、編輯和擴(kuò)展這些物體?！?/span>

為了使藝術(shù)家或工程師能夠充分利用 3D物體，其形式應(yīng)能夠?qū)胗螒蛞妗?D建模器和電影渲染器等各種被廣泛使用的工具。帶有紋理、材質(zhì)的三角網(wǎng)格形式，就是此類(lèi)3D工具使用的通用語(yǔ)言。

圖注：三角網(wǎng)格是用于定義3D圖形和建模形狀的基本框架

游戲工作室和其他創(chuàng)作者習(xí)慣于使用復(fù)雜的攝影測(cè)量技術(shù)來(lái)創(chuàng)建3D物體，這需要耗費(fèi)大量的時(shí)間和精力。近期的神經(jīng)輻射場(chǎng)（Neural Radiance Fields）研究可以快速生成物體或場(chǎng)景的3D模型，但并不是使用易于編輯的三角網(wǎng)格形式。

當(dāng)在單個(gè)NVIDIA Tensor Core GPU上運(yùn)行時(shí)，NVIDIA 3D MoMa能在一個(gè)小時(shí)內(nèi)生成三角網(wǎng)格模型。該流水線的輸出結(jié)果與創(chuàng)作者現(xiàn)在使用的3D圖形引擎和建模工具直接兼容。

流水線的重建功能包括3D網(wǎng)格模型、材質(zhì)和照明。網(wǎng)格就像由三角形構(gòu)建的3D形狀混凝紙漿模型。有了它，開(kāi)發(fā)者就可以依照自己的創(chuàng)意對(duì)物體進(jìn)行修改。材質(zhì)是疊加在3D網(wǎng)格上的2D紋理，就像人的皮膚一樣。NVIDIA 3D MoMa通過(guò)對(duì)場(chǎng)景光線進(jìn)行估算，使創(chuàng)作者能夠在日后修改物體上的照明。

2

為虛擬爵士樂(lè)隊(duì)調(diào)校樂(lè)器

為了展示NVIDIA 3D MoMa的功能，NVIDIA的研究和創(chuàng)意團(tuán)隊(duì)首先從不同角度收集了五種爵士樂(lè)隊(duì)樂(lè)器（小號(hào)、長(zhǎng)號(hào)、薩克斯、架子鼓和單簧管）的約100張圖片。

NVIDIA 3D MoMa將2D圖像重建為每種樂(lè)器的3D表示，并以網(wǎng)格形式呈現(xiàn)。然后，NVIDIA團(tuán)隊(duì)將這些樂(lè)器從原始場(chǎng)景中取出，并將其導(dǎo)入NVIDIA Omniverse 3D模擬平臺(tái)中進(jìn)行編輯。

在任何傳統(tǒng)圖形引擎中，創(chuàng)作者都可以輕松為形狀調(diào)換由NVIDIA 3D MoMa生成的材質(zhì)，就像給網(wǎng)格穿上不同的衣服一樣。例如該團(tuán)隊(duì)對(duì)小號(hào)模型采取了這種做法，將原來(lái)的塑料材質(zhì)快速更換成黃金、大理石、木材或軟木。

然后，創(chuàng)作者可以將新編輯的物體放入任何虛擬場(chǎng)景中。NVIDIA團(tuán)隊(duì)將這些樂(lè)器放入了經(jīng)典的圖形渲染質(zhì)量測(cè)試康奈爾盒中。他們證明了虛擬樂(lè)器對(duì)光線的反應(yīng)與在物理世界中完全一樣：閃亮的銅管樂(lè)器反射出亮光，啞光的鼓皮則會(huì)吸收光線。

這些通過(guò)逆渲染生成的新物體可以作為復(fù)雜動(dòng)畫(huà)場(chǎng)景的構(gòu)成要素。

更多研究詳情，請(qǐng)觀看原文：

論文地址：https://arxiv.org/pdf/2111.12503.pdf

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。