作者 | 李梅
編輯 | 陳彩嫻
如今，每隔一段時(shí)間就有新的文本生成圖像模型釋出，個(gè)個(gè)效果都很強(qiáng)大，每每驚艷眾人，這個(gè)領(lǐng)域已經(jīng)是卷上天了。不過，像 OpenAI 的 DALL-E 2 或谷歌 的 Imagen 等 AI 系統(tǒng)，都只能生成二維圖像，如果文字也能變成三維場景，那帶來視覺體驗(yàn)勢必加倍提升。現(xiàn)在，來自蘋果的 AI 團(tuán)隊(duì)推出了 3D 場景生成的最新神經(jīng)架構(gòu)—— GAUDI 。它可以捕捉復(fù)雜和逼真的 3D 場景分布，從移動(dòng)攝像機(jī)中進(jìn)行沉浸式渲染，還能根據(jù)文本提示來創(chuàng)建 3D 場景！該模型以 Antoni Gaudi 命名，他是西班牙著名的建筑大師 。
論文地址：https://arxiv.org/pdf/2207.13751.pdf
神經(jīng)渲染（nerual rendering）將計(jì)算機(jī)圖形學(xué)與人工智能結(jié)合起來，已經(jīng)產(chǎn)生了很多從 2D 圖像生成 3D 模型的系統(tǒng)。比如最近 Nvidia 開發(fā)的 3D MoMa 可以在一個(gè)小時(shí)內(nèi)從不到 100 張的照片中創(chuàng)建出 3D 模型。谷歌也依靠神經(jīng)輻射場（NeRFs ）在谷歌地圖中將 2D 衛(wèi)星和街景圖像組合成 3D 場景，實(shí)現(xiàn)了沉浸式視圖。谷歌的 HumanNeRF 還可以從視頻中渲染出 3D 人體。目前，NeRFs 主要還是用作 3D 模型和 3D 場景的一種神經(jīng)存儲(chǔ)介質(zhì)，可以從不同的相機(jī)視角進(jìn)行渲染。NeRFs 也已經(jīng)開始被用于虛擬現(xiàn)實(shí)體驗(yàn)。那么，NeRFs 這種從不同攝像機(jī)角度逼真地渲染圖像的強(qiáng)大能力，能不能用于生成式 AI 呢？當(dāng)然可以，已經(jīng)有研究團(tuán)隊(duì)嘗試了 3D 場景的生成，如谷歌在去年首次推出了 AI 系統(tǒng) Dream Fields，它將 NeRF 生成 3D 視圖的能力與 OpenAI 的 CLIP 評估圖像內(nèi)容的能力相結(jié)合，最終實(shí)現(xiàn)了能夠生成匹配文本描述的 NeRF。
但是，谷歌的 Dream Fields 只能生成針對單個(gè)對象的 3D 視圖，要將它擴(kuò)展到完全不受約束的 3D 場景還存在很多困難。最大的難點(diǎn)就在于攝像機(jī)的位置有很大的限制，對于單個(gè)對象，每個(gè)可能的、合理的攝像機(jī)位置都可以映射到一個(gè)圓頂，但在 3D 場景中，攝像機(jī)的位置會(huì)受到對象和墻壁等障礙物的限制。如果在場景生成時(shí)不考慮這些因素，那就很難生成 3D 場景。對于上述攝像機(jī)位置受限的問題，蘋果的 GAUDI 模型拿出了三個(gè)專門的網(wǎng)絡(luò)來輕松搞定：GAUDI 有一個(gè)相機(jī)姿態(tài)解碼器，它將攝像機(jī)姿態(tài)與場景的 3D 幾何和外觀分離開來，可以預(yù)測攝像機(jī)的可能位置，并確保輸出是 3D 場景架構(gòu)的有效位置。
針對場景的場景解碼器則可以預(yù)測三維平面的表示，這種表示是一種 3D 畫布。然后，輻射場解碼器會(huì)在這塊畫布上使用體積渲染方程來繪制后續(xù)的圖像。一是潛在和網(wǎng)絡(luò)參數(shù)的優(yōu)化：學(xué)習(xí)對數(shù)千條軌跡的 3D 輻射場和相應(yīng)相機(jī)姿態(tài)進(jìn)行編碼的潛在表示。與針對單個(gè)對象不同，有效相機(jī)姿態(tài)隨著場景的變化而不同，所以需要對每個(gè)場景有效的相機(jī)姿態(tài)進(jìn)行編碼。二是使用擴(kuò)散模型在潛在表示上學(xué)習(xí)生成模型，從而能夠在有條件和無條件的推理任務(wù)中都能很好地建模。前者是根據(jù)文本或圖像提示來生成 3D 場景，后者則是根據(jù)攝像機(jī)軌跡來生成 3D場景。通過 3D 室內(nèi)場景，GAUDI 可以生成新的攝像機(jī)運(yùn)動(dòng)。如在下面一些示例中，文本描述包含有關(guān)場景和導(dǎo)航路徑的信息。這里研究團(tuán)隊(duì)采用了預(yù)先訓(xùn)練的基于 RoBERTa 的文本編碼器，并使用其中間表示來調(diào)節(jié)擴(kuò)散模型，生成效果如下：另外，使用預(yù)訓(xùn)練的ResNet-18 作為圖像編碼器，GAUDI 能夠?qū)碾S機(jī)視點(diǎn)觀察給定圖像的輻射場進(jìn)行采樣，從而從圖像提示中創(chuàng)建 3D 場景。研究人員在四個(gè)不同的數(shù)據(jù)集（包括室內(nèi)掃描數(shù)據(jù)集 ARKitScences）上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明， GAUDI 可以重建學(xué)習(xí)視圖，而且可以與現(xiàn)有方法的質(zhì)量相匹配。即使是在為數(shù)千個(gè)室內(nèi)場景制作具有數(shù)十萬張圖像的 3D 場景的龐大任務(wù)中，GAUDI 也不會(huì)出現(xiàn)模式崩潰或方向問題。GAUDI 的出現(xiàn)不僅會(huì)對許多計(jì)算機(jī)視覺任務(wù)上產(chǎn)生影響，而且其 3D 場景的生成能力也將有利于基于模型的強(qiáng)化學(xué)習(xí)和規(guī)劃、SLAM 以及 3D 內(nèi)容的制作等研究領(lǐng)域。就目前來看，GAUDI 生成的視頻質(zhì)量還不算高，可以看出有很多偽影。不過，這個(gè)系統(tǒng)或許可以為蘋果正在進(jìn)行的渲染 3D 對象和場景的 AI 系統(tǒng)，這是一個(gè)好的開始和基礎(chǔ)，據(jù)說 GAUDI 還將被應(yīng)用到蘋果的 XR 耳機(jī)中，用于生成數(shù)字化位置。可以期待一下~https://medium.com/mlearning-ai/how-to-generate-3d-scenes-from-text-descriptions-2345bfb321https://mixed-news.com/en/apples-new-gaudi-ai-turns-text-prompts-into-3d-scenes/更多內(nèi)容，點(diǎn)擊下方關(guān)注：掃碼添加 AI 科技評論 微信號，投稿&進(jìn)群：
雷峰網(wǎng)(公眾號：雷峰網(wǎng))![蘋果開發(fā)「AI 建筑師」GAUDI：根據(jù)文本生成超逼真 3D 場景！]()
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
