0
| 本文作者： 我在思考中 | 2021-10-19 09:48 |
近日，來自德國(guó)埃爾蘭根-紐倫堡大學(xué)的學(xué)者提出了一種新穎的神經(jīng)網(wǎng)絡(luò)方法，用于3D圖像的場(chǎng)景細(xì)化和新視圖合成。
只需要輸入點(diǎn)云和相機(jī)參數(shù)的初始估計(jì)，就可以輸出由任意相機(jī)角度合成的圖像，360度旋轉(zhuǎn)都不是問題。
研究人員表示，高效的單像素點(diǎn)光柵化讓他們能夠?qū)崟r(shí)顯示超過 1 億個(gè)像素點(diǎn)的點(diǎn)云場(chǎng)景。
一億個(gè)像素點(diǎn)是什么概念？說白了，這些3D圖像太逼真了。
再看看合成圖和原圖的對(duì)比，簡(jiǎn)直和拍照沒啥區(qū)別。
這項(xiàng)研究最近在推特上收到了很大的關(guān)注，網(wǎng)友紛紛回應(yīng)：impressive！
同時(shí)，也有網(wǎng)友表示，這項(xiàng)研究確實(shí)利用了大規(guī)模動(dòng)態(tài)輸入點(diǎn)云的優(yōu)勢(shì)，而這原本是“超級(jí)難”的問題。
如下圖所示，給定一組RGB圖像和初始3D重建（圖左），該渲染方法能夠合成新的幀，并優(yōu)化場(chǎng)景參數(shù)（圖右）。
論文地址：https://arxiv.org/pdf/2110.06635v1.pdf
用神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)合成高清3D圖像已有成效，但之前還難以做到大動(dòng)態(tài)的視角變換，他們是怎么實(shí)現(xiàn)的呢？
合成逼真的虛擬環(huán)境是計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺研究的熱門領(lǐng)域之一。
其中，3D 形狀的編碼形式是非常關(guān)鍵的部分，人們通常會(huì)考慮三角形網(wǎng)格、體素網(wǎng)格、隱函數(shù)和點(diǎn)云，每種表示法都有各自的優(yōu)缺點(diǎn)。
從左到右，分別是點(diǎn)云、體素、三角網(wǎng)格形式的兔子3D圖像。
為了有效渲染不透明表面，人們通常選擇三角形網(wǎng)格。
體素網(wǎng)格常用于容量表示，而隱函數(shù)適用于精確描述非線性分析表面（比如a^2+b^2+c^2=1，就是一個(gè)單位球面）。
另一方面，點(diǎn)云具有易于使用的優(yōu)點(diǎn)，因?yàn)椴槐乜紤]拓?fù)湫再|(zhì)，非常便于作為3D圖像合成的中間輸出階段。不必考慮拓?fù)湫再|(zhì)是指，無論是圓環(huán)還是球體，其表示形式都是一樣的。
在2000年左右，點(diǎn)云渲染，尤其是點(diǎn)散布，已在計(jì)算機(jī)圖形學(xué)中得到廣泛研究。
與此同時(shí)，人們?cè)絹碓疥P(guān)注基于圖像的渲染技術(shù)。也就是基于粗略的、重建的3D模型以及已有的一組物體圖像，來合成新的視圖。
這些方法存在輸入不精確的問題，例如，如果幾何圖形包含孔或輸入圖像沒有完全對(duì)齊，則會(huì)出現(xiàn)偽影。
而基于神經(jīng)圖像的渲染方法使用神經(jīng)網(wǎng)絡(luò)來去除這些偽影，可以生成前所未有的如照片般逼真的高質(zhì)量新視圖。
圖源：https://arxiv.org/pdf/2008.05511.pdf
Aliev等人則表明，將傳統(tǒng)的點(diǎn)光柵化器與深度神經(jīng)網(wǎng)絡(luò)配對(duì)也是可行的。
圖源：https://arxiv.org/pdf/1906.08240.pdf（Aliev et al.）
這一發(fā)現(xiàn)對(duì)3D重建尤其有益，因?yàn)槠渫ǔＪ褂妹芗c(diǎn)云作為初始輸出。因此，我們可以跳過不必要的、可能出現(xiàn)錯(cuò)誤的三角測(cè)量，直接可視化重建的場(chǎng)景。
在本文中，研究人員的方法建立在 Aliev 等人的管道之上，并以多種方法對(duì)其進(jìn)行改進(jìn)。
圖2：基于點(diǎn)的HDR神經(jīng)渲染管道概覽。
如上圖所示，由紋理點(diǎn)云和環(huán)境圖組成的場(chǎng)景被光柵化為一組具有多種分辨率的稀疏神經(jīng)圖像。
深度神經(jīng)網(wǎng)絡(luò)重建HDR圖像。
然后通過一個(gè)基于物理的可微色調(diào)映射器將其轉(zhuǎn)換為給定新視點(diǎn)場(chǎng)景的 LDR圖像。
在訓(xùn)練階段，可以同時(shí)優(yōu)化矩形框中的所有參數(shù)以及神經(jīng)網(wǎng)絡(luò)。
在整個(gè)管道中，他們特別添加了一個(gè)物理的、可微分的相機(jī)模型和一個(gè)可微分的色調(diào)映射器，并提出了一個(gè)公式，以更好地近似單像素點(diǎn)光柵化的空間梯度。
可微分的好處是，不僅可以優(yōu)化神經(jīng)點(diǎn)特征，還可以在訓(xùn)練階段校正不精確的輸入。
因此，系統(tǒng)可以根據(jù)神經(jīng)渲染網(wǎng)絡(luò)的視覺損失來調(diào)整這些參數(shù)：
得益于此，圖像的渲染質(zhì)量得到了顯著提升。
此外，該方法能夠合成任意的高動(dòng)態(tài)范圍成像（HDR，即大幅度的曝光變化）和LDR（低動(dòng)態(tài)范圍成像，容易缺失圖像細(xì)節(jié)）設(shè)置，并校正曝光不足或過度曝光的視圖（如下圖所示）。
同時(shí)，深度神經(jīng)網(wǎng)絡(luò)內(nèi)部的參數(shù)數(shù)量也顯著減少，因?yàn)榱炼群皖伾兓晌锢砩险_的傳感器模型單獨(dú)處理。
如下表所示，與其他可微渲染器相比，本文的方法效率高出大約兩個(gè)數(shù)量級(jí)。
表I：RTX 2080 Ti上1920×1080圖像的正向和反向渲染時(shí)間（以毫秒為單位）。
因此，渲染性能提高了，過擬合偽影也減少了。
總而言之，這篇論文的研究成果如下：
? 用于場(chǎng)景細(xì)化和可視化的端到端可訓(xùn)練的基于點(diǎn)的神經(jīng)渲染管道。
? 使用偽影幾何概念的單像素點(diǎn)碎片的可微分光柵化器。
? 可模擬數(shù)碼攝影鏡頭和傳感器效果的基于物理的可微分色調(diào)映射器。
? 用于大型點(diǎn)云的高效多層渲染的隨機(jī)點(diǎn)丟棄技術(shù)。
最后，該研究已開源：https://github.com/darglein/ADOP
圖11：在羅馬船只數(shù)據(jù)集上合成的新視圖。使用與參考照片相同的曝光值對(duì)圖像進(jìn)行渲染。在右列中，每個(gè)像素的誤差都是可視化的。
我們?cè)僭敿?xì)介紹一下模型管道。
管道的第一步是可微分光柵化器（圖2左）。
它通過使用相機(jī)參數(shù)將每個(gè)點(diǎn)投影到圖像空間，將其呈現(xiàn)為單個(gè)像素大小的碎片。
如果該像素點(diǎn)通過一個(gè)測(cè)試，它就會(huì)在神經(jīng)網(wǎng)絡(luò)輸出圖像中占據(jù)一個(gè)描述符。所有未被點(diǎn)著色的像素都由從背景顏色填充。
由于我們將點(diǎn)渲染為單個(gè)像素大小的碎片，輸出的圖像可能會(huì)非常稀疏，這取決于點(diǎn)云的空間分辨率和相機(jī)距離。
因此，以不同的比例渲染多個(gè)圖層，使輸出圖像密集化，并處理遮擋和照明問題。
神經(jīng)渲染器（圖2中間）采用多分辨率神經(jīng)圖像生成單個(gè)HDR輸出圖像。
它由一個(gè)四層全卷積U-Net和跳躍連接組成，其中較低分辨率的輸入圖像連接到中間特征張量。使用平均池化執(zhí)行下采樣，并通過雙線性插值對(duì)圖像進(jìn)行上采樣。
研究人員主要使用門控卷積，它最初是為填孔任務(wù)而開發(fā)的，因此非常適合稀疏點(diǎn)輸入。
總體而言，該網(wǎng)絡(luò)架構(gòu)類似于 Aliev等人提出的架構(gòu)，只減少了一層，并進(jìn)行了一些修改，以支持HDR成像。
首先，去掉批歸一化層，因?yàn)樗鼈儗⒅虚g圖像的均值和標(biāo)準(zhǔn)差歸一化為固定值。這會(huì)使得總傳感器輻照度（類似光強(qiáng)概念）丟失，并且無法從3D點(diǎn)傳播到最終圖像。
此外，如果場(chǎng)景的亮度范圍相當(dāng)大（大于 1 : 400），會(huì)以對(duì)數(shù)方式存儲(chǔ)神經(jīng)點(diǎn)描述符。否則，神經(jīng)描述符將線性存儲(chǔ)。對(duì)于對(duì)數(shù)描述符，在光柵化過程中將其轉(zhuǎn)換為線性空間，以便卷積操作僅使用線性亮度值。
管道中的最后一步（圖2右側(cè)）是可學(xué)習(xí)的色調(diào)映射操作符，它將渲染的HDR圖像轉(zhuǎn)換為 LDR。
該色調(diào)映射器模擬數(shù)碼相機(jī)的物理鏡頭和傳感器特性。因此，它最適合捕捉智能手機(jī)、數(shù)碼單反相機(jī)和攝像機(jī)的LDR圖像。
盡管合成效果如此驚艷，在實(shí)驗(yàn)中，研究人員也發(fā)現(xiàn)了一些局限性。
其中一個(gè)限制是，由于不同參數(shù)的數(shù)量巨大，不容易尋找合適的超參數(shù)。必須平衡紋理顏色、結(jié)構(gòu)參數(shù)、色調(diào)映射設(shè)置和神經(jīng)網(wǎng)絡(luò)權(quán)重的學(xué)習(xí)速率。為了找到適合所有場(chǎng)景的可行設(shè)置，需要進(jìn)行廣泛的網(wǎng)格搜索。
另一個(gè)限制是，點(diǎn)位置的優(yōu)化對(duì)于中到大的學(xué)習(xí)率是不穩(wěn)定的。因此，該管道需要合理的初始點(diǎn)云，例如，通過多視圖立體系統(tǒng)或 LiDaR 掃描儀。
研究人員認(rèn)為這個(gè)問題是由光柵化過程中的梯度逼近引起的。它適用于相機(jī)模型和相機(jī)角度優(yōu)化，因?yàn)閿?shù)千個(gè)點(diǎn)的空間梯度在一個(gè)優(yōu)化器步驟中得到平均。然而，對(duì)于位置點(diǎn)梯度，僅使用單個(gè)近似梯度來更新其坐標(biāo)。因此需要非常低的學(xué)習(xí)率來平均點(diǎn)梯度隨時(shí)間的變化。
最后，由于是單像素點(diǎn)渲染，當(dāng)相機(jī)離物體太近或點(diǎn)云非常稀疏時(shí)，可能會(huì)出現(xiàn)孔。這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)結(jié)構(gòu)只能填補(bǔ)一定大小閾值的洞。在實(shí)驗(yàn)中，研究人員通過人為地增加點(diǎn)密度來減少這個(gè)問題。然而，這并不是一個(gè)普遍可行的解決方案，因?yàn)樵谧杂梢晥D環(huán)境中，用戶仍然可以任意移動(dòng)相機(jī)以靠近物體表面。研究人員表示，他們未來的工作應(yīng)該會(huì)從這里開始，例如，可以嘗試在放大過程中動(dòng)態(tài)生成具有內(nèi)插神經(jīng)描述符的新點(diǎn)。
雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
