用一張單色圖像生成高質(zhì)量3D幾何結(jié)構(gòu)

本文作者： camel

2017-08-25 10:07

導(dǎo)語(yǔ)：伯克利AI研究中心提出HSP模型，能由單色圖像生成物體3D幾何結(jié)構(gòu)

雷鋒網(wǎng)AI科技評(píng)論按：用圖像來(lái)重建3D數(shù)字幾何結(jié)構(gòu)是計(jì)算機(jī)視覺(jué)領(lǐng)域一個(gè)非常核心的問(wèn)題。這種技術(shù)在許多領(lǐng)域都有廣泛的應(yīng)用，例如電影制作、視頻游戲的內(nèi)容生成、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)、3D打印等等。伯克利人工智能研究中心的Christian H?ne等人近日發(fā)表一篇論文《Hierarchical Surface Prediction for 3D Object Reconstruction》，論文中他們討論如何從單張色彩圖像重建出高質(zhì)量的3D幾何結(jié)構(gòu)，就像下面這幅圖所顯示的。雷鋒網(wǎng)編譯如下。

對(duì)于我們?nèi)祟?lèi)來(lái)說(shuō)，即使只看到一張圖像，我們也能毫不費(fèi)力地對(duì)物體和場(chǎng)景的形狀進(jìn)行理解。請(qǐng)注意，我們眼睛的雙目效果允許我們感知深度，我們不需要了解物體3D幾何結(jié)構(gòu)。所以即使我們只是看到一個(gè)實(shí)體的照片，我們也能對(duì)它的形狀有很好的感知。不僅如此，我們還能理解物體看不見(jiàn)的部分（例如背面），這對(duì)抓取物體這樣的動(dòng)作來(lái)說(shuō)是非常重要的。于是問(wèn)題就來(lái)了，我們?nèi)祟?lèi)是如何從單張圖像推出物體的幾何結(jié)構(gòu)的呢？在人工智能這個(gè)方面，我們?cè)趺床拍芙虝?huì)機(jī)器掌握這個(gè)能力呢？

一、形狀空間

由任意的輸入圖像來(lái)重建其3D幾何結(jié)構(gòu)，基本的原理就是：物體形狀不是任意的，因此有些形狀是可能的，而有些是不可能的。一般來(lái)說(shuō)，物體的表面往往是光滑的，尤其是人造物體，常常就是由幾個(gè)分段的平面構(gòu)成。對(duì)于預(yù)測(cè)物體，我們可以使用同樣的規(guī)則。例如，飛機(jī)通常具有機(jī)身，兩側(cè)附接兩個(gè)主翼，后側(cè)會(huì)安裝有垂直穩(wěn)定翼。人類(lèi)能通過(guò)眼睛觀察世界，并用手來(lái)與世界進(jìn)行互動(dòng)，然后獲得這樣的知識(shí)。在計(jì)算機(jī)視覺(jué)中，“形狀不是任意的”這個(gè)事實(shí)允許我們通過(guò)收集大量的示例形狀，來(lái)將一個(gè)對(duì)象類(lèi)或者多個(gè)對(duì)象類(lèi)的所有可能形狀描述成低維形狀空間。

使用CNN來(lái)預(yù)測(cè)體素（Voxel Prediction）

最近Choy，Girdhar等人發(fā)表了他們關(guān)于3D重建的論文，在他們的工作中他們的“輸出”是一個(gè)3D體積空間，這個(gè)3D體積被細(xì)分成體積元素（稱(chēng)為體素，voxel），每個(gè)體素會(huì)有一個(gè)分配（被占據(jù)或自由空間），而物體形狀的預(yù)測(cè)則表示為由體素組成的3D占據(jù)體積。在他們的模型中“輸入”通常為一個(gè)描述物體的單色圖像，然后他們用卷積網(wǎng)絡(luò)神經(jīng)（CNN）的上卷積解碼器架構(gòu)來(lái)預(yù)測(cè)這個(gè)占據(jù)體積。該網(wǎng)絡(luò)由端對(duì)端進(jìn)行訓(xùn)練，并且由已知的ground truth占據(jù)體積（通過(guò)合成CAD模型數(shù)據(jù)集獲得）來(lái)進(jìn)行監(jiān)督學(xué)習(xí)。通過(guò)這種3D表示（體素）以及CNN，這種模型就可以學(xué)習(xí)，且能夠適應(yīng)各種對(duì)象類(lèi)。

用一張單色圖像生成高質(zhì)量3D幾何結(jié)構(gòu)

二、層進(jìn)表面預(yù)測(cè)

上述方法（使用CNN預(yù)測(cè)占據(jù)體積）有一個(gè)很大的缺點(diǎn)，由于其輸出空間是三維的，于是相對(duì)增加的分辨率就會(huì)以立方的形式增長(zhǎng)。這個(gè)問(wèn)題使得這種方法難以預(yù)測(cè)高質(zhì)量的幾何形狀，且限于比較粗糙的分辨率體素網(wǎng)格，例如上面32^3的結(jié)果。在Christian H?ne等人的工作中，他們認(rèn)為這是一個(gè)不必要的限制，因?yàn)楸砻鎸?shí)際上只是二維的。于是他們通過(guò)層進(jìn)的方式利用表面的二維性質(zhì)來(lái)預(yù)測(cè)精細(xì)分辨率體素，此時(shí)只需要對(duì)表面進(jìn)行高分辨率的預(yù)測(cè)即可。其基本思想和八叉樹(shù)表示的思想關(guān)系很近，八叉樹(shù)表示通常是用于多視圖立體聲和深度圖融合等領(lǐng)域來(lái)表示高分辨率的幾何結(jié)構(gòu)。

方法

在這個(gè)3D預(yù)測(cè)模型（稱(chēng)為層進(jìn)表面預(yù)測(cè)（Hierarchical Surface Prediction, HSP））中，首先我們輸入一張單色圖像，用卷積編碼器將其編碼為低維表示。然后，將該低維表示解碼成3D占用體積。其主要思想是通過(guò)預(yù)測(cè)低分辨率體素開(kāi)始解碼。關(guān)鍵之處在于，不同于標(biāo)準(zhǔn)的方法將體素分為占據(jù)／自由空間，HSP會(huì)將體素分為三類(lèi)：自由空間、占據(jù)空間和邊界。使用這種方法，“輸出”的分辨率可以很低，只要保證在那些有跡象表明它包含“邊界”的部分有較高的分辨率即可。通過(guò)迭代，我們可以層進(jìn)地預(yù)測(cè)出高分辨率的體素網(wǎng)格。模型更多的細(xì)節(jié)可以參看論文，這里就不再詳解。

用一張單色圖像生成高質(zhì)量3D幾何結(jié)構(gòu)

實(shí)驗(yàn)

模型的實(shí)驗(yàn)主要利用了合成的ShapeNet數(shù)據(jù)集進(jìn)行訓(xùn)練。作者將結(jié)果與兩個(gè)基線(xiàn)模型——硬低分辨率模型（low resolution hard，LR hard）和軟低分辨率模型（low resolution soft，LR soft））——進(jìn)行了對(duì)比。這兩個(gè)基線(xiàn)模型都是以32^3粗分辨率進(jìn)行預(yù)測(cè)，只是訓(xùn)練數(shù)據(jù)的生成方式不同。LR hard對(duì)體素使用雙分法進(jìn)行分配，即如果在相應(yīng)的高分辨率體素中至少一個(gè)被占用，則所有體素將被標(biāo)記為被占用。LR soft則使用分?jǐn)?shù)法進(jìn)行分配，每一個(gè)體素將反映出在相關(guān)的高分辨率體素中占有的百分比。HSP方法則以256^3的分辨率進(jìn)行預(yù)測(cè)。下面的結(jié)果顯示，HSP方法與基線(xiàn)方法相比，在表面質(zhì)量和高分辨率預(yù)測(cè)的完整性方面表現(xiàn)更好。

用一張單色圖像生成高質(zhì)量3D幾何結(jié)構(gòu)