雷鋒網(wǎng) AI 科技評(píng)論按：網(wǎng)格是幾何數(shù)據(jù)的常用高效表示, 在幾何曲面構(gòu)建的機(jī)器學(xué)習(xí)方法對(duì)計(jì)算機(jī)圖形學(xué)，3D 計(jì)算機(jī)視覺(jué)以及幾何分析和處理有著重要的意義。

近期，在雷鋒網(wǎng) GAIR 大講堂上，來(lái)自紐約大學(xué)科朗數(shù)學(xué)研究所 (NYU Courant) 二年級(jí)博士生姜仲石同學(xué)將介紹 Surface Networks 這一定義在網(wǎng)格曲面上的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該工作發(fā)表在 CVPR 上，并被選為 oral presentation，視頻回放地址：http://www.mooc.ai/open/course/510。

分享主題：網(wǎng)格曲面的卷積神經(jīng)網(wǎng)絡(luò)

分享提綱：

1. 幾何曲面的離散表示
2. 一種圖神經(jīng)網(wǎng)絡(luò) (GNN) 的簡(jiǎn)要介紹
3. 離散微分幾何中的 Laplace 與 Dirac 算符
4. 網(wǎng)格曲面的時(shí)域預(yù)測(cè)與生成型模型
5. 穩(wěn)定性證明

分享內(nèi)容：

一、幾何曲面的離散表示

三維數(shù)據(jù)的表示方法包括上圖中的三類。左邊的 Voxel（體素）的優(yōu)點(diǎn)是結(jié)構(gòu)化，看起來(lái)很規(guī)整（Minecraft 風(fēng)），并且可以用傳統(tǒng)的圖像處理方法去處理。但是在同等的存儲(chǔ)條件下，Voxel 的分辨率相對(duì)較低，也無(wú)法準(zhǔn)確的刻畫曲面表面的形狀。右邊的點(diǎn)云表示方法相較于 Mesh 來(lái)說(shuō)存儲(chǔ)的信息量少了很多。比如說(shuō)有很多工作研究如何在點(diǎn)云上估計(jì)法向量，但網(wǎng)格數(shù)據(jù)則是自帶了這些數(shù)據(jù)。所以網(wǎng)格數(shù)據(jù)是現(xiàn)在圖形學(xué)中主要的研究?jī)?nèi)容之一。

二、一種圖神經(jīng)網(wǎng)絡(luò) (GNN) 的簡(jiǎn)要介紹

我們用 M 來(lái)表示網(wǎng)格——V（點(diǎn)），E（邊），F(xiàn)（三角面片）。在 Mesh 上處理數(shù)據(jù)時(shí)，我們可以很自然的聯(lián)想到 graph，所以我們簡(jiǎn)單的回顧一下會(huì)用到的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。我們只簡(jiǎn)單介紹一層，這一層的輸入是 graph，上面每個(gè)點(diǎn)都會(huì)規(guī)定一個(gè)信號(hào)。A，B 是兩個(gè)可訓(xùn)練的單一參數(shù)（single parameters），通過(guò) A，B 可以把 xin 這個(gè)信號(hào)映射到高維空間里。至此還未涉及鄰居信息。

然后我們用 Laplacian 矩陣乘以信號(hào)的第一部分（xinA），這樣就可以聚合鄰居信息，最后再乘以ρ（激活層）。這個(gè)式子表示單個(gè)層，通過(guò)疊加多層神經(jīng)網(wǎng)絡(luò)，信號(hào)可以在更大的 Context 上傳輸來(lái)得到圖的全局信息。

我們?cè)賮?lái)看一下 Laplacian 矩陣（邊權(quán)重相同），用這種表示方法處理圖沒(méi)什么問(wèn)題，但是對(duì)于網(wǎng)格曲面來(lái)說(shuō)，這種方法存在問(wèn)題。如上圖所示（中左），兔子的耳朵產(chǎn)生形變時(shí)，曲面產(chǎn)生了變化，但 Laplacian 矩陣并沒(méi)有變化。而將兔子離散化處理時(shí)（中下），曲面未變，但 Laplacian 矩陣卻不再相同。所以我們首先需要將 Laplacian 矩陣替換成微分幾何里可以包含幾何信息的 Laplace 算符。

三、離散微分幾何中的 Laplace 與 Dirac 算符

微分幾何中的 Laplace 算符表示梯度的散度，將其推廣至連續(xù)曲面上，就得到了 Laplace-Beltrami 算子，再將曲面離散化，使之變?yōu)槿蔷W(wǎng)格，相當(dāng)于給 Laplacian 矩陣?yán)锏拿織l邊加上和邊長(zhǎng)有關(guān)的權(quán)重，這樣我們就得到了第一個(gè)網(wǎng)格神經(jīng)網(wǎng)絡(luò)——Laplacian Surface Networks。但是我認(rèn)為 Laplace 算符依舊是不完美的，因?yàn)樗且粋€(gè)內(nèi)蘊(yùn)幾何量。舉例說(shuō)明，我們卷起一張紙，由于對(duì)應(yīng)的 Laplacian 矩陣只刻畫了度量，所以紙被卷后信息不變，而要處理這種情況，我們可以引入 Dirac 算符。

Dirac 算子引自量子力學(xué)，它在某種意義上相當(dāng)于 Laplace 的平方根。通過(guò) Laplace 算子的譜分解可以得到主曲率方向等外蘊(yùn)幾何量，而且由于我們將 Laplace 分為兩步，也就具有更多的自由度。所以我們認(rèn)為 Dirac 算子是 Laplace 神經(jīng)網(wǎng)絡(luò)的嚴(yán)格推廣。而且它還能刻畫外蘊(yùn)幾何量，所以它在某種情況下可以更好的表示信息。最后，Dirac 算符是在四元數(shù)空間里定義的，如上圖第三個(gè)式子表示將點(diǎn)信號(hào)映射到面上，從而可以看出它不是方塊矩陣而是長(zhǎng)方形矩陣，同時(shí)它還有個(gè)自伴算子，可以將面上的信號(hào)再映射回點(diǎn)上。

我們用 Dirac 算子構(gòu)造網(wǎng)絡(luò)時(shí)需要分成兩步，第一步是將點(diǎn)上的信號(hào) x 變?yōu)槊嫔系男盘?hào) y，再用自伴算子把面上的信號(hào) y 變?yōu)辄c(diǎn)上信號(hào)，這樣就算得到了一層點(diǎn)到點(diǎn)的信號(hào)變換，并且其中有四個(gè)可訓(xùn)練的矩陣，可以通過(guò)網(wǎng)絡(luò)的反向傳播去訓(xùn)練這些矩陣。而且我們要注意矩陣的維度只和 feature 的維度有關(guān)，與 Mesh 上有多少個(gè)點(diǎn)無(wú)關(guān)，所以我們可以將不同 Mesh 上的不同 Dirac 算符放到一起訓(xùn)練來(lái)得到 A、B、C、E。

四、網(wǎng)格曲面的時(shí)域預(yù)測(cè)與生成型模型

由于我們只是在方法層面上提出了一種新架構(gòu)，所以我們采用了一些比較簡(jiǎn)單的評(píng)估方法來(lái)保證公平評(píng)價(jià)。上圖中的綠色方框（Lap/AvgPool）表示上文提到的式子所代表的那一層神經(jīng)網(wǎng)絡(luò)，下面的 Dirac 算符由于要在點(diǎn)信號(hào)和面信號(hào)間交替，所以結(jié)構(gòu)更加復(fù)雜。我們使用了兩種種評(píng)估方法來(lái)評(píng)估我們的架構(gòu)，一個(gè)是在每個(gè)點(diǎn)上做 MLP，第二個(gè)是當(dāng)做點(diǎn)云處理。

我們第一個(gè)評(píng)估實(shí)例是預(yù)測(cè)曲面運(yùn)動(dòng)。我們從 MPI-Faust 數(shù)據(jù)集的曲面上隨機(jī)選一些點(diǎn)，再提取以這些點(diǎn)為中心的 15-ring 的 patches（一萬(wàn)個(gè)）。然后再用圖形學(xué)中的 Deformation 方法將其模擬為橡皮材質(zhì)并賦予重力。接著進(jìn)行 50 次迭代（50 幀），再將前兩幀作為神經(jīng)網(wǎng)絡(luò)的輸入，讓模型去預(yù)測(cè)接下來(lái)的 40 幀，最后用 smooth-L1 loss 來(lái)衡量最后的結(jié)果。

視頻展示可以看出 Laplace 和 Dirac 比左邊三種 baseline 方法要好，特別是 Dirac 在高曲率的地方（腳跟）處理效果很好。

通過(guò)放大最后一幀，我們可以明顯看出 Dirac 在腳跟和腳趾兩處處理效果很好，這也和我們的預(yù)期相符合。

通過(guò)量化比較，我們還能發(fā)現(xiàn) Dirac 優(yōu)于 Laplace。

第二個(gè)實(shí)例我想介紹一個(gè) Mesh 的生成模型。這個(gè)任務(wù)的數(shù)據(jù)集相對(duì)簡(jiǎn)單，首先生成 2D 的網(wǎng)格（左下角），再?gòu)?MNIST 中選取一些數(shù)字，將數(shù)字的灰度當(dāng)成高度，接著調(diào)整 Mesh 的 z 軸就可以得到一個(gè)數(shù)據(jù)集。其中的數(shù)據(jù)都是 Mesh，每個(gè)都代表一個(gè)數(shù)字。生成型模型的架構(gòu)如上右圖所示。

結(jié)果分布中的采樣顯示模型學(xué)習(xí)效果很好。而且對(duì)于不同的網(wǎng)格離散化結(jié)構(gòu)，同樣的隱向量也能還原相同的數(shù)字。

五、穩(wěn)定性證明

我們想將 Laplace 和 Dirac 算符的適應(yīng)幾何形狀的特性，對(duì)微小形變和離散化的穩(wěn)定性擴(kuò)展到用它們所定義的神經(jīng)網(wǎng)絡(luò)上，所以我們證明了上圖兩個(gè)定理。

最后總結(jié)一下，如上圖所示。

以上就是雷鋒網(wǎng)整理的全部?jī)?nèi)容。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。