雷鋒網(wǎng) AI科技評(píng)論按，本文作者究竟灰，本文首發(fā)于知乎，雷鋒網(wǎng) AI科技評(píng)論獲其授權(quán)轉(zhuǎn)載。

今天去CCCV2017講習(xí)班聽了中科院自動(dòng)化所模式識(shí)別國(guó)重實(shí)驗(yàn)室的申抒含老師和崔海楠老師的關(guān)于基于凸顯的大規(guī)模場(chǎng)景三維重建的講習(xí)班，把筆記整理了一下。（本文為上篇，內(nèi)容為第一章：簡(jiǎn)介和第二章：稀疏重建。）

主要分為四點(diǎn)展開：

1. 簡(jiǎn)介

2. 稀疏重建sfm

3. 稠密重建mvs

4. 資源

1.簡(jiǎn)介

首先講了現(xiàn)在cv與類腦。

1. 腦的腹部通道進(jìn)行物體視覺，現(xiàn)在CV上主要采用基于學(xué)習(xí)的方法。

2. 腦的背部通道進(jìn)行空間視覺，現(xiàn)在CV上主要采用基于幾何的方法。

3. 最后上述兩者信息在前額匯集，綜合處理。

接著講了幾何視覺的核心問題：主要是機(jī)器人在三維環(huán)境中需要：

1. 對(duì)二維圖像理解

2. 對(duì)三維環(huán)境感知

而三維結(jié)構(gòu)和相機(jī)的六自由度空間位姿是機(jī)器人感知決策動(dòng)作的基礎(chǔ)信息。

接著講了圖像三維重建的基本流程：

基本流程包括：

1. 多視角圖像

2. 圖像特征提取匹配

3. 稀疏重建Sfm

4. 稠密重建MVS

5. 點(diǎn)云模型化

6. 生成三維模型

然后科普了一下一些基礎(chǔ)知識(shí)：

小孔成像：世界中的一個(gè)點(diǎn)經(jīng)過小孔在圖像平面上會(huì)形成一個(gè)倒立縮小的像。這就形成了幾何相似三角形關(guān)系。如果我們把成像平面放到前面來，就是正立縮小的像。具體的焦距、圖像片面，相機(jī)中心什么就不贅述了。右下角公式表示通過一個(gè) 相似性（比例） 可以建立圖像坐標(biāo)系和世界坐標(biāo)系的關(guān)系。

然后說到了無窮遠(yuǎn)元素。它們用現(xiàn)在的xyz方法沒辦法表示。

于是提出了射影空間，齊次坐標(biāo)是射影空間的坐標(biāo)表達(dá)方式：一般的坐標(biāo)在xyz后面加一個(gè)1，無窮遠(yuǎn)點(diǎn)最后一個(gè)為0.

當(dāng)然齊次非齊次的坐標(biāo)轉(zhuǎn)換通過除以最后一個(gè) 來實(shí)現(xiàn)。

這里有一個(gè)等價(jià)關(guān)系，即當(dāng)非齊次坐標(biāo)通過除以一個(gè)值 之后變成齊次而與一個(gè)已經(jīng)存在的齊次坐標(biāo)相等時(shí)為：齊次坐標(biāo)在相差一個(gè)尺度時(shí)的等價(jià)。

那么小孔成像模型可以表達(dá)出來。

為焦距， 為主點(diǎn)：光心與相機(jī)平面的交點(diǎn)。

接著介紹了相機(jī)坐標(biāo)系和世界坐標(biāo)系之間存在一個(gè)歐式坐標(biāo)變換：

中間的矩陣由R轉(zhuǎn)移矩陣和t平移向量組成。

把兩個(gè)式子寫到一起：

可以得到圖像點(diǎn)和空間點(diǎn)的關(guān)系。通過相機(jī)內(nèi)參數(shù)K 、相機(jī)旋轉(zhuǎn)R和相機(jī)平移建立關(guān)系。

相機(jī)的內(nèi)參數(shù)由相機(jī)硬件決定，而旋轉(zhuǎn)平移由相機(jī)位姿決定?？臻g點(diǎn)是場(chǎng)景結(jié)構(gòu)點(diǎn)。

接著說了由單張圖是無法重建場(chǎng)景結(jié)構(gòu)的。

于是引出了多視圖幾何

然后說求解思路：最小化重投影誤差平方和

其中

即空間點(diǎn)X通過之前說的坐標(biāo)變換（左乘P投影到圖像平面上）與圖像平面上的x可以產(chǎn)生一個(gè)L2范數(shù)作為誤差。建立一個(gè)目標(biāo)函數(shù)為所有點(diǎn)的誤差和。

接著推導(dǎo)就可以寫成 的形式。

這樣求解重投影誤差最小化問題是一個(gè)高維非線性最小二乘問題。未知數(shù)數(shù)量由圖像數(shù)量乘以旋轉(zhuǎn)矩陣、平移向量、內(nèi)參數(shù)、畸變加上稀疏點(diǎn)數(shù)目乘以世界坐標(biāo)X。

求解可以用捆綁調(diào)整的工具做。Bundle Adjustment.它是一種啟發(fā)式的阻尼高斯牛頓法。

因?yàn)橐龀跏贾登蠼?，接著科普兩視圖幾何：

平面1上面的點(diǎn)p與其相機(jī)中心o連線，延長(zhǎng)。這個(gè)線r在平面2中投影出一條極線。

同理也可以在平面1投影出極線。連接 o t這條線叫基線。這三條線在一個(gè)平面上，這個(gè)平面叫做極平面。

于是可以推出一個(gè)基本矩陣Fundamental matrix。

當(dāng)內(nèi)參K1，K2已知，用 表示之后，可以推出本質(zhì)矩陣Essential matrix。

雙視圖幾何的求解方法：

1. 基本矩陣可以用8點(diǎn)法求解，本質(zhì)矩陣可以用5點(diǎn)發(fā)求解。

2. 通過SVD分解可以從本質(zhì)矩陣中分解相機(jī)的R t.

3. 已知K R T可以三角花求解三維點(diǎn)X

4. 這樣可以得到兩視圖重建的初始值，接著可以用BA進(jìn)行非線性優(yōu)化。

2.稀疏重建

稀疏重建是通過相機(jī)運(yùn)動(dòng)恢復(fù)場(chǎng)景結(jié)構(gòu)。（Structure-from-Motion）

SfM包括以下步驟：

1. 特征點(diǎn)檢測(cè)與匹配

2. 外極幾何圖構(gòu)造

3. 攝像機(jī)位姿和場(chǎng)景結(jié)構(gòu)估計(jì)

4. 捆綁調(diào)整（BA）優(yōu)化攝像機(jī)位姿和場(chǎng)景

特征點(diǎn)檢測(cè)和匹配：

特征點(diǎn)檢測(cè)用SIFT

特征點(diǎn)匹配：

• L2范數(shù)距離最小

• 比值約束：最近鄰/次近鄰小于一定閾值

• 外極幾何約束（匹配特征點(diǎn)在對(duì)應(yīng)的外極線附近）

特征點(diǎn)匹配的難度：候選圖像匹配對(duì)非常多。這里介紹了一篇解決這個(gè)問題的論文。

通過聚類、建樹、匹配。（K-means層級(jí)樹）

可以把復(fù)雜度降到線性。

這里介紹了每對(duì)圖像之間特征點(diǎn)匹配用一個(gè)哈希表方法優(yōu)化的方法。

但是有些地方還存在誤匹配問題。極端一點(diǎn)的是如圖所示的天壇正反面幾乎完全一樣。

這里講了一個(gè)用Loop約束來去除錯(cuò)誤外極幾何關(guān)系的方法。

還有一些其他解決方法：

接著講本質(zhì)矩陣分解：三角化選擇內(nèi)點(diǎn)最多的一組配置作為外極幾何關(guān)系。

外極幾何圖構(gòu)建

攝像機(jī)位姿和場(chǎng)景結(jié)構(gòu)

包括三種方法：

1. 增量式（Incremental）

2. 全局式（Global）

3. 混合式（Hybrid）

增量式要先選擇兩個(gè)圖作為初始，一般要求：1.基線足夠?qū)?2.匹配點(diǎn)足夠多 當(dāng)然這兩個(gè)是矛盾的兩個(gè)項(xiàng)。通過最小化右邊式子來求取。

然后開始增加一張圖：

這就變成了P3P問題：

三角化：

捆綁調(diào)整：

增量式示意圖：

增量式的優(yōu)缺點(diǎn)：

全局式：估計(jì)所有攝像機(jī)的旋轉(zhuǎn)矩陣和位置并三角化初始場(chǎng)景點(diǎn)

因?yàn)榻?jīng)過ij的旋轉(zhuǎn)矩陣要等于Rj和Ri串聯(lián)之后的結(jié)果，所以要最小化兩者差的范數(shù)作為目標(biāo)函數(shù)。而兩個(gè)點(diǎn)坐標(biāo)也應(yīng)該滿足一個(gè)關(guān)系。

過濾外極幾何邊：Rij與Rj和Ri乘形成一個(gè)范數(shù)，要大于一個(gè)值

接著推導(dǎo)：目標(biāo)是讓第一項(xiàng)越大越好，讓第二項(xiàng)越小越好。

過濾外極幾何邊：

全局式的優(yōu)缺點(diǎn)：

相關(guān)文獻(xiàn)：

比較全局和增量：

混合式：全局估計(jì)旋轉(zhuǎn)矩陣，增量估計(jì)攝像機(jī)位置，三角化初始場(chǎng)景點(diǎn)。這是CVPR2017的一個(gè)工作。

這個(gè)方法提出基于團(tuán)體的全局R求?。合雀鶕?jù)相機(jī)外極幾何圖匹配稠密情況把這么多攝像機(jī)分成幾個(gè)團(tuán)體。

發(fā)現(xiàn)這樣做有效：

然后用增量式方法求攝像機(jī)位置：

求取方法已知旋轉(zhuǎn)矩陣，用兩點(diǎn)法求取攝像機(jī)位置。有幾個(gè)優(yōu)勢(shì)：

1. RANSAC最小配置減少，更大概率隨機(jī)到正確的三維點(diǎn)與二維點(diǎn)對(duì)應(yīng)，這樣能提高精度

2. 在R已知的情況下，一定程度上可以過濾一部分錯(cuò)誤的匹配特征點(diǎn)，這樣能提高魯棒性

3. 每次增量中，可以同時(shí)計(jì)算得到更多攝像機(jī)位置，較少BA次數(shù)，提高重建效率

混合式優(yōu)缺：

綜合比較：

稀疏重建總結(jié)

           

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。