ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

本文作者：我在思考中

2021-09-06 14:30

導(dǎo)語：該工作由北京大學(xué)前沿計(jì)算研究中心陳寶權(quán)課題組與斯坦福大學(xué)/北京大學(xué)王鶴等合作完成，論文共同一作翁伊嘉為2021屆圖靈班學(xué)生。

ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

導(dǎo)讀：本文是計(jì)算機(jī)視覺領(lǐng)域頂級會議 ICCV入選論文《基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤（CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds）》的解讀。該工作由北京大學(xué)前沿計(jì)算研究中心陳寶權(quán)課題組與斯坦福大學(xué)/北京大學(xué)王鶴等合作完成，論文共同一作翁伊嘉為2021屆圖靈班學(xué)生。

項(xiàng)目主頁：
https://yijiaweng.github.io/CAPTRA/

論文地址：
https://arxiv.org/abs/2104.03437

1

引言

物體位姿包含相機(jī)坐標(biāo)系下物體的三維平移與三維旋轉(zhuǎn)，在計(jì)算機(jī)視覺與機(jī)器人學(xué)中有著廣泛應(yīng)用，如指導(dǎo)機(jī)器人抓取與操縱物體，在增強(qiáng)現(xiàn)實(shí)中將虛擬內(nèi)容疊加在真實(shí)物體上等。

不同于只能應(yīng)用于已知物體的實(shí)例級別位姿估計(jì)，[1] 提出的類級別物體位姿估計(jì)問題要求對來自已知物體類別、與訓(xùn)練物體存在幾何差異的未知測試物體進(jìn)行九自由度的位姿估計(jì)，即估計(jì)物體的三維尺寸、三維平移、三維旋轉(zhuǎn)，更適用于實(shí)際應(yīng)用中形狀外觀各異的真實(shí)物體。[2] 進(jìn)一步將對剛性物體的位姿估計(jì)拓展到帶關(guān)節(jié)物體（如筆記本電腦、抽屜、眼鏡）上，為理解和模仿人類與帶關(guān)節(jié)物體之間的復(fù)雜互動奠定了基礎(chǔ)。

目前，大部分類級別物體位姿估計(jì)的工作聚焦于單幀位姿估計(jì)，而我們希望能對連續(xù)多幀觀測進(jìn)行時序上平滑的物體位姿追蹤，從而更好地服務(wù)于增強(qiáng)現(xiàn)實(shí)、基于實(shí)時反饋的閉環(huán)控制等應(yīng)用。

我們提出了首個可以同時應(yīng)用于剛性物體和帶關(guān)節(jié)物體，運(yùn)行在類級別場景下的九自由度位姿追蹤框架。給定當(dāng)前幀的深度點(diǎn)云與上一幀的物體位姿估計(jì)，本文提出的框架能通過端到端的訓(xùn)練，準(zhǔn)確地更新位姿估計(jì)，在估計(jì)準(zhǔn)確率與運(yùn)行速度上都超過了已有的最好方法。

2

方法簡介

ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

圖1. 類級別物體位姿追蹤任務(wù)

如上圖，給定包含實(shí)例

O

的實(shí)時深度點(diǎn)云流

\{X_t\}_{t\geq 0}

，其逐部件初始位姿估計(jì)

\{{\mathtt{P}^{(j)}_o\}}_j

，我們希望在線地追蹤其各部件位姿

\{{\mathtt{P}^{(j)}_t\}}_j

。具體來說，我們逐幀進(jìn)行位姿估計(jì)，在

t+1

幀，基于第

t

幀的各部件位姿估計(jì)

\{{\mathtt{P}^{(j)}_t\}}_j

與第

t+1

幀的深度點(diǎn)云觀測

X_{t+1}

，估計(jì)第

{t+1}

幀的各部件位姿

\{{\mathtt{P}^{(j)}_{t+1}\}}_j

。

仿照[1]，我們將九自由度位姿

\mathtt{P}^{(j)} = {d^{(j)}, R^{(j)}, T^{(j)}}

進(jìn)一步分解為七自由度相似變換

\mathcal{T}^{(j)} = {s^{(j)}, R^{(j)}, T^{(j)}}

與三維長寬高比例

\hat{d^{(j)}} = d^{(j)} / s^{(j)}

，以下主要討論

\mathcal{T}^{(j)}

的估計(jì)，細(xì)節(jié)請參見論文。

位姿估計(jì)存在兩類主流方法，基于坐標(biāo)預(yù)測的方法首先為觀測點(diǎn)預(yù)測其對應(yīng)物體點(diǎn)在歸一化物體坐標(biāo)系中的坐標(biāo)，利用觀察坐標(biāo)與歸一化物體坐標(biāo)之間的對應(yīng)關(guān)系，使用 RANSAC 擬合物體位姿，得益于 RANSAC 對離群點(diǎn)的有效移除，該方法通常能獲得更為準(zhǔn)確與魯棒的預(yù)測，但 RANSAC 算法中的假設(shè)采樣較為耗時，其過程也不可微，無法直接針對位姿進(jìn)行優(yōu)化。

基于位姿回歸的方法進(jìn)行端到端可微的直接預(yù)測，能夠達(dá)到很高的運(yùn)行速度，但容易產(chǎn)生更大的預(yù)測誤差。我們希望結(jié)合兩類方法的優(yōu)勢，建立一個端到端可微、精度與速度兼?zhèn)涞奈蛔俗粉櫹到y(tǒng)。

如下圖所示，我們的模型由位姿正規(guī)化（Pose Canonicalization）、旋轉(zhuǎn)回歸網(wǎng)絡(luò)（RotationNet）與坐標(biāo)預(yù)測網(wǎng)絡(luò)（CoordinateNet）組成。

ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

圖2. 我們的位姿追蹤框架

位姿正規(guī)化（Pose Canonicalization）

為了簡化將輸入點(diǎn)云坐標(biāo)

X_{t+1}

映射到輸出相似變換

\mathcal{T}^{(j)}_{t+1}

的學(xué)習(xí)問題，我們將前一幀位姿估計(jì)

\mathcal{T}^{(j)}_t

的逆變換與輸入點(diǎn)云

X_{t+1}

相乘，得到位姿正規(guī)化點(diǎn)云 ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

作為模型輸入，令模型輸出

Z_{t+1}^{(j)}

中部件

j

的位姿

\hat{\mathcal{T}}^{(j)}_{t+1} =\{ {\hat{s}^{(j)}_{t+1}, \hat{R}^{(j)}_{t+1}, \hat{T}^{(j)}_{t+1}}\}

，再間接計(jì)算

\mathcal{T}^{(j)}_{t+1}

。

由時序連續(xù)性，可以推出 ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

，這意味著

Z_{t+1}^{(j)}

中部件

j

總是接近正規(guī)位姿（canonical pose），

\hat{\mathcal{T}}^{(j)}_{t+1}

接近恒等變換，原問題的輸入與輸出被同時正規(guī)化，從而大大降低了網(wǎng)絡(luò)預(yù)測位姿的難度。

旋轉(zhuǎn)回歸網(wǎng)絡(luò)（RotationNet）

以位姿正規(guī)化的點(diǎn)云

Z_{t + 1}^{(j)}

為輸入，我們訓(xùn)練旋轉(zhuǎn)回歸網(wǎng)絡(luò)，直接對

\hat{R}_{t+1}^{(j)}

進(jìn)行回歸，再計(jì)算原始旋轉(zhuǎn) ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

總在恒等變換附近，直接回歸就能實(shí)現(xiàn)準(zhǔn)確估計(jì)。

坐標(biāo)預(yù)測網(wǎng)絡(luò)（CoordinateNet）

由于點(diǎn)云

Z_{t+1}^{(j)}

不完整，存在平移與尺寸上的歧義（舉例來說，當(dāng)一支鉛筆的一端被遮住時，鉛筆的長度無法確定，其中心的平移也無法確定），直接回歸

\hat{s}_t^{(j)}

和

\hat{T}_t^{(j)}

仍然很困難。我們轉(zhuǎn)而訓(xùn)練坐標(biāo)預(yù)測網(wǎng)絡(luò)，從

Z_{t+1}^{(j)}

預(yù)測部件在歸一化坐標(biāo)系下的坐標(biāo)

Y_{t+1}^{(j)}

，這一稠密的預(yù)測目標(biāo)要求網(wǎng)絡(luò)能捕捉到類級別的物體幾何先驗(yàn)知識，包含了更為準(zhǔn)確的有關(guān)物體平移、物體尺寸的信息。

基于歸一化坐標(biāo)

Y_{t+1}^{(j)}

與原始點(diǎn)云

X_{t+1}

的對應(yīng)關(guān)系與旋轉(zhuǎn)回歸網(wǎng)絡(luò)的預(yù)測

R_{t+1}

，我們解析地計(jì)算物體的平移與尺寸。在位姿正規(guī)化模塊的幫助下，我們預(yù)測的

Y_{t+1}^{(j)}

相當(dāng)準(zhǔn)確，無需 RANSAC 就能達(dá)到高精度的位姿估計(jì)，從而實(shí)現(xiàn)一個快速、端到端可微，能直接以 9DoF 位姿準(zhǔn)確度為優(yōu)化目標(biāo)的計(jì)算框架。

3

結(jié)果展示

我們的方法在類級別剛性物體位姿估計(jì)數(shù)據(jù)集 NOCS-REAL275 [1]、基于 SAPIEN [3] 的類級別帶關(guān)節(jié)物體位姿估計(jì)數(shù)據(jù)集、BMVC [4] 上均超過了已有方法，以下展示部分定性結(jié)果，詳細(xì)實(shí)驗(yàn)設(shè)定與定量結(jié)果請參見論文。

剛性物體位姿追蹤

我們在 NOCS-REAL275 真實(shí)世界數(shù)據(jù)集上與類級別剛性物體追蹤算法 6-PACK 進(jìn)行比較，使用三維包圍盒表示九自由度位姿估計(jì)，綠色表示追蹤誤差≤5o5cm，紅色表示追蹤誤差>5o5cm。我們產(chǎn)生的追蹤結(jié)果更加準(zhǔn)確。

ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

圖3. NOCS-REAL275上的類級別剛性物體位姿追蹤

帶關(guān)節(jié)物體位姿追蹤

由于沒有現(xiàn)成的類級別帶關(guān)節(jié)物體位姿追蹤數(shù)據(jù)集，我們基于 SAPIEN [3] 生成了一個合成數(shù)據(jù)集，并在其上對比我們的方法與類級別帶關(guān)節(jié)物體位姿估計(jì)算法 ANCSH [2]。我們的追蹤結(jié)果更加準(zhǔn)確、平滑，對自遮擋更加魯棒。

ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

圖4. SAPIEN合成數(shù)據(jù)集上的類級別帶關(guān)節(jié)物體位姿追蹤

我們進(jìn)一步在真實(shí)世界的帶關(guān)節(jié)物體數(shù)據(jù)上測試我們的模型。在 BMVC [4] 數(shù)據(jù)集的筆記本電腦序列、我們采集的剪刀序列、機(jī)械臂操縱抽屜序列上，我們僅在合成數(shù)據(jù)上訓(xùn)練的模型均能成功泛化，達(dá)到對物體的準(zhǔn)確追蹤。

ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

圖5. 上：BMVC數(shù)據(jù)集中的筆記本電腦序列；下：我們采集的剪刀序列

ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤

圖6. 機(jī)械臂操縱抽屜序列

4

結(jié)語

本文提出了一個端到端可微的位姿追蹤框架，能同時處理類級別剛性物體與帶關(guān)節(jié)物體九自由度位姿追蹤問題，在多個數(shù)據(jù)集上達(dá)到了 SOTA 效果。未來可能的研究方向包括對關(guān)節(jié)限制的進(jìn)一步利用，向部件個數(shù)不固定、部件連接關(guān)系不固定的帶關(guān)節(jié)物體類別拓展等。

參考文獻(xiàn)

[1] He Wang, Srinath Sridhar, Jingwei Huang, Julien Valentin, Shuran Song, and Leonidas J Guibas. Normalized object coordinate space for category-level 6D object pose and size estimation. CVPR 2019.

[2] Xiaolong Li, He Wang, Li Yi, Leonidas J Guibas, A Lynn Abbott, and Shuran Song. Category-level articulated object pose estimation. CVPR 2020.

[3] Fanbo Xiang, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu, Hanxiao Jiang, Yifu Yuan, He Wang, Li Yi, Angel X. Chang, Leonidas J. Guibas, and Hao Su. SAPIEN: A simulated part-based interactive environment. CVPR 2020.

[4] Frank Michel, Alexander Krull, Eric Brachmann, Michael Ying Yang, Stefan Gumhold, and Carsten Rother. Pose estimation of kinematic chain instances via object coordinate regression. BMVC 2015.

ICCV 2021 Oral | 基于點(diǎn)云的類級別剛體與帶關(guān)節(jié)物體位姿追蹤