0
| 本文作者： 奕欣 | 2018-07-16 10:15 |
雷鋒網(wǎng) AI 科技評(píng)論按：本文作者為夏斐和何志揚(yáng)，首發(fā)于公眾號(hào)“ 心有麟熙”，AI科技評(píng)論獲授權(quán)轉(zhuǎn)載，并做了不改動(dòng)原意的修改。
很高興給大家介紹我們?nèi)脒x CVPR2018 年的項(xiàng)目 Gibson Environment。這是一個(gè)主要適用于機(jī)器人導(dǎo)航任務(wù)的模擬平臺(tái)。我們?cè)趥鹘y(tǒng)的圖形學(xué)渲染管線基礎(chǔ)上進(jìn)行了創(chuàng)新，使用神經(jīng)網(wǎng)絡(luò)作為渲染引擎 (neural network rendering engine)，達(dá)到了近乎真實(shí)環(huán)境的渲染效果。通過和物理引擎的融合，我們可以做到在計(jì)算機(jī)里1:1地模擬真實(shí)環(huán)境：
效果圖：我們動(dòng)態(tài)地模擬了斯坦福計(jì)算機(jī)系 (Gates Building) 一樓的真實(shí)場景，讓虛擬機(jī)器人可以在其中進(jìn)行探索，學(xué)習(xí)真實(shí)世界。我們?cè)贕ibson Environment里可以同時(shí)“激活”大量類似的機(jī)器人。喜歡電影黑客帝國的讀者可能對(duì)這個(gè)概念并不陌生。
通過Gibson Environment，我們可以把真實(shí)的場景 (例如家庭住宅，學(xué)校，辦公室) 虛擬化，以節(jié)約大量在真實(shí)環(huán)境訓(xùn)練機(jī)器人的資源。另一方面，我們可以把虛擬環(huán)境中訓(xùn)練出來的機(jī)器人部署到真實(shí)環(huán)境。這為實(shí)現(xiàn)真實(shí)的強(qiáng)化學(xué)習(xí)提供了有力的基礎(chǔ)。目前Gibson Environment已經(jīng)完全開源，正在Beta測試階段。有興趣的讀者可以在項(xiàng)目網(wǎng)站上使用我們的源代碼。
項(xiàng)目網(wǎng)址：http://gibson.vision
論文：http://gibson.vision/Gibson_CVPR2018.pdf
Github地址：https://github.com/StanfordVL/GibsonEnv
視頻介紹：https://www.youtube.com/watch?v=KdxuZjemyjc
2016年起，伴隨深度強(qiáng)化學(xué)習(xí)的興起，計(jì)算機(jī)視覺領(lǐng)域的研究重心從靜態(tài)圖片開始轉(zhuǎn)向動(dòng)態(tài)的控制。大量的仿真模擬平臺(tái)涌現(xiàn)而出 (例如虛擬駕駛平臺(tái)Carla, 虛擬無人機(jī)平臺(tái)Airsim)。
傳統(tǒng)機(jī)器人領(lǐng)域傾向于將一個(gè)復(fù)雜的任務(wù)分成感知 (perception) 模塊和決策(planning) 模塊，而強(qiáng)化學(xué)習(xí)讓我們可以端到端地學(xué)習(xí)到更復(fù)雜的控制 (end to end control/sensorimotor control)，即輸入為傳感器信息，直接輸出控制信號(hào)。
目前最前沿的強(qiáng)化學(xué)習(xí)算法已經(jīng)在很多端到端任務(wù)上獲得了的成功，例如在游戲中學(xué)會(huì)解迷宮，在不平的路面上學(xué)會(huì)行走。在自動(dòng)駕駛中，從攝像頭拍到的畫面，我們可以直接預(yù)測方向盤的轉(zhuǎn)角和油門剎車。
這樣的任務(wù)無法在靜態(tài)的數(shù)據(jù)集（例如 ImageNet）中學(xué)習(xí)。我們需要在一個(gè)可交互式的動(dòng)態(tài)環(huán)境種訓(xùn)練智能體。
這張圖涵蓋了目前主流的模擬環(huán)境，包括游戲類的毀滅戰(zhàn)士（VIZdoom)，俠盜獵車（GTA），駕駛類的CARLA，物理類的Roboschool。之前提到的解迷宮、行走智能體就出自這些環(huán)境。有了這些成果，我們能不能將智能體運(yùn)用于實(shí)際生活中，解決駕駛、機(jī)器人行走的問題呢？
事實(shí)告訴我們，部署到實(shí)際中的智能體往往會(huì)因?yàn)橛^測到的像素不同而導(dǎo)致結(jié)果不理想，甚至失靈。例如在俠盜獵車手中訓(xùn)練的自動(dòng)駕駛汽車到了真實(shí)世界中，看到從沒有見過的場景，會(huì)不幸成為馬路殺手。
針對(duì)這個(gè)問題，我們?cè)O(shè)計(jì)了Gibson Environment，以解決模擬平臺(tái)不夠真實(shí)(photorealisitic) 的問題。目前大部分的模擬平臺(tái)都是基于計(jì)算機(jī)圖形學(xué)的方法(例如 THOR, House3D, Carla)，而使用這種方法通常很難遷移到真實(shí)環(huán)境。在我們的工作中，我們使用基于圖片的渲染 (IBR) 方法，接合神經(jīng)網(wǎng)絡(luò)，達(dá)到了高效和真實(shí)的渲染。
Gibson Environment的名字來源于美國認(rèn)知心理學(xué)之父James J. Gibson。他提出認(rèn)知 (perception) 和 行動(dòng) (action) 具有非常緊密的聯(lián)系，嬰兒需要通過主動(dòng)玩耍才能學(xué)會(huì)識(shí)別各種物品。對(duì)于人工智能也是一樣。Gibson Environment的科研價(jià)值在于它正是這樣一個(gè)環(huán)境，讓智能體可以同時(shí)學(xué)習(xí)認(rèn)知和行動(dòng)。
為了能渲染出看起來更加真實(shí)的畫面，計(jì)算機(jī)圖形學(xué)領(lǐng)域主要有兩條主要的技術(shù)線路，一種是通過更仔細(xì)的建模和更好的光線追蹤算法來實(shí)現(xiàn)渲染。這種方法在電影制作中十分常見，通常需要消耗大量的計(jì)算資源和資金，不適合用于實(shí)時(shí) (real time) 的模擬環(huán)境。
另一種方法是直接從真實(shí)環(huán)境中采集圖片，把渲染的問題定義為“視角合成”問題，即給定幾個(gè)從已有的視角采集的圖片，合成一個(gè)新的視角。我們采用了這種方法作為我們的渲染方法，這個(gè)方法的示意圖如下：
方法的輸入是環(huán)境的3D模型（比較粗糙）和一系列視角采集到的圖片。對(duì)于要渲染的任意一個(gè)視點(diǎn)，我們選取周圍的k個(gè)視點(diǎn)，將每個(gè)視點(diǎn)的每個(gè)像素投射到3D模型上，得到一個(gè)三維點(diǎn)云。之后，我們對(duì)3D點(diǎn)云進(jìn)行簡單的雙線性插值，得到一個(gè)初步的渲染結(jié)果。
不同于常見3D模型材質(zhì)渲染的方法，我們對(duì)于不同的視點(diǎn)選取材質(zhì)的方法是自適應(yīng)的（更近的視點(diǎn)采樣更多）。在此之上為了還原更多微細(xì)節(jié)（例如植物，無法被實(shí)景掃描捕捉），我們使用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)對(duì)渲染進(jìn)行后處理。具體技術(shù)細(xì)節(jié)可以參考原論文。
我們項(xiàng)目的另一個(gè)創(chuàng)新是把像素級(jí)別域遷移 (pixel level domain adaptation) 的機(jī)制嵌入到渲染引擎當(dāng)中。我們的后處理網(wǎng)絡(luò) f 可以讓渲染看起來像真實(shí)世界中的照片，與此同時(shí)我們還訓(xùn)練了另外一個(gè)網(wǎng)絡(luò) u，讓真實(shí)世界中的圖片看上去像我們的渲染。
這樣做簡化了機(jī)器人在真實(shí)世界的部署：只需要在機(jī)器人的傳感器上接入我們的網(wǎng)絡(luò)，就像給機(jī)器人戴上了一副虛擬的“眼鏡” (goggles) 。
近年來隨著實(shí)景掃描技術(shù)的進(jìn)步，有大量的樓房，住宅，真實(shí)場所被掃描并保存成了虛擬檔案。最初，這樣的檔案主要被應(yīng)用于房地產(chǎn)網(wǎng)絡(luò)銷售。
斯坦福視覺實(shí)驗(yàn)室（Stanford Vision Lab）是最早將這樣的數(shù)據(jù)應(yīng)用于科研的實(shí)驗(yàn)室。在 Stanford 2D3DS (鏈接：http://buildingparser.stanford.edu/dataset.html) 項(xiàng)目中，研究院將斯坦福大學(xué)6棟主要建筑進(jìn)行了掃描，并取得了一系列突破。在此之后，被應(yīng)用于科研的實(shí)景掃描數(shù)據(jù)量呈指數(shù)式增長。
Gibson Environment可以模擬任何被掃描過的真實(shí)環(huán)境，這是它的一個(gè)巨大優(yōu)點(diǎn)。你完全可以掃描自己的房子，然后用Gibson Environment為之生成一個(gè)虛擬的環(huán)境，訓(xùn)練你的掃地機(jī)器人。
在我們CVPR18的論文中，我們收集并開源了572個(gè)建筑物（1440層）的掃描。作為現(xiàn)有最大的數(shù)據(jù)集，我們比同類數(shù)據(jù)集（例如matterport3D）大一個(gè)數(shù)量級(jí)。
目前我們已經(jīng)在https://github.com/StanfordVL/GibsonEnv 發(fā)布了一小部分?jǐn)?shù)據(jù)集作為環(huán)境Beta測試的一部分，主要的數(shù)據(jù)集將會(huì)在近期發(fā)布。
在文中，我們對(duì)我們的渲染做了各種測試，包括速度，和真實(shí)圖像的差距，以及域遷移能否成功實(shí)現(xiàn)等，有興趣的讀者可以參考我們的文章。不過由于時(shí)間的限制，在CVPR的文章里我們并沒有在機(jī)器人上做實(shí)驗(yàn)，近期我們正在進(jìn)行這些實(shí)驗(yàn)，包括語義導(dǎo)航、語義建圖、目標(biāo)驅(qū)動(dòng)的三維重建等任務(wù)。
由于面向的是機(jī)器人的應(yīng)用，我們集成了Gibson模擬環(huán)境和機(jī)器人操作系統(tǒng)，ROS的用戶可以方便地使用Gibson Env作為模擬器，來模擬攝像頭或者kinect輸入。下圖是用Gibson模擬器模擬機(jī)器人建圖 (mapping) 的一個(gè)簡單的demo。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
