市場上空間定位的技術(shù)方案分為單目、雙目以及激光雷達(dá)三大陣營，其中激光雷達(dá)由于成本高昂市場接受度較低，而在都是基于計算機(jī)視覺的單目和雙目中，雙目則顯得更受歡迎。在國內(nèi)做計算機(jī)視覺技術(shù)方案的企業(yè)如圖漾、速感、人加智能等大多選擇了雙目，而選擇了單目的歡創(chuàng)科技則成為了少數(shù)派。那么，雙目為何比單目更受市場青睞，兩者之間的技術(shù)差異在哪里，單目又是如何實(shí)現(xiàn)空間定位與位置追蹤？本期雷鋒網(wǎng)硬創(chuàng)公開課邀請到歡創(chuàng)科技CEO周琨，詳細(xì)講解單目定位技術(shù)。

內(nèi)容介紹

本期公開課包含但不限于以下內(nèi)容：

• 視覺目標(biāo)定位（位姿測量）

• 單目視覺定位

• 基于PnP的單目視覺定位

• 單目與雙目比較

• 單目視覺定位在VR中的應(yīng)用

嘉賓介紹：

周琨，清華大學(xué)深圳研究生院碩士生導(dǎo)師，深圳市高層次人才，南山區(qū)領(lǐng)航人才，深圳市歡創(chuàng)科技有限公司CEO，清華大學(xué)本科、碩士，師從973首席科學(xué)家，長江學(xué)者戴瓊海教授。十余年IT和人機(jī)交互技術(shù)行業(yè)產(chǎn)品研發(fā)和技術(shù)管理經(jīng)驗(yàn)。先后就職于貝爾實(shí)驗(yàn)室，中國移動，對視覺人機(jī)交互技術(shù)進(jìn)行了非常深入的研究，作為主要發(fā)明人，擁有二十余項(xiàng)國際和國家專利，并先后獲得山東省科技進(jìn)步二等獎和深圳市科學(xué)技術(shù)專利獎。2014年初創(chuàng)辦歡創(chuàng)科技，擔(dān)任CEO職位，引領(lǐng)公司致力于計算機(jī)視覺空間定位與位置追蹤技術(shù)的研究和產(chǎn)業(yè)化，目前產(chǎn)品已經(jīng)廣泛應(yīng)用于電視機(jī)、VR與機(jī)器人領(lǐng)域。

公開課直播完整視頻：

以下為嘉賓分享內(nèi)容實(shí)錄。相對視頻文中做了刪減，完整內(nèi)容可觀看視頻。關(guān)注雷鋒網(wǎng)旗下微信公眾號「新智造」，回復(fù)「PPT」可獲取嘉賓完整PPT。

視覺目標(biāo)定位（位姿測量）

從工程意義上來說，測量一個物體相對于另一個物體的位置與姿態(tài)，即所謂的位姿測量。從數(shù)學(xué)意義上來講，測量兩個坐標(biāo)系間的平移與旋轉(zhuǎn)變換關(guān)系，包括3個位置(Translational)和3個旋轉(zhuǎn)角(Rotational)共6個位姿量(即6DOF)。理論上，只要已知空間不共線的3點(diǎn)在兩個坐標(biāo)系下的坐標(biāo)，就能唯一確定兩坐標(biāo)系間的位姿關(guān)系，因此，位姿測量的關(guān)鍵就是如何得到特征點(diǎn)在這兩個坐標(biāo)系下的坐標(biāo)。 

視覺空間定位的常見類型

自定位(inside-out)，即通過相機(jī)拍攝視野坐標(biāo)系，以及坐標(biāo)系的特征點(diǎn)，從而判斷相機(jī)相對坐標(biāo)系自身的坐標(biāo)。比如我們常用的SLAM，這方面雷鋒網(wǎng)之前也有嘉賓做過介紹，它的特點(diǎn)是便攜、視角理論無限大、定位精度不高。主要應(yīng)用領(lǐng)域包括移動機(jī)器人、無人機(jī)、VR、AR。

外定位(outside-in)，比較常見的是OptiTrack，特點(diǎn)是安裝復(fù)雜、視角有限、定位精度高。主要應(yīng)用領(lǐng)域包括影視動捕、VR、工業(yè)機(jī)器人。

常見的不同硬件定位方案

• 單目定位(mono camera)

  
  

特點(diǎn)：系統(tǒng)簡單，運(yùn)算量小，需要目標(biāo)點(diǎn)之間有幾何約束關(guān)系，應(yīng)用場景有限制，成本較低。

• 雙目定位(stereo camera)

  
  

特點(diǎn)：系統(tǒng)復(fù)雜，運(yùn)算量大，可以單幀單目標(biāo)點(diǎn)定位，對目標(biāo)物體無幾何約束，，應(yīng)用場合靈活，成本較高。

• 多目定位(multiple camera)

  
  

特點(diǎn)：系統(tǒng)非常復(fù)雜，運(yùn)算量特別巨大，對目標(biāo)物體無幾何約束要求，應(yīng)用場合受限，成本很高。

目前關(guān)于雙目定位的研究與市場應(yīng)用相對比較多，而單目定位則相對比較少，所以，今天我就重點(diǎn)講下單目定位。

單目視覺定位

顧名思義，單目視覺定位就是僅利用一臺攝像機(jī)完成定位工作。單目視覺定位的方法主要有兩種：基于單幀圖像的定位方法和基于兩幀或多幀的定位方法。

基于單幀圖像的定位方法包括基于特征點(diǎn)的定位（Perspective-n-Point）、基于直線特征的定位，關(guān)鍵點(diǎn)在于快速準(zhǔn)確地實(shí)現(xiàn)模板與投影圖像之間的特征匹配。

基于兩幀或多幀的定位方法的關(guān)鍵在于實(shí)現(xiàn)多幀投影圖像之間的對應(yīng)特征元素匹配，如SLAM。

基于PnP的單目視覺定位

什么是P-n-P問題？

P-n-P，即Perspective-n-Points，指給定世界（剛體）坐標(biāo)系下的n個3d坐標(biāo)點(diǎn)，以及這些點(diǎn)在圖像中的2d投影坐標(biāo)，求解世界（剛體）相對相機(jī)的姿態(tài)和位置（求解R,t)。要想求解出世界（剛體）相對相機(jī)的姿態(tài)和位置，必須知道至少4個點(diǎn)，也就是n要大于等于4，當(dāng)然這是必要條件，不是充分條件，充分必要條件是n等于6。

求解PnP問題的前提

PnP的求解路徑

單目與雙目比較

雙目視覺定位

雙目視覺定位原理是指通過三角測量原理來對目標(biāo)點(diǎn)的三維空間位置進(jìn)行定位。雙目視覺定位的算法流程：相機(jī)標(biāo)定、雙目標(biāo)定、圖像處理、特征檢測、立體匹配、三維測量、姿態(tài)測量。

單目和雙目視覺的共同難題

• 圖像提取精度問題

單目&雙目：如何提取目標(biāo)的高精度圖像

• 匹配問題

單目：如何將剛體目標(biāo)點(diǎn)同投影點(diǎn)匹配

雙目：如何將兩個攝像機(jī)中的目標(biāo)點(diǎn)匹配

• 標(biāo)定問題

單目：如何將相機(jī)內(nèi)參估計準(zhǔn)確

雙目：如何將相機(jī)內(nèi)參和外參估計準(zhǔn)確

• 有趣的系統(tǒng)問題

單目：攝像機(jī)簡單，目標(biāo)復(fù)雜，需解決剛體目標(biāo)點(diǎn)布局問題

雙目：攝像機(jī)復(fù)雜，目標(biāo)簡單，需解決攝像機(jī)基線設(shè)置問題

單目視覺與雙目視覺的區(qū)別

由于存在幾何模型約束優(yōu)勢，單目視覺會有更高精度與魯棒性（以下為仿真實(shí)驗(yàn)結(jié)果）

單目視覺有效視場更大：剛體定位不僅不依賴多個相機(jī)，定位空間還可以通過多個相機(jī)進(jìn)行擴(kuò)展而不發(fā)生視場范圍損失。

如何選擇單目還是雙目視覺定位

• 應(yīng)用場景需要知道3DOF還是6DOF？

單目視覺：要么不能輸出位姿，要么輸出6DOF

雙目視覺：可輸出3DOF、6DOF(滿足一定條件)

• 應(yīng)用場景對目標(biāo)物體有無約束？

單目視覺：必須已知剛體上4個及以上的目標(biāo)點(diǎn)的幾何約束

雙目視覺：無須知道幾何約束，適應(yīng)范圍廣

• 應(yīng)用場景對成本、視角要求如何？

單目視覺：成本更低、有效視角更大

雙目視覺：成本更高、有效視角更小

單目視覺定位在VR中的應(yīng)用

三大主流VR廠商現(xiàn)有位置追蹤方案

Oculus：單目光學(xué)攝像頭 + 數(shù)十個LED主動光源

Sony PSVR：雙目光學(xué)攝像頭+ 9個LED主動光源

HTC Vive：激光 +光敏二極管陣列

詳解Oculus 定位方案

定位器：1百萬像素，全局曝光攝像頭，52fps.

手柄：環(huán)形紅外定位點(diǎn)帶+IMU

頭盔：面板紅外定位點(diǎn)+頭盔后部三角形上的紅外定位點(diǎn)+IMU

定位方式：手柄和頭盔通過無線控制紅外定位點(diǎn)發(fā)光時間與攝像頭曝光時間同步；PC使用從圖像獲得的定位點(diǎn)信息與IMU數(shù)據(jù)融合，獲得頭盔和手柄的位置信息。

缺陷：覆蓋范圍比HTC小，達(dá)到roomscale需要更多的定位器；所有定位信息統(tǒng)一計算，不利于擴(kuò)展到多人或更多設(shè)備。

VR空間定位的幾個關(guān)鍵指標(biāo)

• 穩(wěn)定性(Robustness)

• 定位精度(Precision)：靜態(tài)精度（HTC：Translational RMSE: 1.5mm）和動態(tài)精度

• 靜態(tài)抖動(Static jitter)

• 范圍(Range)

• 成本(Cost)

我們是如何測量VR定位精度的？

六軸工業(yè)機(jī)器人測量，以工業(yè)機(jī)器人輸出值為Ground truth，并以此為準(zhǔn)進(jìn)行比對。

如何提高定位精度？

提高標(biāo)定精度——高幀率連續(xù)空間采樣

提高圖像提取精度——亞亞像素級的圖像提取精度

多傳感器融合——加入IMU，利用IMU信息提高信噪比

去除干擾點(diǎn)——通過調(diào)制光線，去除環(huán)境光照影響

Q&A環(huán)節(jié)

新智造：對于機(jī)器人是移動避障來說，單目是否比雙目更好？

周琨：從定位精度和魯棒性來說，雙目還是比單目好一些，如果從單目的場景來說，物體的復(fù)雜性會更高，而且單目的成本更低，但是對于機(jī)器人來說，成本不是太大問題，所以用雙目做機(jī)器人的移動避障會更好些。

新智造：做ADAS的話，單目和雙目的差別在哪里？

周琨：ADAS我研究的不多，我就以我認(rèn)知的來說下。因?yàn)槠囀歉咚僖苿拥奈矬w，所以ADAS的反應(yīng)速度非?？欤瑔文康暮锰幨且暯欠秶容^大，雙目的局限就在于它的視角會受限，不過單目只有一只“眼睛”，3D定位的話尺度問題不好解決，雙目的定位范圍要大些，精度可以做的比較高些。所以說兩者之間還是有差別的。

新智造：跟蹤定位未來有什么有前景的研究方向嗎？

周琨：目前主要是兩個方向，一個是SLAM，這個是非常大的研究方向，不過到現(xiàn)在其實(shí)都不太成熟，到目前為止我見過最成熟的產(chǎn)品就是微軟的HoloLens，就是有很多攝像頭才能做到魯棒性比較好，閉環(huán)做的比較好，無論是tango還是高通在VR上的的SLAM，都容易受到環(huán)境因素的影響，包括光照、白墻等等，離實(shí)用還是有比較大的距離，所以說這是一個比較大的研究方向。

第二個就是在工業(yè)應(yīng)用領(lǐng)域，這個時候需要解決的問題是精度，也就是說不用考慮成本問題，研究方向就是如何提高精度，毫米不夠就亞毫米。

新智造：在工業(yè)機(jī)器人中視覺應(yīng)用廣嗎，有哪些常用的應(yīng)用？

周琨：在工業(yè)機(jī)器人領(lǐng)域，視覺應(yīng)用會越來越廣泛，比如倉儲機(jī)器人都是無人值守的，自己完成搬運(yùn)工作，那么它需要“眼睛”來識別環(huán)境，目前比較常見的定位方案是Kiva的標(biāo)記點(diǎn)，未來一定是使用SLAM方案，機(jī)器人可以自行規(guī)劃路線；第二個場景是制造，雖然說機(jī)械臂可以進(jìn)行定位，但是僅適用于大批量重復(fù)性的制造，如果你需要經(jīng)常對這個加工的目標(biāo)不停的改變，你就需要輔助定位裝置幫你進(jìn)行重新設(shè)定，這個時候它的優(yōu)勢就出來了。

新智造：能否通過其他傳感器獲得攝像頭的位姿，而不是通過圖像計算獲得？

周琨：實(shí)際上現(xiàn)在我們常見的應(yīng)用都會加入多個傳感器來獲得攝像頭的位姿，最常見的就是MU，六軸或九軸的傳感器輔助獲得攝像頭的位姿，比如攝像頭出現(xiàn)遮擋，往往需要MU輔助獲得攝像頭的位姿，還有一種假如在室外，通過GPS獲得經(jīng)緯度，通過氣壓計獲得高度信息，其實(shí)這也是多傳感器融合的情況。

新智造：在圖像采集完后對圖像處理，放大目標(biāo)圖像的灰度值，縮小非目標(biāo)的灰度值中，如何使這個比例能更協(xié)調(diào)，而不只是根據(jù)主觀推斷？

周琨：根據(jù)我們的經(jīng)驗(yàn)比較難做，因?yàn)楹茈y區(qū)分目標(biāo)與非目標(biāo)，所以我們常見的做法是盡可能在原始數(shù)據(jù)時讓目標(biāo)與非目標(biāo)的區(qū)分度更大一些，方法很多，比如說可以通過增大目標(biāo)物體的特征，比如亮度，或者通過調(diào)制光，把目標(biāo)的特征點(diǎn)與非目標(biāo)的特征點(diǎn)放大，然后再去放大灰度值，就是第一步就把問題解決，就很容易區(qū)分目標(biāo)與非目標(biāo)。所以，我傾向于解決問題解決前面，而不是放到后面去解決，這樣會很難的。

新智造：對于小目標(biāo)如何提取穩(wěn)定特征點(diǎn)？

周琨：最笨的方法是提高相機(jī)的分辨率，很容易把目標(biāo)的像素點(diǎn)提高，獲得的信息就多了，特征點(diǎn)容易穩(wěn)定，帶來的壞處就是增加成本，如果在不增加成本的情況下獲取穩(wěn)定的特征點(diǎn)呢？其實(shí)我們也做了一些工作，就像PPT里講的做到了亞亞像素的精度，采用的策略是盡可能采集樣本的數(shù)量，帶來的壞處就是可能數(shù)據(jù)量增加幀數(shù)會下降，那么如何在樣本數(shù)量增加的同時保障幀數(shù)不下降，這個是需要解決的問題，但是方法無外乎就是這些！

新智造：圖像匹配過程中有什么方法可以提高匹配精度？特征比較少的場景怎么解決？

周琨：圖像匹配過程中首先要找特征點(diǎn)，要想提高匹配精度就要盡可能找出更多的特征點(diǎn)。無論是雙目還是單目，最難的場景是面對一面白墻，沒有任何特征點(diǎn)，這個時候要想提高匹配精度就很難，這個也是一個世界難題，目前就我所知還沒有特別好的辦法能解決，如果非要去解決，那就人為制造特征點(diǎn)，比如打散斑，也就是結(jié)構(gòu)光，這個時候能夠提高匹配精度。簡單來說就是盡量找特征，沒有特征的話就人為制造特征。

新智造：多傳感器的時間戳同步問題怎么解決？

周琨：如果你用CMOS傳感器它就比較容易實(shí)現(xiàn)，因?yàn)楹枚郈MOS傳感器都有時間戳同步功能，如果CMOS傳感器你還需要用到MU，想要實(shí)現(xiàn)時間戳同步，就需要確定一個同步的中心元，像在VR里面，比如我有兩個攝像機(jī)和手柄，這個時候你需要用頭盔做這個同步的中心，它發(fā)射命令出來，所有攝像頭也好手柄也好向它對齊，關(guān)鍵是做到這一步，其他方面我覺得沒什么。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。