位置追蹤技術(shù)是虛擬現(xiàn)實(shí)設(shè)備的核心也是最復(fù)雜的一部分，有好的位置追蹤技術(shù)才能保證良好的沉浸感，不過要做好位置追蹤并非易事，它對(duì)硬件以及算法都有非常高的要求。目前業(yè)界已經(jīng)采用的位置追蹤技術(shù)方案都有差異，不過從現(xiàn)有的產(chǎn)品體驗(yàn)來看，現(xiàn)在主流的幾種方案也有很大的提升空間。

那么虛擬現(xiàn)實(shí)是如何實(shí)現(xiàn)位置追蹤的？在設(shè)計(jì)過程中，如何權(quán)衡各個(gè)位置追蹤的指標(biāo)？廠商應(yīng)該注意哪些問題？本期硬創(chuàng)公開課將為大家答疑解惑。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

嘉賓介紹：張海威，青瞳視覺聯(lián)合創(chuàng)始人，2008年畢業(yè)于中國(guó)科學(xué)院自動(dòng)化研究所模式識(shí)別與人工智能國(guó)家重點(diǎn)實(shí)驗(yàn)室，主要研究方向?yàn)镾LAM定位、三維重建、全景拼接、動(dòng)作捕捉、表情捕捉等領(lǐng)域，著有授權(quán)發(fā)明專利三項(xiàng)。2015年8月創(chuàng)立上海青瞳視覺科技有限公司，定位于人工智能領(lǐng)域的人機(jī)交互技術(shù)。目前核心產(chǎn)品為動(dòng)作捕捉、表情捕捉，主要應(yīng)用于影視、動(dòng)畫、游戲、教育、醫(yī)療、體育、軍工、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域。青瞳視覺專注于提供好用的交互技術(shù)，降低人與計(jì)算機(jī)之間的溝通成本，讓計(jì)算機(jī)與人類做朋友。

虛擬現(xiàn)實(shí)幾個(gè)容易混淆的概念

首先我想明確幾個(gè)概念，這些概念我們平時(shí)都會(huì)提，但是在提的時(shí)候可能嘴上說的是A心里想的卻是B，所以有必要明確一下，避免造成不必要的混淆。這三個(gè)概念分別是“位置追蹤”、“位姿估計(jì)”和“動(dòng)作捕捉”。

位置追蹤

我們生活在三維世界中，所以“位置追蹤”指的是持續(xù)地明確感興趣物體在三維空間中的位置。

這里面的關(guān)鍵詞是“持續(xù)”和“位置”，“持續(xù)”好理解，“位置”需要好好明確一下?！拔恢谩敝傅氖俏矬w在三維世界中的坐標(biāo)，也就是物體在“X、Y、Z”三個(gè)方向上的坐標(biāo)。位置信息是三個(gè)自由度的，或者叫3Dof。

那么“物體”是什么？

“物體”可能是我們的頭，也可能是一把槍，或者是一把椅子。頭也好，槍或椅子也罷，這些物體，都是有一定體積的，而“位置”是一個(gè)點(diǎn)的概念，這里說的“物體的位置”其實(shí)指的是“物體上某一點(diǎn)在三維世界中的XYZ坐標(biāo)”。這個(gè)很重要，尤其對(duì)虛擬現(xiàn)實(shí)來說，一點(diǎn)點(diǎn)偏差帶來的體驗(yàn)很可能差別很大。

位姿估計(jì)

“位姿估計(jì)”就很好解釋了，它是指“持續(xù)地明確感興趣剛性物體在三維空間中的位置和旋轉(zhuǎn)”。位姿信息是六個(gè)自由度的，或者叫6Dof，我們?cè)谔摂M現(xiàn)實(shí)中需要的是六個(gè)自由度的信息的，而不是簡(jiǎn)單的三個(gè)自由度的位置信息。

與“位置追蹤”不同的是，空間中的一個(gè)點(diǎn)是沒有旋轉(zhuǎn)信息的，因此旋轉(zhuǎn)是針對(duì)一個(gè)三維物體，它不是一個(gè)點(diǎn)，也不是一根線。同一時(shí)刻，對(duì)于同一個(gè)剛體上的不同點(diǎn)A、B，它們的位置是不同的，但是如果將A、B分別與剛體上的點(diǎn)C連接起來，那么線段AC、BC相對(duì)于初始狀態(tài)的旋轉(zhuǎn)角度是一樣的。說到初始狀態(tài)，我們談位置，必然有一個(gè)坐標(biāo)系原點(diǎn)，談旋轉(zhuǎn)，也得有旋轉(zhuǎn)狀態(tài)的原點(diǎn)。比如有人把道具水平放置認(rèn)為是旋轉(zhuǎn)零點(diǎn)，有人把道具豎著放認(rèn)為是旋轉(zhuǎn)零點(diǎn)（旋轉(zhuǎn)角度是0），如果你愿意，也可以把道具斜著放看作是旋轉(zhuǎn)零點(diǎn)，只是有一點(diǎn)，保證模型的旋轉(zhuǎn)零點(diǎn)與實(shí)際道具的旋轉(zhuǎn)零點(diǎn)保持一致。

動(dòng)作捕捉

最后是“動(dòng)作捕捉”。默認(rèn)情況下，我們談動(dòng)作捕捉是指捕捉人全身的動(dòng)作。人有很多關(guān)節(jié)，每個(gè)關(guān)節(jié)比如小臂、大臂等都可以近似看作是一個(gè)剛體，因此人的動(dòng)作有很多的自由度。在實(shí)際的動(dòng)作捕捉應(yīng)用中，一般捕捉的是較大關(guān)節(jié)的動(dòng)作，要想捕捉每塊骨骼每塊肌肉的運(yùn)動(dòng)情況代價(jià)是比較大的，甚至是不可實(shí)現(xiàn)的。

主流的追蹤技術(shù)

現(xiàn)在的主流技術(shù)大概分為：光學(xué)、慣性、電磁、機(jī)械、UWB等。

這其中光學(xué)最復(fù)雜，也分幾個(gè)子流派，比如一種分類方法是按照相機(jī)數(shù)量和標(biāo)記點(diǎn)數(shù)量可以劃分為單相機(jī)單標(biāo)記點(diǎn)（PS MOVE）、單相機(jī)多標(biāo)記點(diǎn)（PS VR、Oculus、HTC Vive、SLAM）、多相機(jī)單標(biāo)記點(diǎn)（Ximmerse、depth VR）以及多相機(jī)多標(biāo)記點(diǎn)（青瞳、Optitrack）等幾種方案。這其中標(biāo)記點(diǎn)是否有源可進(jìn)一步分為主動(dòng)標(biāo)記點(diǎn)和被動(dòng)標(biāo)記點(diǎn)的方案。根據(jù)相機(jī)曝光方式不同可以分為卷簾快門（rolling shutter）和全局快門（global shutter）。其它還有基于壓電、聲音等傳感器的技術(shù)。

總的說來，光學(xué)中單標(biāo)記點(diǎn)的方案只能捕捉剛體在空間中的3Dof信息，多標(biāo)記點(diǎn)的方案可捕捉剛體在空間中的6Dof位姿信息，多相機(jī)多標(biāo)記點(diǎn)的方案可捕捉全身動(dòng)作。

其實(shí)很好理解，單標(biāo)記點(diǎn)，比如數(shù)學(xué)上是一個(gè)無限小的球吧，這個(gè)球在空間中只有位置信息，它無論怎樣旋轉(zhuǎn)還是一個(gè)球。如果剛體上有兩個(gè)球，那么這兩個(gè)球連成一條線，就可以捕捉它的5個(gè)自由度，三個(gè)球及以上就能解算其6個(gè)自由度了。

慣性和機(jī)械方案無法捕捉位置信息，也就無法捕捉位姿，只能捕捉人的全身動(dòng)作。電磁方案可捕捉位姿和全身動(dòng)作，UWB主要用來捕捉位置信息。由于每種方案都有自己的優(yōu)缺點(diǎn)，因此實(shí)際使用中可能是混合方案。

紅外追蹤的技術(shù)原理

紅外（多相機(jī)多標(biāo)記點(diǎn)）方案由于它的全面性因而被廣泛采用，其原理也沒有那么復(fù)雜，主要是基于三角測(cè)量（三角重構(gòu)）機(jī)理。

在捕捉之前，需要對(duì)系統(tǒng)進(jìn)行校準(zhǔn)（標(biāo)定），校準(zhǔn)分相機(jī)內(nèi)參（這些參數(shù)只與相機(jī)本身有關(guān)）校準(zhǔn)與外參（這些參數(shù)與相機(jī)本身無關(guān)，與相機(jī)之間的關(guān)系有關(guān)）校準(zhǔn)。

有的廠家出廠前已經(jīng)做了內(nèi)參校準(zhǔn)，因此使用時(shí)只做外參校準(zhǔn)即可，這樣可以保證精確度和校準(zhǔn)速度，但是失去了靈活性，因此大部分廠家使用的時(shí)候?qū)?nèi)外參數(shù)同時(shí)進(jìn)行校準(zhǔn)。

有了內(nèi)外參數(shù)之后，就可以通過三角重構(gòu)的方法恢復(fù)出標(biāo)記點(diǎn)在空間中的位置信息。

相機(jī)拍照是一個(gè)由三維映射到二維的過程，丟失了深度信息，通過光心的射線在圖像上映射為一個(gè)圖像點(diǎn)。校準(zhǔn)了內(nèi)參之后，圖像上任何一點(diǎn)可以反求出其在三維空間中的射線方向，標(biāo)記點(diǎn)肯定在這條射線上。那么，如果有兩條射線，這兩條射線相交就能求出標(biāo)記點(diǎn)在空間中的位置信息。但是標(biāo)記點(diǎn)一般情況下是運(yùn)動(dòng)的，所以要求拍照的兩個(gè)相機(jī)要同步。假如標(biāo)記點(diǎn)靜止不動(dòng)，也可以用同一個(gè)相機(jī)在不同位置拍照計(jì)算。實(shí)際圖像中，所有的標(biāo)記點(diǎn)都只是一個(gè)個(gè)的小白點(diǎn)，這需要把這些小白點(diǎn)給區(qū)分出來，一一對(duì)應(yīng)起來之后再去做三角重構(gòu)。

知道了標(biāo)記點(diǎn)的位置信息后，就可以計(jì)算出一組標(biāo)記點(diǎn)（一般稱其為標(biāo)記體或者Rigid Body）的6Dof或者計(jì)算出人體的關(guān)節(jié)運(yùn)動(dòng)信息。

在這個(gè)過程中，需要用到相機(jī)校準(zhǔn)、標(biāo)記點(diǎn)的圖像提取、標(biāo)記點(diǎn)的識(shí)別與匹配、標(biāo)記點(diǎn)的深度信息恢復(fù)、標(biāo)記體的6Dof恢復(fù)，另外需要處理遮擋、噪聲等干擾因素。這些環(huán)節(jié)看上去簡(jiǎn)單，不過對(duì)技術(shù)還是有一定要求的，任何一個(gè)環(huán)節(jié)不理想都會(huì)導(dǎo)致結(jié)果的不理想。對(duì)了最后所有這些運(yùn)算必須在幾ms甚至1ms內(nèi)完成。

目標(biāo)點(diǎn)、相機(jī)對(duì)位置追蹤的影響

一個(gè)大的原則是，相機(jī)和標(biāo)記點(diǎn)越分散捕捉的精度越高。類似Oculus、PSVR或者HTC Vive這種單相機(jī)（這里把Vive歸為單相機(jī)類別中，因?yàn)槠鋽?shù)學(xué)本質(zhì)是一致的，只是在數(shù)據(jù)處理上有一些差別）方案用一個(gè)通俗但不大準(zhǔn)確的比喻是“近大遠(yuǎn)小”。雖然這個(gè)比喻是不恰當(dāng)?shù)?，但是能說明一些問題。

假如已知某個(gè)物體的大小，可以通過看到的大小來判斷其離我們有多遠(yuǎn)。當(dāng)這個(gè)物體離我們較近的時(shí)候，這個(gè)判斷是較為精確的，當(dāng)離得遠(yuǎn)的時(shí)候就不那么靠譜了。比如遠(yuǎn)處的山是很難估計(jì)出其到底有多遠(yuǎn)。也就是說，當(dāng)目標(biāo)物體離我們比較遠(yuǎn)的時(shí)候，它在深度方向（Z方向）上的變化（前后運(yùn)動(dòng)）反應(yīng)在圖像上并不明顯。但是假如我們還可以從另外一個(gè)角度去觀察物體，那么它在另外一個(gè)圖像上很可能是沿X、Y方向（左右、上下方向）運(yùn)動(dòng)，那么這個(gè)變化就明顯多了，因此相機(jī)之間越分散，恢復(fù)出的深度信息越準(zhǔn)確，相機(jī)之間的連線叫“基線”。

同樣道理，可以推知，Oculus或者HTC這種方案，無法做到距離很遠(yuǎn)，距離遠(yuǎn)了精度會(huì)下降得很厲害（很多人聽到激光就想當(dāng)然地認(rèn)為精度很高）。當(dāng)然Light house是用時(shí)間分辨率去換算空間分辨率，很巧妙的方法在相同成本情況下將分辨率提高了至少一個(gè)或者兩個(gè)數(shù)量級(jí)吧，所以相對(duì)會(huì)好一些。

類似道理，我們也可以推知標(biāo)記點(diǎn)越分散捕捉效果越好的結(jié)論，所以如果我們精確測(cè)量，會(huì)發(fā)現(xiàn)HTC的頭盔的捕捉精度要高于其手柄的捕捉精度。

最后，自然，數(shù)量越多冗余信息越多，所以一般情況下會(huì)越準(zhǔn)確，但這個(gè)提升不是線性的，而且還要考慮到這個(gè)冗余信息也有可能是噪音，所以實(shí)際使用中夠用就好。

對(duì)軟件系統(tǒng)和算法的要求

前面對(duì)大概的算法構(gòu)成已進(jìn)行了回答，這里再對(duì)“視場(chǎng)角”進(jìn)行一下強(qiáng)調(diào)。

光學(xué)捕捉最大的弊端在于遮擋，如果一個(gè)相機(jī)的視場(chǎng)角越小，越容易被遮擋，捕捉的范圍也是越小，捕捉不到的死角就會(huì)越多。如果增大相機(jī)的視場(chǎng)角，則捕捉范圍變大，可以互相照應(yīng)的范圍變大自然抗遮擋性就增強(qiáng)，死角變少。但是如果圖像分辨率不變的前提下，視場(chǎng)角越大意味著物體在圖像上所占據(jù)的像素越少，圖像的畸變也越大，意味著看到更大的場(chǎng)景從而有更多的信息需要處理，因此視場(chǎng)角的大小很能反映光學(xué)捕捉的技術(shù)水平。

至于對(duì)系統(tǒng)的要求其實(shí)也還好，主要是對(duì)CPU和內(nèi)存要求高一些。因?yàn)閺?qiáng)調(diào)的是實(shí)時(shí)，所以一般很難用到GPU去加速，因?yàn)閯?dòng)捕的數(shù)據(jù)在不停地吞吐。因?yàn)閺?qiáng)調(diào)實(shí)時(shí)，所以算法要能并行處理，并且要權(quán)衡優(yōu)化與速度的關(guān)系。有些系統(tǒng)追蹤效果很好，但是用了較多的濾波，這個(gè)就會(huì)帶來延時(shí)，平時(shí)可能沒感覺，在VR中有時(shí)候會(huì)感覺不好。

應(yīng)用場(chǎng)景的影響

不同的應(yīng)用場(chǎng)合可能是不同的地形，可能會(huì)有障礙物，也可能是室內(nèi)室外使用，或者是其它場(chǎng)景?？偟膩碚f相機(jī)的布置是因地制宜的，保證覆蓋掉整個(gè)的追蹤范圍，然后每個(gè)追蹤范圍最少能有兩個(gè)相機(jī)看到。

僅就覆蓋范圍這點(diǎn)來說，對(duì)于紅外追蹤來講，區(qū)別不是很大，只要范圍別特別特別小，另外范圍越大越有優(yōu)勢(shì)。由于相機(jī)都是有一定可視角度的，這個(gè)可視范圍是類似錐形體，離相機(jī)越近范圍越小。因此空間很小的環(huán)境里，當(dāng)目標(biāo)離相機(jī)很近而相機(jī)的視場(chǎng)角又不大的時(shí)候，待捕捉目標(biāo)很容易跑出相機(jī)的捕捉范圍從而導(dǎo)致捕捉失敗，甚至在小空間里人的身體會(huì)把相機(jī)整個(gè)擋住從而造成系統(tǒng)捕捉徹底失敗。

解決方案是盡可能增加相機(jī)可視角度，而對(duì)于相機(jī)被人體整個(gè)遮擋住的這種情況則光學(xué)很遺憾地表示實(shí)在是無能為力了，此情況下那空間是相當(dāng)狹小了，只能借助其它手段來做追蹤了。

幀率和延時(shí)的關(guān)系

其實(shí)提高幀率會(huì)減小延時(shí)，就像前述所說的，將圖像處理放到前段，通過硬件的方式來進(jìn)行實(shí)時(shí)處理，我們算法理論上對(duì)于百萬像素的圖像已經(jīng)可以做到1000幀/秒了。當(dāng)然到1000幀這種對(duì)數(shù)據(jù)的實(shí)時(shí)處理要求很高，只能盡量提升算法了?；蛘呖梢砸徊糠?jǐn)?shù)據(jù)離線后處理，這個(gè)就不是VR的應(yīng)用了。

性能指標(biāo)

評(píng)價(jià)一個(gè)捕捉系統(tǒng)性能優(yōu)劣有很多指標(biāo)，個(gè)人認(rèn)為首先需要保證足夠低的延時(shí)，大家現(xiàn)在都已經(jīng)明白了延時(shí)對(duì)于VR的影響有多大。其次要保證捕捉的穩(wěn)定性，通俗地講抖不抖。最后保證捕捉的精度，也就是準(zhǔn)不準(zhǔn)。

延時(shí)

延時(shí)是一個(gè)相對(duì)比較復(fù)雜的概念，對(duì)于虛擬現(xiàn)實(shí)的運(yùn)動(dòng)捕捉（所有方式的運(yùn)動(dòng)捕捉）來講主要有數(shù)據(jù)的獲取、數(shù)據(jù)的處理、數(shù)據(jù)的傳輸、數(shù)據(jù)的應(yīng)用這么幾個(gè)環(huán)節(jié)會(huì)引入延時(shí)，因此也要對(duì)癥下藥去解決各個(gè)環(huán)節(jié)產(chǎn)生的延時(shí)。

在數(shù)據(jù)獲取階段，盡量采用全局曝光的感光芯片（其實(shí)采用Global shutter更主要的是因?yàn)閷?duì)于高速運(yùn)動(dòng)的物體來說，這種曝光模式會(huì)減小運(yùn)動(dòng)模糊的發(fā)生），另外盡量縮短曝光時(shí)間，再有就是加大數(shù)據(jù)獲取的頻次，對(duì)于相機(jī)來講就是提高幀速。

在數(shù)據(jù)處理環(huán)節(jié)，一方面把圖像處理部分前端化，即圖像處理放在硬件上完成，比如青瞳的MC1300系列，圖像處理僅延后圖像拍攝2個(gè)像素時(shí)鐘，也就可以簡(jiǎn)單理解為在相機(jī)完成拍照的同時(shí)完成了圖像處理。所以這塊的延時(shí)已經(jīng)降低到最小，可以忽略不計(jì)了。

另外當(dāng)我們匯總到各個(gè)相機(jī)的信息后還需要進(jìn)一步的數(shù)據(jù)處理，此時(shí)需要對(duì)數(shù)據(jù)結(jié)構(gòu)及框架、算法流程等進(jìn)行精心設(shè)計(jì)才能保證延時(shí)盡可能低，比如當(dāng)相機(jī)幀速提高到500幀的時(shí)候，那么所有的計(jì)算必須在2ms之內(nèi)完成。

在數(shù)據(jù)傳輸階段，一方面要對(duì)網(wǎng)絡(luò)通訊協(xié)議進(jìn)行修改，另一方面也要保證有一個(gè)良好的網(wǎng)絡(luò)環(huán)境。說到這個(gè)還是比較坑的，前段時(shí)間參加展會(huì)，現(xiàn)場(chǎng)的無線環(huán)境實(shí)在糟糕，導(dǎo)致延時(shí)很大，后來換了功率很大的5G才緩解了，這個(gè)后面還得繼續(xù)改進(jìn)。

最后，數(shù)據(jù)應(yīng)用階段的延時(shí)處理也是相當(dāng)重要的。動(dòng)捕系統(tǒng)跟顯卡渲染一般是不同步的，這就意味著動(dòng)捕數(shù)據(jù)送到后很可能需要等待幾ms甚至最壞的情況需要等待16.67/8.33ms（運(yùn)動(dòng)捕捉數(shù)據(jù)刷新率為60/120Hz情況下）才會(huì)被顯卡使用。顯卡在渲染完成之后還要經(jīng)過屏幕的顯示過程（現(xiàn)在好像都不用雙buffer了，不然還要延時(shí)），這又會(huì)帶來延時(shí)。糟糕的是這些延時(shí)是動(dòng)捕系統(tǒng)所無法控制的，解決的辦法是做運(yùn)動(dòng)預(yù)測(cè)。我們不會(huì)傻傻地將運(yùn)動(dòng)捕捉的原始數(shù)據(jù)送入顯卡，而是會(huì)根據(jù)游戲刷新的時(shí)刻來做動(dòng)作預(yù)測(cè)，這會(huì)大大減少延時(shí)。

所以我們經(jīng)常會(huì)看到有人把相機(jī)刷新率來等效為延時(shí)，這其實(shí)是不嚴(yán)謹(jǐn)?shù)淖龇ǎ彩菬o奈，因?yàn)榇蠹叶夹枰粋€(gè)參數(shù)嘛，要我說別看參數(shù)，實(shí)際體驗(yàn)一下最靠譜。另外補(bǔ)充一點(diǎn)，對(duì)于VR來講，運(yùn)動(dòng)捕捉的數(shù)據(jù)刷新率也不是越高越好。因?yàn)檫@些數(shù)據(jù)是通過網(wǎng)絡(luò)進(jìn)行傳輸?shù)?，?dāng)感興趣的目標(biāo)剛體很多的時(shí)候，一味提高刷新率會(huì)對(duì)網(wǎng)絡(luò)造成比較大的負(fù)擔(dān)，因此120Hz可能是一個(gè)比較舒服的選擇。

穩(wěn)定性

穩(wěn)定性的提升一方面需要靠多相機(jī)或者多標(biāo)記點(diǎn)的冗余信息來保證，一方面要看算法的優(yōu)化程度，另外多傳感器融合比如光慣混合是事半功倍的選擇。

精度

對(duì)于光學(xué)捕捉來講，精度的保證主要有兩點(diǎn)：

其一是保證圖像處理的精度。通過簡(jiǎn)單的計(jì)算，我們可以知道在某個(gè)視場(chǎng)角下某款分辨率的傳感器在某個(gè)距離一個(gè)像素代表多大的物理尺寸。假如說一個(gè)像素代表的是邊長(zhǎng)1cm的正方形，那么可能精度就是1cm，我們可以通過提升相機(jī)分辨率來提升精度，比如分辨率提升10倍，那精度就到1mm了。但實(shí)際中還可以通過提升圖像處理的精度來提升捕捉精度，比如通過亞像素處理，如果可以精確到1/10像素，那么就可以到1mm的精度了，如果精確到1/100像素，那就是亞毫米了。因此精度不能簡(jiǎn)單看圖像分辨率。

另外對(duì)于精度影響巨大的是相機(jī)的校準(zhǔn)和對(duì)畸變的校正（其實(shí)都是相機(jī)校準(zhǔn)）。這個(gè)校準(zhǔn)一方面要算法和配套的硬件做得足夠精確，另外也要求執(zhí)行校準(zhǔn)的人比較有經(jīng)驗(yàn)，這也是光學(xué)系統(tǒng)難于使用的原因之一，經(jīng)驗(yàn)不足的人校準(zhǔn)出來的精度可能很差，這就要求提供更傻瓜的辦法。最后就是通過合理的相機(jī)布局，和標(biāo)記點(diǎn)布局來提升精度和穩(wěn)定性。

紅外光位置追蹤的局限性

一般提到光學(xué)捕捉的局限性我們首先想到的就是遮擋問題，這的確是光學(xué)類的方案最大的問題，不過實(shí)際使用中也沒有那么嚴(yán)重。

一種意見認(rèn)為，類似Oculus、HTC Vive這種只需要一個(gè)相機(jī)即可追蹤，因此其抗遮擋性比較強(qiáng)，但這里有另外一面沒有被提及，那就是這種方案需要一個(gè)相機(jī)同時(shí)捕捉到多個(gè)標(biāo)記點(diǎn)才可以，這個(gè)條件在有些情況下其實(shí)是比較難滿足的。對(duì)于多相機(jī)的方案來講，每個(gè)相機(jī)看到1-2個(gè)marker點(diǎn)很可能最終就把目標(biāo)的位姿給捕捉出來了。因此好的標(biāo)記體設(shè)計(jì)配合好的算法處理，是可以從很大程度上避免遮擋問題的。除非捕捉現(xiàn)場(chǎng)有太多的障礙物，或者當(dāng)?shù)氐倪呥吔墙且惨繜o死角捕捉，否則這個(gè)問題不會(huì)太嚴(yán)重。

我認(rèn)為光學(xué)捕捉最大的局限性在于價(jià)格和易用性上，這其中易用性是最大問題。因?yàn)橛布膬r(jià)格從來都是跟量有關(guān)，如果達(dá)到了現(xiàn)在手機(jī)的量級(jí)，那么價(jià)格都不會(huì)是問題。當(dāng)然在沒達(dá)到這么大量級(jí)的時(shí)候，也不能放棄治療嘛，會(huì)不停地提升算法以降低對(duì)硬件的依賴程度，相信不久后會(huì)有小范圍（50平米）內(nèi)的低成本方案出現(xiàn)。

易用性是個(gè)很大的問題。在虛擬現(xiàn)實(shí)興起之前，光學(xué)捕捉主要應(yīng)用于影視動(dòng)畫領(lǐng)域，而我國(guó)能熟練應(yīng)用這一系統(tǒng)的動(dòng)捕師數(shù)量可能在10人左右。人數(shù)少一方面是價(jià)格高的原因，用的人少，另一方面也是系統(tǒng)過于復(fù)雜，老外的軟件上各種參數(shù)，不懂行的人要學(xué)習(xí)很久才可以。這對(duì)于高端的影視等行業(yè)還可以接受，但是如果到線下運(yùn)營(yíng)或者到普通消費(fèi)者手中就行不通了，他們希望的是即插即用，穩(wěn)定可靠。

光學(xué)還有一個(gè)局限性，就是不能識(shí)別無限多的感興趣目標(biāo)點(diǎn)。Light house是分布式運(yùn)算，所以剛體數(shù)量理論上可以任意多。但這只是理論上，實(shí)際要考慮遮擋，考慮傳輸問題。光學(xué)的方法識(shí)別一兩百個(gè)剛體是可以的，但要識(shí)別大幾百甚至上千個(gè)剛體，這個(gè)我們還沒測(cè)試過。不過算法是并行處理的，所以有必要也是可以分布計(jì)算的。

另外被動(dòng)光學(xué)動(dòng)捕是依靠標(biāo)記點(diǎn)之間的距離來識(shí)別身份的，所以有人擔(dān)心這個(gè)距離組合有上限。這個(gè)其實(shí)也不必過于擔(dān)心，只要距離超過5mm就被認(rèn)為是一個(gè)新的距離，而且不同距離的排列組合數(shù)量也是龐大的。最后也可以采用主動(dòng)marker的方法，通過LED的閃爍模式再提供上千個(gè)不同的marker點(diǎn)，這樣排列組合下來也可以認(rèn)為是無限的了。

其它局限性比如受光線影響較大，在室外會(huì)有問題，如果采用主動(dòng)marker的話這個(gè)也可以解決。對(duì)了光學(xué)捕捉的范圍有限，不像慣性捕捉，理論上可以無限遠(yuǎn)。

和傳感器的融合

因?yàn)楣鈱W(xué)和慣性二者有非常強(qiáng)的天然互補(bǔ)性，二者結(jié)合技能提升捕捉效果又能有效減少成本，所以一般會(huì)配合使用。

其實(shí)不單是光學(xué)與慣性，慣性也跟其它傳感器一起配合使用從而搭配出各式各樣的方案。

光學(xué)的強(qiáng)項(xiàng)在于能夠提供絕對(duì)的位置和方向信息，但是容易被遮擋，數(shù)據(jù)易抖動(dòng)，刷新率低（刷新率高的話成本急劇上升）。慣性的強(qiáng)項(xiàng)是檢測(cè)動(dòng)態(tài)數(shù)據(jù)比如角速度和加速度很精確，不會(huì)被遮擋，刷新率很高，但是測(cè)量位置信息會(huì)有累積誤差，而磁場(chǎng)的不穩(wěn)定也導(dǎo)致慣性方案沒有絕對(duì)的方向信息。

至于分工合作主要分為兩種：一種是簡(jiǎn)單的由光學(xué)來提供位置信息，慣性來提供方向信息，這種方案的優(yōu)點(diǎn)是成本低，缺點(diǎn)是把光學(xué)與慣性的缺點(diǎn)都帶進(jìn)來了；還有一種是光學(xué)與慣性做數(shù)據(jù)融合，而不是簡(jiǎn)單的1+1=2這種數(shù)據(jù)整合。Light house屬于數(shù)據(jù)融合做得非常好的方案，有的情況下它的光學(xué)信息只有30幀，但是呈現(xiàn)出來的效果是精度較高，數(shù)據(jù)也平滑穩(wěn)定。

追蹤技術(shù)的趨勢(shì)

現(xiàn)在大家最看好的應(yīng)該還是深度相機(jī)的方案，從技術(shù)實(shí)現(xiàn)的終極形態(tài)來看，深度相機(jī)結(jié)合慣性，可以完成SLAM、動(dòng)作捕捉、物體的識(shí)別與定位等等一系列功能，但是技術(shù)難度還是比較大的。

人是很懶惰的動(dòng)物，進(jìn)入虛擬世界就是想拋開現(xiàn)實(shí)世界的束縛。在虛擬世界里，所有的東西都是虛擬的，但你的感受必須是真實(shí)的。虛擬現(xiàn)實(shí)技術(shù)的發(fā)展就是把一切現(xiàn)實(shí)給數(shù)字化后經(jīng)過藝術(shù)加工重新展現(xiàn)出來，在這里，你如果把虛擬世界當(dāng)成真實(shí)世界，那么虛擬現(xiàn)實(shí)才能說是成功了。

從這個(gè)角度看，其實(shí)虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)在輸入端是非常類似的，區(qū)別主要是在顯示端。一個(gè)好的交互，它能讓你任意徜徉在虛擬世界，讓人感受到自己的身體，還能去觸碰這個(gè)虛擬世界，并感受到反饋?，F(xiàn)在已經(jīng)可以近似做到這一點(diǎn)了，但還不夠自然，不夠穩(wěn)定，不夠易用，不夠便宜。當(dāng)這些成熟了虛擬現(xiàn)實(shí)才會(huì)大爆發(fā)的吧。現(xiàn)在就像春秋戰(zhàn)國(guó)時(shí)代，諸子百家，百家爭(zhēng)鳴，百花齊放。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。