0
| 本文作者： 程弢 | 2016-08-31 20:08 | 專題：雷峰網(wǎng)公開課 |
位置追蹤技術(shù)是虛擬現(xiàn)實設備的核心也是最復雜的一部分，有好的位置追蹤技術(shù)才能保證良好的沉浸感，不過要做好位置追蹤并非易事，它對硬件以及算法都有非常高的要求。目前業(yè)界已經(jīng)采用的位置追蹤技術(shù)方案都有差異，不過從現(xiàn)有的產(chǎn)品體驗來看，現(xiàn)在主流的幾種方案也有很大的提升空間。
那么虛擬現(xiàn)實是如何實現(xiàn)位置追蹤的？在設計過程中，如何權(quán)衡各個位置追蹤的指標？廠商應該注意哪些問題？本期硬創(chuàng)公開課將為大家答疑解惑。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
嘉賓介紹：張海威，青瞳視覺聯(lián)合創(chuàng)始人，2008年畢業(yè)于中國科學院自動化研究所模式識別與人工智能國家重點實驗室，主要研究方向為SLAM定位、三維重建、全景拼接、動作捕捉、表情捕捉等領域，著有授權(quán)發(fā)明專利三項。2015年8月創(chuàng)立上海青瞳視覺科技有限公司，定位于人工智能領域的人機交互技術(shù)。目前核心產(chǎn)品為動作捕捉、表情捕捉，主要應用于影視、動畫、游戲、教育、醫(yī)療、體育、軍工、虛擬現(xiàn)實、增強現(xiàn)實等領域。青瞳視覺專注于提供好用的交互技術(shù)，降低人與計算機之間的溝通成本，讓計算機與人類做朋友。
首先我想明確幾個概念，這些概念我們平時都會提，但是在提的時候可能嘴上說的是A心里想的卻是B，所以有必要明確一下，避免造成不必要的混淆。這三個概念分別是“位置追蹤”、“位姿估計”和“動作捕捉”。
我們生活在三維世界中，所以“位置追蹤”指的是持續(xù)地明確感興趣物體在三維空間中的位置。
這里面的關鍵詞是“持續(xù)”和“位置”，“持續(xù)”好理解，“位置”需要好好明確一下?！拔恢谩敝傅氖俏矬w在三維世界中的坐標，也就是物體在“X、Y、Z”三個方向上的坐標。位置信息是三個自由度的，或者叫3Dof。
那么“物體”是什么？
“物體”可能是我們的頭，也可能是一把槍，或者是一把椅子。頭也好，槍或椅子也罷，這些物體，都是有一定體積的，而“位置”是一個點的概念，這里說的“物體的位置”其實指的是“物體上某一點在三維世界中的XYZ坐標”。這個很重要，尤其對虛擬現(xiàn)實來說，一點點偏差帶來的體驗很可能差別很大。
“位姿估計”就很好解釋了，它是指“持續(xù)地明確感興趣剛性物體在三維空間中的位置和旋轉(zhuǎn)”。位姿信息是六個自由度的，或者叫6Dof，我們在虛擬現(xiàn)實中需要的是六個自由度的信息的，而不是簡單的三個自由度的位置信息。
與“位置追蹤”不同的是，空間中的一個點是沒有旋轉(zhuǎn)信息的，因此旋轉(zhuǎn)是針對一個三維物體，它不是一個點，也不是一根線。同一時刻，對于同一個剛體上的不同點A、B，它們的位置是不同的，但是如果將A、B分別與剛體上的點C連接起來，那么線段AC、BC相對于初始狀態(tài)的旋轉(zhuǎn)角度是一樣的。說到初始狀態(tài)，我們談位置，必然有一個坐標系原點，談旋轉(zhuǎn)，也得有旋轉(zhuǎn)狀態(tài)的原點。比如有人把道具水平放置認為是旋轉(zhuǎn)零點，有人把道具豎著放認為是旋轉(zhuǎn)零點（旋轉(zhuǎn)角度是0），如果你愿意，也可以把道具斜著放看作是旋轉(zhuǎn)零點，只是有一點，保證模型的旋轉(zhuǎn)零點與實際道具的旋轉(zhuǎn)零點保持一致。
最后是“動作捕捉”。默認情況下，我們談動作捕捉是指捕捉人全身的動作。人有很多關節(jié)，每個關節(jié)比如小臂、大臂等都可以近似看作是一個剛體，因此人的動作有很多的自由度。在實際的動作捕捉應用中，一般捕捉的是較大關節(jié)的動作，要想捕捉每塊骨骼每塊肌肉的運動情況代價是比較大的，甚至是不可實現(xiàn)的。
現(xiàn)在的主流技術(shù)大概分為：光學、慣性、電磁、機械、UWB等。
這其中光學最復雜，也分幾個子流派，比如一種分類方法是按照相機數(shù)量和標記點數(shù)量可以劃分為單相機單標記點（PS MOVE）、單相機多標記點（PS VR、Oculus、HTC Vive、SLAM）、多相機單標記點（Ximmerse、depth VR）以及多相機多標記點（青瞳、Optitrack）等幾種方案。這其中標記點是否有源可進一步分為主動標記點和被動標記點的方案。根據(jù)相機曝光方式不同可以分為卷簾快門（rolling shutter）和全局快門（global shutter）。其它還有基于壓電、聲音等傳感器的技術(shù)。
總的說來，光學中單標記點的方案只能捕捉剛體在空間中的3Dof信息，多標記點的方案可捕捉剛體在空間中的6Dof位姿信息，多相機多標記點的方案可捕捉全身動作。
其實很好理解，單標記點，比如數(shù)學上是一個無限小的球吧，這個球在空間中只有位置信息，它無論怎樣旋轉(zhuǎn)還是一個球。如果剛體上有兩個球，那么這兩個球連成一條線，就可以捕捉它的5個自由度，三個球及以上就能解算其6個自由度了。
慣性和機械方案無法捕捉位置信息，也就無法捕捉位姿，只能捕捉人的全身動作。電磁方案可捕捉位姿和全身動作，UWB主要用來捕捉位置信息。由于每種方案都有自己的優(yōu)缺點，因此實際使用中可能是混合方案。
紅外（多相機多標記點）方案由于它的全面性因而被廣泛采用，其原理也沒有那么復雜，主要是基于三角測量（三角重構(gòu)）機理。
在捕捉之前，需要對系統(tǒng)進行校準（標定），校準分相機內(nèi)參（這些參數(shù)只與相機本身有關）校準與外參（這些參數(shù)與相機本身無關，與相機之間的關系有關）校準。
有的廠家出廠前已經(jīng)做了內(nèi)參校準，因此使用時只做外參校準即可，這樣可以保證精確度和校準速度，但是失去了靈活性，因此大部分廠家使用的時候?qū)?nèi)外參數(shù)同時進行校準。
有了內(nèi)外參數(shù)之后，就可以通過三角重構(gòu)的方法恢復出標記點在空間中的位置信息。
相機拍照是一個由三維映射到二維的過程，丟失了深度信息，通過光心的射線在圖像上映射為一個圖像點。校準了內(nèi)參之后，圖像上任何一點可以反求出其在三維空間中的射線方向，標記點肯定在這條射線上。那么，如果有兩條射線，這兩條射線相交就能求出標記點在空間中的位置信息。但是標記點一般情況下是運動的，所以要求拍照的兩個相機要同步。假如標記點靜止不動，也可以用同一個相機在不同位置拍照計算。實際圖像中，所有的標記點都只是一個個的小白點，這需要把這些小白點給區(qū)分出來，一一對應起來之后再去做三角重構(gòu)。
知道了標記點的位置信息后，就可以計算出一組標記點（一般稱其為標記體或者Rigid Body）的6Dof或者計算出人體的關節(jié)運動信息。
在這個過程中，需要用到相機校準、標記點的圖像提取、標記點的識別與匹配、標記點的深度信息恢復、標記體的6Dof恢復，另外需要處理遮擋、噪聲等干擾因素。這些環(huán)節(jié)看上去簡單，不過對技術(shù)還是有一定要求的，任何一個環(huán)節(jié)不理想都會導致結(jié)果的不理想。對了最后所有這些運算必須在幾ms甚至1ms內(nèi)完成。
一個大的原則是，相機和標記點越分散捕捉的精度越高。類似Oculus、PSVR或者HTC Vive這種單相機（這里把Vive歸為單相機類別中，因為其數(shù)學本質(zhì)是一致的，只是在數(shù)據(jù)處理上有一些差別）方案用一個通俗但不大準確的比喻是“近大遠小”。雖然這個比喻是不恰當?shù)?，但是能說明一些問題。
假如已知某個物體的大小，可以通過看到的大小來判斷其離我們有多遠。當這個物體離我們較近的時候，這個判斷是較為精確的，當離得遠的時候就不那么靠譜了。比如遠處的山是很難估計出其到底有多遠。也就是說，當目標物體離我們比較遠的時候，它在深度方向（Z方向）上的變化（前后運動）反應在圖像上并不明顯。但是假如我們還可以從另外一個角度去觀察物體，那么它在另外一個圖像上很可能是沿X、Y方向（左右、上下方向）運動，那么這個變化就明顯多了，因此相機之間越分散，恢復出的深度信息越準確，相機之間的連線叫“基線”。
同樣道理，可以推知，Oculus或者HTC這種方案，無法做到距離很遠，距離遠了精度會下降得很厲害（很多人聽到激光就想當然地認為精度很高）。當然Light house是用時間分辨率去換算空間分辨率，很巧妙的方法在相同成本情況下將分辨率提高了至少一個或者兩個數(shù)量級吧，所以相對會好一些。
類似道理，我們也可以推知標記點越分散捕捉效果越好的結(jié)論，所以如果我們精確測量，會發(fā)現(xiàn)HTC的頭盔的捕捉精度要高于其手柄的捕捉精度。
最后，自然，數(shù)量越多冗余信息越多，所以一般情況下會越準確，但這個提升不是線性的，而且還要考慮到這個冗余信息也有可能是噪音，所以實際使用中夠用就好。
前面對大概的算法構(gòu)成已進行了回答，這里再對“視場角”進行一下強調(diào)。
光學捕捉最大的弊端在于遮擋，如果一個相機的視場角越小，越容易被遮擋，捕捉的范圍也是越小，捕捉不到的死角就會越多。如果增大相機的視場角，則捕捉范圍變大，可以互相照應的范圍變大自然抗遮擋性就增強，死角變少。但是如果圖像分辨率不變的前提下，視場角越大意味著物體在圖像上所占據(jù)的像素越少，圖像的畸變也越大，意味著看到更大的場景從而有更多的信息需要處理，因此視場角的大小很能反映光學捕捉的技術(shù)水平。
至于對系統(tǒng)的要求其實也還好，主要是對CPU和內(nèi)存要求高一些。因為強調(diào)的是實時，所以一般很難用到GPU去加速，因為動捕的數(shù)據(jù)在不停地吞吐。因為強調(diào)實時，所以算法要能并行處理，并且要權(quán)衡優(yōu)化與速度的關系。有些系統(tǒng)追蹤效果很好，但是用了較多的濾波，這個就會帶來延時，平時可能沒感覺，在VR中有時候會感覺不好。
不同的應用場合可能是不同的地形，可能會有障礙物，也可能是室內(nèi)室外使用，或者是其它場景?？偟膩碚f相機的布置是因地制宜的，保證覆蓋掉整個的追蹤范圍，然后每個追蹤范圍最少能有兩個相機看到。
僅就覆蓋范圍這點來說，對于紅外追蹤來講，區(qū)別不是很大，只要范圍別特別特別小，另外范圍越大越有優(yōu)勢。由于相機都是有一定可視角度的，這個可視范圍是類似錐形體，離相機越近范圍越小。因此空間很小的環(huán)境里，當目標離相機很近而相機的視場角又不大的時候，待捕捉目標很容易跑出相機的捕捉范圍從而導致捕捉失敗，甚至在小空間里人的身體會把相機整個擋住從而造成系統(tǒng)捕捉徹底失敗。
解決方案是盡可能增加相機可視角度，而對于相機被人體整個遮擋住的這種情況則光學很遺憾地表示實在是無能為力了，此情況下那空間是相當狹小了，只能借助其它手段來做追蹤了。
其實提高幀率會減小延時，就像前述所說的，將圖像處理放到前段，通過硬件的方式來進行實時處理，我們算法理論上對于百萬像素的圖像已經(jīng)可以做到1000幀/秒了。當然到1000幀這種對數(shù)據(jù)的實時處理要求很高，只能盡量提升算法了?；蛘呖梢砸徊糠謹?shù)據(jù)離線后處理，這個就不是VR的應用了。
評價一個捕捉系統(tǒng)性能優(yōu)劣有很多指標，個人認為首先需要保證足夠低的延時，大家現(xiàn)在都已經(jīng)明白了延時對于VR的影響有多大。其次要保證捕捉的穩(wěn)定性，通俗地講抖不抖。最后保證捕捉的精度，也就是準不準。
延時是一個相對比較復雜的概念，對于虛擬現(xiàn)實的運動捕捉（所有方式的運動捕捉）來講主要有數(shù)據(jù)的獲取、數(shù)據(jù)的處理、數(shù)據(jù)的傳輸、數(shù)據(jù)的應用這么幾個環(huán)節(jié)會引入延時，因此也要對癥下藥去解決各個環(huán)節(jié)產(chǎn)生的延時。
在數(shù)據(jù)獲取階段，盡量采用全局曝光的感光芯片（其實采用Global shutter更主要的是因為對于高速運動的物體來說，這種曝光模式會減小運動模糊的發(fā)生），另外盡量縮短曝光時間，再有就是加大數(shù)據(jù)獲取的頻次，對于相機來講就是提高幀速。
在數(shù)據(jù)處理環(huán)節(jié)，一方面把圖像處理部分前端化，即圖像處理放在硬件上完成，比如青瞳的MC1300系列，圖像處理僅延后圖像拍攝2個像素時鐘，也就可以簡單理解為在相機完成拍照的同時完成了圖像處理。所以這塊的延時已經(jīng)降低到最小，可以忽略不計了。
另外當我們匯總到各個相機的信息后還需要進一步的數(shù)據(jù)處理，此時需要對數(shù)據(jù)結(jié)構(gòu)及框架、算法流程等進行精心設計才能保證延時盡可能低，比如當相機幀速提高到500幀的時候，那么所有的計算必須在2ms之內(nèi)完成。
在數(shù)據(jù)傳輸階段，一方面要對網(wǎng)絡通訊協(xié)議進行修改，另一方面也要保證有一個良好的網(wǎng)絡環(huán)境。說到這個還是比較坑的，前段時間參加展會，現(xiàn)場的無線環(huán)境實在糟糕，導致延時很大，后來換了功率很大的5G才緩解了，這個后面還得繼續(xù)改進。
最后，數(shù)據(jù)應用階段的延時處理也是相當重要的。動捕系統(tǒng)跟顯卡渲染一般是不同步的，這就意味著動捕數(shù)據(jù)送到后很可能需要等待幾ms甚至最壞的情況需要等待16.67/8.33ms（運動捕捉數(shù)據(jù)刷新率為60/120Hz情況下）才會被顯卡使用。顯卡在渲染完成之后還要經(jīng)過屏幕的顯示過程（現(xiàn)在好像都不用雙buffer了，不然還要延時），這又會帶來延時。糟糕的是這些延時是動捕系統(tǒng)所無法控制的，解決的辦法是做運動預測。我們不會傻傻地將運動捕捉的原始數(shù)據(jù)送入顯卡，而是會根據(jù)游戲刷新的時刻來做動作預測，這會大大減少延時。
所以我們經(jīng)常會看到有人把相機刷新率來等效為延時，這其實是不嚴謹?shù)淖龇?，也是無奈，因為大家都需要一個參數(shù)嘛，要我說別看參數(shù)，實際體驗一下最靠譜。另外補充一點，對于VR來講，運動捕捉的數(shù)據(jù)刷新率也不是越高越好。因為這些數(shù)據(jù)是通過網(wǎng)絡進行傳輸?shù)?，當感興趣的目標剛體很多的時候，一味提高刷新率會對網(wǎng)絡造成比較大的負擔，因此120Hz可能是一個比較舒服的選擇。
穩(wěn)定性的提升一方面需要靠多相機或者多標記點的冗余信息來保證，一方面要看算法的優(yōu)化程度，另外多傳感器融合比如光慣混合是事半功倍的選擇。
對于光學捕捉來講，精度的保證主要有兩點：
其一是保證圖像處理的精度。通過簡單的計算，我們可以知道在某個視場角下某款分辨率的傳感器在某個距離一個像素代表多大的物理尺寸。假如說一個像素代表的是邊長1cm的正方形，那么可能精度就是1cm，我們可以通過提升相機分辨率來提升精度，比如分辨率提升10倍，那精度就到1mm了。但實際中還可以通過提升圖像處理的精度來提升捕捉精度，比如通過亞像素處理，如果可以精確到1/10像素，那么就可以到1mm的精度了，如果精確到1/100像素，那就是亞毫米了。因此精度不能簡單看圖像分辨率。
另外對于精度影響巨大的是相機的校準和對畸變的校正（其實都是相機校準）。這個校準一方面要算法和配套的硬件做得足夠精確，另外也要求執(zhí)行校準的人比較有經(jīng)驗，這也是光學系統(tǒng)難于使用的原因之一，經(jīng)驗不足的人校準出來的精度可能很差，這就要求提供更傻瓜的辦法。最后就是通過合理的相機布局，和標記點布局來提升精度和穩(wěn)定性。
一般提到光學捕捉的局限性我們首先想到的就是遮擋問題，這的確是光學類的方案最大的問題，不過實際使用中也沒有那么嚴重。
一種意見認為，類似Oculus、HTC Vive這種只需要一個相機即可追蹤，因此其抗遮擋性比較強，但這里有另外一面沒有被提及，那就是這種方案需要一個相機同時捕捉到多個標記點才可以，這個條件在有些情況下其實是比較難滿足的。對于多相機的方案來講，每個相機看到1-2個marker點很可能最終就把目標的位姿給捕捉出來了。因此好的標記體設計配合好的算法處理，是可以從很大程度上避免遮擋問題的。除非捕捉現(xiàn)場有太多的障礙物，或者當?shù)氐倪呥吔墙且惨繜o死角捕捉，否則這個問題不會太嚴重。
我認為光學捕捉最大的局限性在于價格和易用性上，這其中易用性是最大問題。因為硬件的價格從來都是跟量有關，如果達到了現(xiàn)在手機的量級，那么價格都不會是問題。當然在沒達到這么大量級的時候，也不能放棄治療嘛，會不停地提升算法以降低對硬件的依賴程度，相信不久后會有小范圍（50平米）內(nèi)的低成本方案出現(xiàn)。
易用性是個很大的問題。在虛擬現(xiàn)實興起之前，光學捕捉主要應用于影視動畫領域，而我國能熟練應用這一系統(tǒng)的動捕師數(shù)量可能在10人左右。人數(shù)少一方面是價格高的原因，用的人少，另一方面也是系統(tǒng)過于復雜，老外的軟件上各種參數(shù)，不懂行的人要學習很久才可以。這對于高端的影視等行業(yè)還可以接受，但是如果到線下運營或者到普通消費者手中就行不通了，他們希望的是即插即用，穩(wěn)定可靠。
光學還有一個局限性，就是不能識別無限多的感興趣目標點。Light house是分布式運算，所以剛體數(shù)量理論上可以任意多。但這只是理論上，實際要考慮遮擋，考慮傳輸問題。光學的方法識別一兩百個剛體是可以的，但要識別大幾百甚至上千個剛體，這個我們還沒測試過。不過算法是并行處理的，所以有必要也是可以分布計算的。
另外被動光學動捕是依靠標記點之間的距離來識別身份的，所以有人擔心這個距離組合有上限。這個其實也不必過于擔心，只要距離超過5mm就被認為是一個新的距離，而且不同距離的排列組合數(shù)量也是龐大的。最后也可以采用主動marker的方法，通過LED的閃爍模式再提供上千個不同的marker點，這樣排列組合下來也可以認為是無限的了。
其它局限性比如受光線影響較大，在室外會有問題，如果采用主動marker的話這個也可以解決。對了光學捕捉的范圍有限，不像慣性捕捉，理論上可以無限遠。
因為光學和慣性二者有非常強的天然互補性，二者結(jié)合技能提升捕捉效果又能有效減少成本，所以一般會配合使用。
其實不單是光學與慣性，慣性也跟其它傳感器一起配合使用從而搭配出各式各樣的方案。
光學的強項在于能夠提供絕對的位置和方向信息，但是容易被遮擋，數(shù)據(jù)易抖動，刷新率低（刷新率高的話成本急劇上升）。慣性的強項是檢測動態(tài)數(shù)據(jù)比如角速度和加速度很精確，不會被遮擋，刷新率很高，但是測量位置信息會有累積誤差，而磁場的不穩(wěn)定也導致慣性方案沒有絕對的方向信息。
至于分工合作主要分為兩種：一種是簡單的由光學來提供位置信息，慣性來提供方向信息，這種方案的優(yōu)點是成本低，缺點是把光學與慣性的缺點都帶進來了；還有一種是光學與慣性做數(shù)據(jù)融合，而不是簡單的1+1=2這種數(shù)據(jù)整合。Light house屬于數(shù)據(jù)融合做得非常好的方案，有的情況下它的光學信息只有30幀，但是呈現(xiàn)出來的效果是精度較高，數(shù)據(jù)也平滑穩(wěn)定。
現(xiàn)在大家最看好的應該還是深度相機的方案，從技術(shù)實現(xiàn)的終極形態(tài)來看，深度相機結(jié)合慣性，可以完成SLAM、動作捕捉、物體的識別與定位等等一系列功能，但是技術(shù)難度還是比較大的。
人是很懶惰的動物，進入虛擬世界就是想拋開現(xiàn)實世界的束縛。在虛擬世界里，所有的東西都是虛擬的，但你的感受必須是真實的。虛擬現(xiàn)實技術(shù)的發(fā)展就是把一切現(xiàn)實給數(shù)字化后經(jīng)過藝術(shù)加工重新展現(xiàn)出來，在這里，你如果把虛擬世界當成真實世界，那么虛擬現(xiàn)實才能說是成功了。
從這個角度看，其實虛擬現(xiàn)實和增強現(xiàn)實在輸入端是非常類似的，區(qū)別主要是在顯示端。一個好的交互，它能讓你任意徜徉在虛擬世界，讓人感受到自己的身體，還能去觸碰這個虛擬世界，并感受到反饋?，F(xiàn)在已經(jīng)可以近似做到這一點了，但還不夠自然，不夠穩(wěn)定，不夠易用，不夠便宜。當這些成熟了虛擬現(xiàn)實才會大爆發(fā)的吧?，F(xiàn)在就像春秋戰(zhàn)國時代，諸子百家，百家爭鳴，百花齊放。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
