【編者按】本文作者朱韜，VR行業(yè)科技研究員。

業(yè)界各路人馬和玩家對(duì)旗艦Oculus Rift 正翹首以盼，期待驚喜。 眾多國(guó)內(nèi)廠家更是磨刀霍霍, 心想著明年600億美元的大餐啊。相較而言大家對(duì)實(shí)現(xiàn)輸入/手部跟蹤的 Touch 多觀棋不語(yǔ)，冷清得很。 究其原因大概是，能上臺(tái)面可資借鑒的有關(guān)干貨實(shí)在太少。相關(guān)的消息多來(lái)自YouTube 上 Palmer Luckey專門接受記者采訪談Touch的一段視頻。因而難以滿足大家的好奇。

本文作者依個(gè)人對(duì)幾位Oculuser個(gè)性特長(zhǎng)的了解，試圖從一個(gè)新的角度，解析Touch的技術(shù)難點(diǎn)并討論其實(shí)現(xiàn)方法，以饗讀者。

（Palmer Luckey）

首先，讓我們先回憶一下 Palmer談話的要點(diǎn)。Touch 的原型研制從DK1時(shí)代就開始了，顯然是在Palmer 的領(lǐng)導(dǎo)下。 目標(biāo)定位是一款虛擬世界中的手，而你漸忘了正在使用手柄。在位于拇指搖桿和食指開關(guān)上，還有中指的抓取鍵上，都裝有能感應(yīng)你手指的傳感器，內(nèi)置的傳感器陣列跟蹤手指自然社交動(dòng)作，比如，伸食指指著某個(gè)地方，抓東西，揮舞以及豎大拇哥等姿勢(shì)。

在初步原型階段（應(yīng)該是指接受采訪的時(shí)刻），拇指和食指的動(dòng)作假設(shè)是二元的（要么握住，要么打開）。但目標(biāo)并不僅僅能感應(yīng)二元狀態(tài)，然而千人千手，算法如何適配是難題。對(duì)于產(chǎn)品最終形態(tài)，廣大網(wǎng)友在Palmer的推特上窮追。于是Palmer 隔天主動(dòng)表示并不希望先說(shuō)大話，賣了個(gè)關(guān)子，給人期待和想象空間。

（Oculus Touch）

DK1 誕生后被Facebook收購(gòu)的好運(yùn)氣就不在這里多講了。Oculus 這幾年迎來(lái)了 Steven M. LaValle（2012年9月）, Christoph Bregler （2014年12月-2015年11月）, Tom Forsyth (2013年5月），還有一大幫Andrew Davison的學(xué)生，包括 Richard Newcombe， Renato Salas-Moreno，和Steven Lovegrove （2015年5月）。Andrew有個(gè)清華本科畢業(yè)的學(xué)生現(xiàn)也在Oculus。

從純學(xué)術(shù)成就角度看，個(gè)人認(rèn)為Oculus 里頭首位大師當(dāng)推 Christoph Bregler。Chris 是計(jì)算機(jī)視覺與圖形專業(yè)，曾在Stanford和NYU呆過，與好萊塢關(guān)系密切，但畢竟不是科班搞VR的。他的專業(yè)強(qiáng)項(xiàng)包括 了人的姿態(tài)光學(xué)跟蹤（基于Markerless Motion Capture from Video）和機(jī)器學(xué)習(xí)（基于神經(jīng)網(wǎng)絡(luò)）。不過，他在Oculus呆了大約一年時(shí)間后，前幾天去了Google。他的離去給我的啟示是，未來(lái)Oculus 對(duì)姿態(tài)跟蹤的技術(shù)思路可能是Marker-based Mocap，還可能大量用“不依賴光學(xué)傳感”的傳感器及信息融合。

（Christoph Bregler）

第二位Steve LaValle 是科班搞VR的，主要負(fù)責(zé) Sensor fusion、magnetic drift correction和kinematic modeling。 在二年多的時(shí)間里Steve全職指導(dǎo)一幫算法和軟件工程師實(shí)現(xiàn)各種算法優(yōu)化，包括“星座”跟蹤系統(tǒng)，EKF多傳感器融合，IMU解算，等等。

從技術(shù)面看，他應(yīng)該是Touch（內(nèi)部名為Toybox）的負(fù)責(zé)人。這樣的話，Touch的基本技術(shù)框架是 - 多模式傳感融合+手勢(shì)識(shí)別。Steve本身并不十分擅長(zhǎng)手勢(shì)識(shí)別算法，也大概否決了Chris的（純視覺）思路。這部分具體工作就可能交給了Richard Newcombe一班人等， 因?yàn)樗麄兩瞄L(zhǎng)用光學(xué) + IMU之類的東東搞（手指/手勢(shì)）識(shí)別。

不過，這回待處理的可不是圖像數(shù)據(jù)， Richard一伙不會(huì)一帆風(fēng)順，主要卡在千人千手上。 這也是Palmer 對(duì)記者不說(shuō)大話的原因吧。對(duì)于Steve來(lái)說(shuō)，剩下的都是工程性事務(wù)，大功基本告成。應(yīng)該不會(huì)再出現(xiàn)像是將在東莞測(cè)的重力加速度拿到洛杉磯來(lái)用的糗事。于是乎寫起書來(lái)了，一本名為《Virtual Reality》的新書。封面都請(qǐng)人設(shè)計(jì)好了，已完成前面五章（包含虛擬現(xiàn)實(shí)的發(fā)展歷史,幾何,光學(xué)和生理視覺等），至于后七章（包含渲染、運(yùn)動(dòng)檢測(cè)、跟蹤、接口、評(píng)估、語(yǔ)音和前瞻等）還在寫。希望能早日完成全書。

（Steve LaValle）

接下來(lái)順便談?wù)?nbsp;VR界牛人Oliver Kreylos。

 其實(shí)Oliver從未加入Oculus，而是針對(duì)Oculus的“黑客”。很多人都知道那個(gè)著名的“星座”位置跟蹤系統(tǒng)，最早就是他在博客上公布的 (GitHub上也有其他人干類似的活，但水平低些)?，F(xiàn)在的Touch上也用這套系統(tǒng)。于是乎，有不少磚家又拿Oliver的博文內(nèi)容來(lái)攻擊。說(shuō)是Touch的光點(diǎn)身份在消失后需要五個(gè)時(shí)鐘周期才能恢復(fù)，導(dǎo)致延時(shí)太大。其實(shí)這個(gè)說(shuō)法是站不住腳的。

（Oliver Kreylos）

還記得Palmer說(shuō)過光點(diǎn)的位置是經(jīng)過多年時(shí)間優(yōu)化安排的嗎? 剛性物體（手柄或頭盔）上的運(yùn)動(dòng)光點(diǎn)+有限元分析法相結(jié)合，可有效實(shí)現(xiàn)在極其短的時(shí)間內(nèi)恢復(fù)跟蹤。萬(wàn)一經(jīng)常發(fā)生手柄在視場(chǎng)外的情況，可通過增加攝像頭的數(shù)量來(lái)解決問題。拿延時(shí)說(shuō)事是上了Oliver的當(dāng)。不可否認(rèn)Oliver Kreylos是很有成就的VR學(xué)者, 但世界上沒有人什么都厲害。

簡(jiǎn)單談?wù)凾om Forsyth，以前在Valve娛樂，是一名經(jīng)驗(yàn)豐富的軟件工程師，現(xiàn)負(fù)責(zé)SDK。他應(yīng)該不是很精通Unity。在2014 年十月以前，Oculus都沒有專門的Unity工程師。國(guó)內(nèi)的程序猿口傳很多Oculus在Unity上犯低級(jí)錯(cuò)的段子，真假難辨，所以不好意思在這里講。

剛才談的是領(lǐng)袖級(jí)個(gè)人。說(shuō)到團(tuán)隊(duì)， 如果分成軟件，硬件，CV， 和 SLAM 隊(duì)伍的話， 個(gè)人以為 Oculus 的 SLAM 團(tuán)隊(duì)是史上最強(qiáng)的，名師出高徒哇， 甚至強(qiáng)過微軟和Google的。

CV團(tuán)隊(duì)有一大幫 MIT 的畢業(yè)生，強(qiáng)在有創(chuàng)業(yè)經(jīng)驗(yàn)和三，五年的工程經(jīng)驗(yàn)。軟件團(tuán)隊(duì)的基本要求是精通點(diǎn)云庫(kù)，State Estimation, 和多模式信息融合。似乎比國(guó)內(nèi)同質(zhì)的創(chuàng)業(yè)公司要求高些。而計(jì)算機(jī)硬件方面，他們有許多還是 UIUC 的實(shí)習(xí)生，吃的苦頭不少。硬件畢竟是我們中國(guó)的強(qiáng)項(xiàng)。

【關(guān)于轉(zhuǎn)載】每一個(gè)有態(tài)度和有責(zé)任的媒體都會(huì)懂得尊重他人作品，我們相信友媒在轉(zhuǎn)載雷鋒網(wǎng)文章前會(huì)取得授權(quán)并標(biāo)明出處和作者，雷鋒網(wǎng)和作者盡管都有權(quán)追究責(zé)任，但我們并不希望分散大家寶貴的閱讀時(shí)間，尊重作品本身就是一種態(tài)度。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。