【編者按】本文作者朱韜，VR行業(yè)科技研究員。

業(yè)界各路人馬和玩家對旗艦Oculus Rift 正翹首以盼，期待驚喜。 眾多國內(nèi)廠家更是磨刀霍霍, 心想著明年600億美元的大餐啊。相較而言大家對實現(xiàn)輸入/手部跟蹤的 Touch 多觀棋不語，冷清得很。 究其原因大概是，能上臺面可資借鑒的有關干貨實在太少。相關的消息多來自YouTube 上 Palmer Luckey專門接受記者采訪談Touch的一段視頻。因而難以滿足大家的好奇。

本文作者依個人對幾位Oculuser個性特長的了解，試圖從一個新的角度，解析Touch的技術難點并討論其實現(xiàn)方法，以饗讀者。

（Palmer Luckey）

首先，讓我們先回憶一下 Palmer談話的要點。Touch 的原型研制從DK1時代就開始了，顯然是在Palmer 的領導下。 目標定位是一款虛擬世界中的手，而你漸忘了正在使用手柄。在位于拇指搖桿和食指開關上，還有中指的抓取鍵上，都裝有能感應你手指的傳感器，內(nèi)置的傳感器陣列跟蹤手指自然社交動作，比如，伸食指指著某個地方，抓東西，揮舞以及豎大拇哥等姿勢。

在初步原型階段（應該是指接受采訪的時刻），拇指和食指的動作假設是二元的（要么握住，要么打開）。但目標并不僅僅能感應二元狀態(tài)，然而千人千手，算法如何適配是難題。對于產(chǎn)品最終形態(tài)，廣大網(wǎng)友在Palmer的推特上窮追。于是Palmer 隔天主動表示并不希望先說大話，賣了個關子，給人期待和想象空間。

（Oculus Touch）

DK1 誕生后被Facebook收購的好運氣就不在這里多講了。Oculus 這幾年迎來了 Steven M. LaValle（2012年9月）, Christoph Bregler （2014年12月-2015年11月）, Tom Forsyth (2013年5月），還有一大幫Andrew Davison的學生，包括 Richard Newcombe， Renato Salas-Moreno，和Steven Lovegrove （2015年5月）。Andrew有個清華本科畢業(yè)的學生現(xiàn)也在Oculus。

從純學術成就角度看，個人認為Oculus 里頭首位大師當推 Christoph Bregler。Chris 是計算機視覺與圖形專業(yè)，曾在Stanford和NYU呆過，與好萊塢關系密切，但畢竟不是科班搞VR的。他的專業(yè)強項包括 了人的姿態(tài)光學跟蹤（基于Markerless Motion Capture from Video）和機器學習（基于神經(jīng)網(wǎng)絡）。不過，他在Oculus呆了大約一年時間后，前幾天去了Google。他的離去給我的啟示是，未來Oculus 對姿態(tài)跟蹤的技術思路可能是Marker-based Mocap，還可能大量用“不依賴光學傳感”的傳感器及信息融合。

（Christoph Bregler）

第二位Steve LaValle 是科班搞VR的，主要負責 Sensor fusion、magnetic drift correction和kinematic modeling。 在二年多的時間里Steve全職指導一幫算法和軟件工程師實現(xiàn)各種算法優(yōu)化，包括“星座”跟蹤系統(tǒng)，EKF多傳感器融合，IMU解算，等等。

從技術面看，他應該是Touch（內(nèi)部名為Toybox）的負責人。這樣的話，Touch的基本技術框架是 - 多模式傳感融合+手勢識別。Steve本身并不十分擅長手勢識別算法，也大概否決了Chris的（純視覺）思路。這部分具體工作就可能交給了Richard Newcombe一班人等， 因為他們擅長用光學 + IMU之類的東東搞（手指/手勢）識別。

不過，這回待處理的可不是圖像數(shù)據(jù)， Richard一伙不會一帆風順，主要卡在千人千手上。 這也是Palmer 對記者不說大話的原因吧。對于Steve來說，剩下的都是工程性事務，大功基本告成。應該不會再出現(xiàn)像是將在東莞測的重力加速度拿到洛杉磯來用的糗事。于是乎寫起書來了，一本名為《Virtual Reality》的新書。封面都請人設計好了，已完成前面五章（包含虛擬現(xiàn)實的發(fā)展歷史,幾何,光學和生理視覺等），至于后七章（包含渲染、運動檢測、跟蹤、接口、評估、語音和前瞻等）還在寫。希望能早日完成全書。

（Steve LaValle）

接下來順便談談 VR界牛人Oliver Kreylos。

 其實Oliver從未加入Oculus，而是針對Oculus的“黑客”。很多人都知道那個著名的“星座”位置跟蹤系統(tǒng)，最早就是他在博客上公布的 (GitHub上也有其他人干類似的活，但水平低些)。現(xiàn)在的Touch上也用這套系統(tǒng)。于是乎，有不少磚家又拿Oliver的博文內(nèi)容來攻擊。說是Touch的光點身份在消失后需要五個時鐘周期才能恢復，導致延時太大。其實這個說法是站不住腳的。

（Oliver Kreylos）

還記得Palmer說過光點的位置是經(jīng)過多年時間優(yōu)化安排的嗎? 剛性物體（手柄或頭盔）上的運動光點+有限元分析法相結合，可有效實現(xiàn)在極其短的時間內(nèi)恢復跟蹤。萬一經(jīng)常發(fā)生手柄在視場外的情況，可通過增加攝像頭的數(shù)量來解決問題。拿延時說事是上了Oliver的當。不可否認Oliver Kreylos是很有成就的VR學者, 但世界上沒有人什么都厲害。

簡單談談Tom Forsyth，以前在Valve娛樂，是一名經(jīng)驗豐富的軟件工程師，現(xiàn)負責SDK。他應該不是很精通Unity。在2014 年十月以前，Oculus都沒有專門的Unity工程師。國內(nèi)的程序猿口傳很多Oculus在Unity上犯低級錯的段子，真假難辨，所以不好意思在這里講。

剛才談的是領袖級個人。說到團隊， 如果分成軟件，硬件，CV， 和 SLAM 隊伍的話， 個人以為 Oculus 的 SLAM 團隊是史上最強的，名師出高徒哇， 甚至強過微軟和Google的。

CV團隊有一大幫 MIT 的畢業(yè)生，強在有創(chuàng)業(yè)經(jīng)驗和三，五年的工程經(jīng)驗。軟件團隊的基本要求是精通點云庫，State Estimation, 和多模式信息融合。似乎比國內(nèi)同質(zhì)的創(chuàng)業(yè)公司要求高些。而計算機硬件方面，他們有許多還是 UIUC 的實習生，吃的苦頭不少。硬件畢竟是我們中國的強項。

【關于轉載】每一個有態(tài)度和有責任的媒體都會懂得尊重他人作品，我們相信友媒在轉載雷鋒網(wǎng)文章前會取得授權并標明出處和作者，雷鋒網(wǎng)和作者盡管都有權追究責任，但我們并不希望分散大家寶貴的閱讀時間，尊重作品本身就是一種態(tài)度。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。