手勢交互正成為VR交互領(lǐng)域的熱門方向，國外有著名的Leap Motion、uSens，國內(nèi)也有微動、HandCV等團(tuán)隊。直接用手在虛擬世界中操作似乎是件很自然的事情，然而真實(shí)體驗時你卻會發(fā)現(xiàn)明明看到手抓住一個東西，感覺卻是抓了一堆空氣。

正是這個原因，讓你在手勢交互的同時感受到虛擬世界，成為一個努力的方向。這一塊最著名的創(chuàng)業(yè)公司之一便是Dexta Robotics。Dexta Robotics是一家致力于發(fā)明下一代VR/MR交互設(shè)備的公司。他們的主要產(chǎn)品Dexmo是一副可穿戴手部外骨骼，可以幫助用戶在虛擬現(xiàn)實(shí)的交互中感覺到虛擬物體的體積，形狀，硬度以及力的反饋。

本期硬創(chuàng)公開課，我們請到了Dexta的創(chuàng)始人兼CEO谷逍馳（Aler Gu）。谷逍馳是狂熱的機(jī)器人愛好者，曾在劍橋大學(xué)修讀機(jī)械控制工程專業(yè)，本碩連讀，后中途休學(xué)。

Dexta Robotics創(chuàng)始人兼CEO谷逍馳

下面是本次公開課的整理內(nèi)容：

雷鋒網(wǎng)：Dexmo這款產(chǎn)品從2013年就開始開發(fā)了，當(dāng)初是如何想到要開發(fā)這樣一款產(chǎn)品的？為什么做了這么長時間，期間需要攻克的難點(diǎn)主要是？

谷逍馳：早期Dexmo的主要功能只是檢測手部動作。當(dāng)時主要設(shè)想的幾個使用場景有虛擬現(xiàn)實(shí)，和我們的老本行，靈巧機(jī)械手的控制進(jìn)行遠(yuǎn)程機(jī)器人排爆，為“telepresence”提供沉浸感和更精準(zhǔn)的控制。后來隨著2014年虛擬現(xiàn)實(shí)的興起，我注意到越來越多的人把精力放在頭戴式顯示器上。于是我們把眼光放長遠(yuǎn)：在2年后什么樣的技術(shù)會被市場所需要？

（雷鋒網(wǎng)注：“telepresence”，網(wǎng)真，是一種通過結(jié)合高清晰度視頻、音頻和交互式組件，在網(wǎng)絡(luò)上創(chuàng)建一種獨(dú)特的"面對面"體驗的新型技術(shù)。）

結(jié)論是交互。在采訪了很多圈內(nèi)的朋友之后，我們了解到將觸覺帶入虛擬現(xiàn)實(shí)是一個巨大的需求，但是因為實(shí)現(xiàn)困難，卻顯有人真正解決它。市場上已有的方案大多已經(jīng)過時，顯然跟不上這一波虛擬現(xiàn)實(shí)的潮流。也是因為技術(shù)從業(yè)者特有的那種自信，我們相信以自己的團(tuán)隊能力能夠啃下這塊硬骨頭。而后我們就在已有的動作檢測設(shè)備的基礎(chǔ)上上嘗試加裝不同的力反饋方案。2年后，事實(shí)證明我們也做到了。

Dexmo最早期的產(chǎn)品概念設(shè)計圖

難點(diǎn)：

整個設(shè)備的設(shè)計過程中難點(diǎn)很多很多，因為沒有一塊是現(xiàn)成的。不論是硬件還是軟件，很多時候都需要從頭造輪子，因為市面上能找到的輪子都不夠好。比如拇指動作檢測模塊的結(jié)構(gòu)設(shè)計，設(shè)備和上位機(jī)件的雙向通訊速率的優(yōu)化，力反饋模塊的緊湊設(shè)計，軟件端手部抓取的交互邏輯等等。

稍微詳細(xì)些說，硬件方面的最大挑戰(zhàn)是：把整個力反饋單元在保證功能性的前提下做的非常緊湊。首先，外殼，齒輪，電機(jī)驅(qū)動電路，嵌入式程序都是從0做起的。尺寸，重量，成本，扭矩，外形都需要平衡。這里面Cost function（成本與功能）的優(yōu)化涉及到太多的方面，讓取舍變得相對更困難。還有一部分困難不是技術(shù)上的。硬件公司都體驗過，在小批量生產(chǎn)的時候，因為訂單量的局限性廠家很難全力協(xié)助你。這點(diǎn)我非常感謝東莞偉創(chuàng)模型的陳偉杰先生的鼎力相助。他們在Dexmo力反饋舵機(jī)的設(shè)計打樣中給我們了很多無私的幫助。

軟件上的難點(diǎn)主要是：在沒有合適的硬件的前提下很多東西是無法debug的。在沒有硬件進(jìn)行測試的時候，很多問題根本不會顯現(xiàn)出來，這也間接拉長了戰(zhàn)線。軟件工程師的很多工作是取決于硬件設(shè)備的穩(wěn)定程度的，這甚至可以說是一個管理統(tǒng)籌上的問題。比如我們的3d物品交互引擎，將一個物體從左手傳遞到右手，這個看起來很簡單的動作，其實(shí)設(shè)計到手部多點(diǎn)碰撞和對齊。一旦有物理效果參與其中，其交互復(fù)雜程度也直線上升。但是在硬件設(shè)備穩(wěn)定工作之前，我們的軟件工程師無法參與調(diào)試，所以即使知道這塊是難點(diǎn)，也只能先放著，堆進(jìn)技術(shù)pipeline里。

雷鋒網(wǎng)：Dexmo是如何做到讓用戶感受虛擬世界的？

谷逍馳：簡單的描述下運(yùn)作機(jī)理：Dexmo本身有2套系統(tǒng)，動作檢測，和力反饋系統(tǒng)。難點(diǎn)是如何協(xié)調(diào)起這2部分，讓他們可以無縫的工作。動作檢測系統(tǒng)檢測人體的11個自由度的手部動作。拇指3個自由度，剩下的四根手指每只2個自由度。將這些信息采集到之后，通過NRF回傳到電腦。

Dexmo系統(tǒng)簡易說明圖

在PC段我們把用戶的手部模型Map到虛擬人物的手上，并且開始進(jìn)行物體交互的碰撞檢測和物理狀態(tài)判斷。計算出實(shí)際上應(yīng)該生成的力的矢量方向和大小后，我們再把這些數(shù)據(jù)發(fā)送回Dexmo，并且通過母版分別傳遞到5個力反饋模塊上，進(jìn)行力的模擬。當(dāng)人在抓取一個物體時，他的手無法穿過這個物體，并且手的形狀將貼合物體的形狀，通過和虛擬視覺內(nèi)容的呼應(yīng)，產(chǎn)生讓人抓住物體的錯覺。

雷鋒網(wǎng)：“Dexmo讓用戶可以感受到虛擬物體的大小，外形以及硬度”，這里面只有硬度是力反饋，大小和外形是怎么做到的？物體的重量，表面的質(zhì)感，這些也是很重要的觸感，可以模擬嗎？

谷逍馳：硬度是通過控制力的大小和輸出區(qū)間拉實(shí)現(xiàn)的。大小是通過外骨骼的幾何形狀配合3d虛擬內(nèi)容的形體來模擬實(shí)現(xiàn)的。比如手正在抓一個虛擬的罐子，手指的運(yùn)動會被限制在罐體的表面上，就好像在現(xiàn)實(shí)世界中我們抓取罐子一樣。手指尖的幾個觸點(diǎn)提供的力反饋在視覺反饋和大腦的協(xié)調(diào)下讓我們感受到了形狀和大小。

90年代能夠生成重量的設(shè)備，我個人認(rèn)為這類產(chǎn)品很難能夠成為進(jìn)入千家萬戶的消費(fèi)品

重量是一個很有意思的問題。中學(xué)物理告訴我們，作用力=反作用力。要模擬真實(shí)的重量，你可能需要在手上連接一個固定在墻面上的力反饋機(jī)械臂。這種方式并不是消費(fèi)者能夠接受的，所以模擬重量還是一個難題，我們可能只能通過創(chuàng)造illusion來模擬重量了。

Dexmo嘗試過的力反饋機(jī)械臂設(shè)計

我們以前也有過類似的嘗試，不過因為嚴(yán)重限制了用戶的運(yùn)動范圍，所以停止了力反饋機(jī)械臂的開發(fā)。

觸覺又是另外一個問題，限于篇幅我只說一點(diǎn)：很多時候不是技術(shù)本身沒有被開發(fā)出來，而是當(dāng)下收到成本、尺寸的限制，即使將其做成產(chǎn)品，高昂的成本也會讓消費(fèi)者望而卻步。

雷鋒網(wǎng)：力反饋在機(jī)械上是怎么實(shí)現(xiàn)的？用的是何種控制器？機(jī)械延遲如何解決？

谷逍馳：力反饋不是一個機(jī)械問題，而是一個控制問題。

簡單的說我們的電機(jī)控制算法可以讓電機(jī)的行為表現(xiàn)更接近一個可變硬度的彈簧，通過上位機(jī)的指令可以非?？焖俚恼{(diào)節(jié)這個硬度和響應(yīng)區(qū)間。控制器就是隨處可得的微處理器，按照需求選成本最低的，這個沒什么太多可說的。

機(jī)械延時是一個問題，但是目前我們實(shí)用的方案是電機(jī)通過齒輪直驅(qū)，所以響應(yīng)速度在齒輪質(zhì)量過關(guān)的前提下，已經(jīng)是電機(jī)本身的響應(yīng)速度。

雷鋒網(wǎng)：如何解決手指穿過物體的問題？這在Leap Motion等手勢交互方案上會出現(xiàn)。

谷逍馳：我從真實(shí)物理和圖像2個方面來描述下。

物理效果的限制來自于力反饋模塊提供的反向扭矩，而觸發(fā)反向扭矩的是虛擬內(nèi)容。這里需要滿足2個條件：虛擬內(nèi)容的triggering和物理上要有硬件來生成這個力。虛擬世界中的碰撞檢測器了解到碰撞后，會觸發(fā)力反饋模塊的動作。這個具體機(jī)理其實(shí)可以參考Q2。

圖像方面，我們有自己的一套交互引擎來限制虛擬3d物體和手部的相互交互。兩者相結(jié)合才能真正提高沉浸感。

Leap Motion最新推出的交互引擎其實(shí)嘗試著去解決了一部分這個穿透問題。他們只做了圖像上的限制，也就是手部抓取物體時，彎曲到某一點(diǎn)，圖像上就限制了手的運(yùn)動，模型也停止跟隨手部動作。但是鑒于沒有任何硬件，真實(shí)世界中的人手是不受到控制的。這也是其他手部動作捕捉方案的通病。

在這里我想指出：振動電機(jī)和力反饋不能劃等號。

振動電機(jī)從技術(shù)上說非常容易實(shí)現(xiàn)，這也是大批“交互手套”創(chuàng)業(yè)者最喜歡用來忽悠大眾和投資人的幾個點(diǎn).....把力反饋，觸覺反饋，重量反饋混成一團(tuán)，然后模擬兩可的表示振動電機(jī)能夠提供部分這些反饋。這都是不準(zhǔn)確的。

雷鋒網(wǎng)：Dexmo用的手部動作捕捉技術(shù)是什么，精確度、延時如何？怎樣與空間定位系統(tǒng)配合？

谷逍馳：用的是角度傳感器，理論精度分度是0.06度。但是作為可穿戴設(shè)備，理論精度并沒有什么參考價值，因為佩戴誤差可能已經(jīng)超過0.5度。總體來說虛擬現(xiàn)實(shí)的交互相比絕對精度，需要的更是跟隨度。所謂跟隨度，比如我們的設(shè)備可以檢查3個自由度的拇指動作，人在真實(shí)世界的動作會無損的map到虛擬世界中去；相比Oculus Touch基于capacitive sensing（電容感應(yīng)）的手指動作猜測，又或者是一些其他低端的手套方案，Dexmo會給人對虛擬人物的掌控感更高些。

Dexmo的的延時為25ms，但用戶體驗到的整體延時并不是簡單的與頭盔延時相加，而是要考慮整個pipeline的運(yùn)作方式，比如顯示段在渲染的時候力反饋指令正好從PC發(fā)送至Dexmo，這樣有一部分延時發(fā)生在同一個時段。

Touch的手部動作檢測是開關(guān)式的，所以給人對自己虛擬人物的掌控度不高，很多基于彎曲傳感器的動作捕捉手套對拇指也不是很上心，有的時候用一個自由度就打發(fā)了。當(dāng)然很多手套方案在input之后就停滯不前了，將拇指和食指當(dāng)做Vive controller上的trigger來用，自然省了很多事......但問題是，沒用。總之，跟隨性比所謂精度更重要。

空間追蹤已經(jīng)是一個解決了的問題，不太值得花我們自己的工程力量去從頭再做一遍。我們已經(jīng)去Valve的總部跟他們的工程師洽談過把Lighthouse的tracker整合進(jìn)Dexmo的相關(guān)事宜。技術(shù)上沒有實(shí)現(xiàn)難度。當(dāng)然空間追蹤還有很多很多其他方案，我們對此都保持一個開放的態(tài)度。

雷鋒網(wǎng)：力反饋如何與手勢交互相結(jié)合？

谷逍馳：手勢交互本身已經(jīng)是一種相對自然地交互方式。比如微軟的Hololens，呼出菜單所使用的bloom gesture（五指向上開合），確定用的tapping gesture（伸出食指勾一下）等等。在這個基礎(chǔ)上通過力反饋加入物理角度限制，可以把交互復(fù)雜程度再上一個臺階。比如在VR中我們可以在人的小臂，胸前上設(shè)計旋鈕，開關(guān)等等。在此之前，這些硬件開關(guān)只能放在controller本身上，而有了力反饋很多硬件開關(guān)都可以通過軟件來實(shí)現(xiàn)，這是很大的一個進(jìn)步。

就好像有了觸摸屏和振動反饋，我們慢慢脫離了實(shí)體按鍵一樣，有了力反饋，在虛擬世界中我們可以生成無數(shù)個按鍵，旋鈕，開關(guān)等等，很有可能在未來我們不再需要那么多實(shí)體按鈕了。

這個視頻里面有一些Dexmo在交互上的創(chuàng)新。

雷鋒網(wǎng)：為什么選擇NRF作為無線傳輸方案？

谷逍馳：因為Dexmo作為一個雙向交互設(shè)備，既提供輸入，也產(chǎn)生輸出，對于數(shù)據(jù)帶寬的要求更高。很多現(xiàn)成的硬件和通訊協(xié)議并不太能滿足我們對通信速率和穩(wěn)定性的要求。這樣一對比，藍(lán)牙和WiFi已經(jīng)不在我們的考慮之列，只能選擇NRF。當(dāng)然，我們也在早期嘗試過藍(lán)牙和WiFi，但并不理想。

雷鋒網(wǎng)：介紹一下Dexmo的SDK，開發(fā)者如何為其進(jìn)行開發(fā)和支持，另外如何吸引更多的開發(fā)者？

谷逍馳：為Dexmo做開發(fā)很容易，我們做了一套類似于Vive的plugin。只需要使用我們的SDK，打開UNITY你就可以用頭顯看到一雙手。并且手部的交互，碰撞檢測，力的生成，都由我們的算法為開發(fā)者處理了。開發(fā)者僅僅需要為物體設(shè)定碰撞檢測器和硬度就可以了。

吸引開發(fā)者方面，目前我們的做法是在積極尋求和國外虛擬現(xiàn)實(shí)一線廠商的合作。我們相信這項技術(shù)本身是有極大的潛在價值的。但是只有放到合適的生態(tài)系統(tǒng)中去，才能讓它的價值最大化展現(xiàn)。一旦有了巨頭的背書，開發(fā)者也會更愿意使用更高級的硬件。

雷鋒網(wǎng)：除了VR/AR/MR，Dexmo還有哪些使用場景？

谷逍馳：機(jī)器人控制絕對是一個實(shí)際需求。對于排爆機(jī)器人來說，有了手部的力反饋和盲操完全就是2個等級的精準(zhǔn)度。我們在過去的研發(fā)中收到過來自NASA和美國軍方的一些邀約，希望能夠?qū)⑦@項技術(shù)使用到航空航天中去。太空機(jī)械臂控制，火星車的抓取等等，這些交互有了力反饋都會有質(zhì)的提升。

除了VR/MR 游戲，很多垂直領(lǐng)域都會有很多應(yīng)用場景，比如繪圖，教育，訓(xùn)練等等。拆解飛機(jī)發(fā)動機(jī)這種高精尖的活，不是每個學(xué)徒都有機(jī)會可以直接上手操作真機(jī)的。這里我們就可以用VR來代替。同樣如果僅僅是用Vive控制器來移動，缺少了immersion（沉浸感）。如果能用Dexmo的話，會更加真實(shí)。

觀眾：2013年Dexta眾籌，后來撤掉了，是因為當(dāng)時方案不成熟嗎？

谷逍馳：（引用Road to VR對他的一段采訪）

我們當(dāng)時在 Kickstarter 上展示的只是一個概念。當(dāng)我們看到人們的反應(yīng)之后，我們感覺自己被捧得太高了。我們意識到他們期待實(shí)現(xiàn)的，要比我們能做到的高太多。

大多數(shù)的支持者需要的是，一個最終的解決方案，能拿來即用，并且所有的平臺都支持它。而當(dāng)時的 VR 硬件并不像現(xiàn)在這樣。我們很明白，如果使用者都無法獨(dú)立設(shè)置一套追蹤系統(tǒng)，那么他們很可能不會使用我們的產(chǎn)品。因此要達(dá)到人們的預(yù)期，研究以及生產(chǎn)產(chǎn)品，我們需要的資金要遠(yuǎn)高于 2 百萬美金。

當(dāng)時我們面臨這樣的抉擇：要么我們接受這筆錢，假裝這些問題都不存在，不告訴我們的支持者實(shí)際情況如何，最后拿出一個任何人都不會滿意的垃圾產(chǎn)品，要么我們對支持者負(fù)責(zé)，向他們坦白一切問題，然后回去繼續(xù)做研發(fā)。

作為一名工程師，我不怎么會說大話。我認(rèn)為產(chǎn)品能證明一切。我希望人們能感受到這個產(chǎn)品中凝結(jié)的我們的所有精力與努力。我們當(dāng)時很難做出抉擇，但我慶幸我們做出了正確的決定。而現(xiàn)在，我們的產(chǎn)品最終能達(dá)到過去我對它的一切期待。

觀眾：售價多少？

谷逍馳：會比主流頭顯要低，具體價格目前沒有參考意義。進(jìn)一步進(jìn)入生產(chǎn)后，取決于量，可以跟供應(yīng)商進(jìn)行進(jìn)一步文人，同時還有很多生產(chǎn)優(yōu)化可以做。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。