當(dāng)?shù)貢r間 2021 年 3 月 27 日-4 月 2 日，一年一度的 IEEE VR 會議將于線上舉行。

作為展示虛擬、增強(qiáng)和混合現(xiàn)實(shí)（VR/AR/XR）領(lǐng)域最新研究成果的重要國際性會議， IEEE VR 2021 自然也將涌現(xiàn)出不少創(chuàng)意。

比如瑞士蘇黎世聯(lián)邦理工學(xué)院計算機(jī)科學(xué)系就研制出了一種手環(huán)。

戴上這種手環(huán)，我們就可以懸空彈鋼琴。

左右手比劃一下，圖片的位置和尺寸即可得到調(diào)整。

“虛擬鍵盤”也出現(xiàn)了。

相關(guān)研究成果已于預(yù)印本的形式公開，將在 IEEE VR 2021 上發(fā)表，題為 TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing（TapID：虛擬現(xiàn)實(shí)中使用可穿戴傳感的快速觸摸交互）。

快速觸摸交互內(nèi)置 2 個慣性傳感器

眾所周知，隨著硬件和算力的提升，VR 產(chǎn)生了更為逼真、有吸引力的場景。

VR 正變得越來越流行，傳統(tǒng)產(chǎn)品是通過控制器或攝像頭跟蹤四肢進(jìn)行互動。然而在研究團(tuán)隊看來，空中交互是阻礙 VR 場景生產(chǎn)力的關(guān)鍵因素，因?yàn)?VR 場景需要長時間的持續(xù)交互，而傳統(tǒng)方式則無法滿足這一要求。

實(shí)際上，VR 系統(tǒng)中觸控交互的一個核心挑戰(zhàn)就在于對觸控事件的精確檢測。

頭戴式系統(tǒng)可以對手進(jìn)行跟蹤，這種單一的優(yōu)勢會導(dǎo)致深度感知的不準(zhǔn)確性，從而使得觸摸/非觸摸識別和接觸定位具有挑戰(zhàn)性。

此前研究人員們已經(jīng)提出了多種方法，通過集成可靠的觸摸檢測和抑制濾波器，嘗試用深度攝像機(jī)進(jìn)行精確檢測。當(dāng)然，不論是濾波器還是相機(jī)幀率，都會限制系統(tǒng)實(shí)現(xiàn)精確檢測的交互速度。

于是，為了更好地滿足交互需求、保證用戶可以得到片刻的休息，研究團(tuán)隊設(shè)計了一種快速觸摸交互，即一種名叫 TapID 的手環(huán)——其實(shí)，最新的 MR 系統(tǒng)已經(jīng)結(jié)合了用于輸入檢測的手勢識別，AR 設(shè)備（如微軟 Hololens 2）和 VR 設(shè)備（Oculus Quest 2）亦然。

據(jù)了解，每只 TapID 都外表小巧，兩側(cè)嵌有 2 個慣性傳感器。

論文將 TapID 手環(huán)稱為是“基于手腕的慣性傳感系統(tǒng)”。通過慣性傳感器，TapID 提供了粒度和對細(xì)微運(yùn)動的檢測。它不僅可以檢測到某個表面（比如桌面）上的觸摸事件，還可以額外識別手指，二者結(jié)合即在 VR 中觸發(fā)輸入事件。因此，平板和手機(jī)上的應(yīng)用程序、交互模式可以無縫、可靠地轉(zhuǎn)移到 VR 場景。也就是說，用戶使用 VR 設(shè)備就像是在常見的生產(chǎn)力工具手機(jī)和平板電腦上操作一樣。

用戶使用 TapID 時需每個手腕各戴一個，這樣 TapID 就能檢測到用戶的手指輕叩動作。其背后原理在于一種機(jī)器學(xué)習(xí)算法，該算法可以分析人體骨骼系統(tǒng)的獨(dú)特振動——這在 VR 環(huán)境中頗為有效。

具體來講，通過檢測手勢可以確定出是哪只手指在敲擊“鍵盤”，并不需要精確的位置信息。用戶可以像在現(xiàn)實(shí)世界中一樣在鍵盤上打字，或在表面上與虛擬對象交互。

TapID 實(shí)現(xiàn)精確檢測

為檢測 TapID 性能，研究團(tuán)隊設(shè)計了一系列測試。

團(tuán)隊招募了 18 名參與者（其中 14 名男性、4 名女性；年齡跨度在 19-57 歲，平均 28.4 歲），平均手腕周長為 168 mm（最小 146mm，最大 185mm）。

在每輪測試中，參與者戴上 TaplD，按照指示重復(fù)用每根手指展示敲擊的動作（敲 30 下），在短暫休息后，繼續(xù)這樣重復(fù)兩回。每個參與者都在 20 分鐘內(nèi)完成了測試。

團(tuán)隊測得：

• TapID 的事件檢測精度 F1 = 0.997；

• 手指識別精度（單個用戶 F1 = 0.93；多用戶改進(jìn)后 F1 = 0.91；多用戶改進(jìn)前 F1 = 0.87）。
  

論文顯示，TapID 的檢測準(zhǔn)確度明顯超過了不少頭顯傳感器和攝像頭系統(tǒng)等。

最后，研究團(tuán)隊總結(jié)了 TapID 的一系列用途，包括 UI 控制、敲鍵盤、鋼琴演奏、在桌面上做手勢等等。

講到懸空打字，也許有人會覺得不靠譜，正如開源社區(qū) Hackaday 所說：

在一個虛擬環(huán)境中用虛擬鍵盤打字，我們并不敢保證效果如何，畢竟真正的鍵盤更容易觸摸到，當(dāng)然可能也更便宜。

不過 Hackaday 也表示，設(shè)計一個能夠準(zhǔn)確判斷用戶手指姿態(tài)、實(shí)現(xiàn)實(shí)時互動的設(shè)備，為 VR 領(lǐng)域的應(yīng)用提供了新思路。也就是說，不論研究團(tuán)隊演示的懸空打字例子是否具有現(xiàn)實(shí)可行性，這項技術(shù)確實(shí)有效。

或許，未來我們可以順著這種研究思路，提升與智能手表的互動方式。

引用來源：

https://siplab.org/papers/vr2021-TapID.pdf

https://hackaday.com/2021/03/16/bone-vibration-brings-typing-into-vr/

https://techxplore.com/news/2021-03-virtual-reality-fingertips.html

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。