1
| 本文作者： 付靜 | 2021-03-23 17:10 |
當?shù)貢r間 2021 年 3 月 27 日-4 月 2 日，一年一度的 IEEE VR 會議將于線上舉行。
作為展示虛擬、增強和混合現(xiàn)實（VR/AR/XR）領(lǐng)域最新研究成果的重要國際性會議， IEEE VR 2021 自然也將涌現(xiàn)出不少創(chuàng)意。
比如瑞士蘇黎世聯(lián)邦理工學院計算機科學系就研制出了一種手環(huán)。
戴上這種手環(huán)，我們就可以懸空彈鋼琴。
左右手比劃一下，圖片的位置和尺寸即可得到調(diào)整。
“虛擬鍵盤”也出現(xiàn)了。
相關(guān)研究成果已于預印本的形式公開，將在 IEEE VR 2021 上發(fā)表，題為 TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing（TapID：虛擬現(xiàn)實中使用可穿戴傳感的快速觸摸交互）。
眾所周知，隨著硬件和算力的提升，VR 產(chǎn)生了更為逼真、有吸引力的場景。
VR 正變得越來越流行，傳統(tǒng)產(chǎn)品是通過控制器或攝像頭跟蹤四肢進行互動。然而在研究團隊看來，空中交互是阻礙 VR 場景生產(chǎn)力的關(guān)鍵因素，因為 VR 場景需要長時間的持續(xù)交互，而傳統(tǒng)方式則無法滿足這一要求。
實際上，VR 系統(tǒng)中觸控交互的一個核心挑戰(zhàn)就在于對觸控事件的精確檢測。
頭戴式系統(tǒng)可以對手進行跟蹤，這種單一的優(yōu)勢會導致深度感知的不準確性，從而使得觸摸/非觸摸識別和接觸定位具有挑戰(zhàn)性。
此前研究人員們已經(jīng)提出了多種方法，通過集成可靠的觸摸檢測和抑制濾波器，嘗試用深度攝像機進行精確檢測。當然，不論是濾波器還是相機幀率，都會限制系統(tǒng)實現(xiàn)精確檢測的交互速度。
于是，為了更好地滿足交互需求、保證用戶可以得到片刻的休息，研究團隊設計了一種快速觸摸交互，即一種名叫 TapID 的手環(huán)——其實，最新的 MR 系統(tǒng)已經(jīng)結(jié)合了用于輸入檢測的手勢識別，AR 設備（如微軟 Hololens 2）和 VR 設備（Oculus Quest 2）亦然。
據(jù)了解，每只 TapID 都外表小巧，兩側(cè)嵌有 2 個慣性傳感器。
論文將 TapID 手環(huán)稱為是“基于手腕的慣性傳感系統(tǒng)”。通過慣性傳感器，TapID 提供了粒度和對細微運動的檢測。它不僅可以檢測到某個表面（比如桌面）上的觸摸事件，還可以額外識別手指，二者結(jié)合即在 VR 中觸發(fā)輸入事件。因此，平板和手機上的應用程序、交互模式可以無縫、可靠地轉(zhuǎn)移到 VR 場景。也就是說，用戶使用 VR 設備就像是在常見的生產(chǎn)力工具手機和平板電腦上操作一樣。
用戶使用 TapID 時需每個手腕各戴一個，這樣 TapID 就能檢測到用戶的手指輕叩動作。其背后原理在于一種機器學習算法，該算法可以分析人體骨骼系統(tǒng)的獨特振動——這在 VR 環(huán)境中頗為有效。
具體來講，通過檢測手勢可以確定出是哪只手指在敲擊“鍵盤”，并不需要精確的位置信息。用戶可以像在現(xiàn)實世界中一樣在鍵盤上打字，或在表面上與虛擬對象交互。
為檢測 TapID 性能，研究團隊設計了一系列測試。
團隊招募了 18 名參與者（其中 14 名男性、4 名女性；年齡跨度在 19-57 歲，平均 28.4 歲），平均手腕周長為 168 mm（最小 146mm，最大 185mm）。
在每輪測試中，參與者戴上 TaplD，按照指示重復用每根手指展示敲擊的動作（敲 30 下），在短暫休息后，繼續(xù)這樣重復兩回。每個參與者都在 20 分鐘內(nèi)完成了測試。
團隊測得：
TapID 的事件檢測精度 F1 = 0.997；
手指識別精度（單個用戶 F1 = 0.93；多用戶改進后 F1 = 0.91；多用戶改進前 F1 = 0.87）。
論文顯示，TapID 的檢測準確度明顯超過了不少頭顯傳感器和攝像頭系統(tǒng)等。
最后，研究團隊總結(jié)了 TapID 的一系列用途，包括 UI 控制、敲鍵盤、鋼琴演奏、在桌面上做手勢等等。
講到懸空打字，也許有人會覺得不靠譜，正如開源社區(qū) Hackaday 所說：
在一個虛擬環(huán)境中用虛擬鍵盤打字，我們并不敢保證效果如何，畢竟真正的鍵盤更容易觸摸到，當然可能也更便宜。
不過 Hackaday 也表示，設計一個能夠準確判斷用戶手指姿態(tài)、實現(xiàn)實時互動的設備，為 VR 領(lǐng)域的應用提供了新思路。也就是說，不論研究團隊演示的懸空打字例子是否具有現(xiàn)實可行性，這項技術(shù)確實有效。
或許，未來我們可以順著這種研究思路，提升與智能手表的互動方式。
引用來源：
https://siplab.org/papers/vr2021-TapID.pdf
https://hackaday.com/2021/03/16/bone-vibration-brings-typing-into-vr/
https://techxplore.com/news/2021-03-virtual-reality-fingertips.html
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
