0
| 本文作者： 我在思考中 | 2021-11-18 10:09 |
編輯 | 青暮
從今年3月開始，Meta(原名Facebook)的現(xiàn)實(shí)實(shí)驗(yàn)室 (RL) 就開始了觸覺感知手套的新項(xiàng)目，直到昨天，Meta正式推出觸覺感知手套，并分享了關(guān)于軟體機(jī)器人、微流控處理器、手部跟蹤、觸覺渲染和感知科學(xué)方面的工作進(jìn)展。
這款吊足了8個(gè)月胃口的觸覺手套到底什么樣？是否如他們所說，“這將是2030年的人與世界無接觸式交互的未來技術(shù)”？
Meta表示，目前這款手套可以在虛擬世界中再現(xiàn)現(xiàn)實(shí)生活中的一系列觸覺感覺，包括模擬人手撫摸材質(zhì)紋理的感覺、壓力反饋以及振動(dòng)反饋。
在展示圖中，可以看到這個(gè)手套設(shè)置了4道氣囊墊，每道約有15個(gè)，沿手指呈脊?fàn)罘植肌１巢坑邪咨膫鞲衅?，可追蹤手指在空間中的移動(dòng)情況。并且手套內(nèi)外兩側(cè)也設(shè)置了多根傳感器，可動(dòng)態(tài)捕捉佩戴者的手指彎曲狀態(tài)。
當(dāng)戴上手套進(jìn)入VR或AR體驗(yàn)時(shí)，一個(gè)復(fù)雜的控制系統(tǒng)會(huì)調(diào)整氣囊的充氣水平，在手上的不同部位產(chǎn)生不同的壓力。比如，如果你用指尖觸摸一個(gè)虛擬物體，會(huì)感到物體壓迫手部皮膚，而如果你握著一個(gè)虛擬物體，手指的驅(qū)動(dòng)器就會(huì)變硬，產(chǎn)生一種阻力感。這些感覺與視覺和聽覺感知共同作用，從而產(chǎn)生身體與虛擬物體接觸的“錯(cuò)覺”。
究其根本，這項(xiàng)技術(shù)到底新奇在何處？作為元宇宙的“頭號(hào)玩家”，Meta的技術(shù)與其他玩家有何不同？
如何增強(qiáng)人與虛擬世界的聯(lián)系？
Reality Labs 的負(fù)責(zé)人Sean Keller 說，他們一直在推進(jìn)關(guān)于AR/VR 交互和感知輸入輸出的研究，為下一個(gè)計(jì)算時(shí)代構(gòu)建傳播界面：即推動(dòng)跨觸覺、肌電圖輸入、軟機(jī)器人、設(shè)計(jì)、感知科學(xué)、應(yīng)用機(jī)器學(xué)習(xí)等領(lǐng)域的研究。
自2014年收購Oculus VR公司以來，7年時(shí)間里，Meta的現(xiàn)實(shí)實(shí)驗(yàn)室(Reality Labs)一直在開發(fā)虛擬游戲環(huán)境，同時(shí)也在開發(fā)更加適配游戲環(huán)境的可穿戴設(shè)備。
最初是在Quest 上建立手部追蹤，從而操縱虛擬物體，但在實(shí)際體驗(yàn)中并沒有建立手部感覺。
在 2015 年，實(shí)驗(yàn)室又開發(fā)了第一個(gè)觸覺原型：一根帶有執(zhí)行器的手指，但劣勢(shì)明顯，缺少整體的手部感知。
在今年3月，實(shí)驗(yàn)室又推出手腕腕帶，通過手部肌電(electromyography, EMG)傳感器平移電機(jī)神經(jīng)信號(hào)，將手腕到手的動(dòng)作指令轉(zhuǎn)化為數(shù)字指令，從而動(dòng)態(tài)化地適應(yīng)虛擬環(huán)境。這項(xiàng)技術(shù)大大推進(jìn)了感知輸入的研究進(jìn)程，但在感知交互上，腕部感知也對(duì)更加系統(tǒng)的“抓”、“握”等力度感知繞道而走。
而且，從眾多進(jìn)場(chǎng)的玩家來看，模擬觸摸并非新研究，比如將 VR 與控制器振動(dòng)結(jié)合起來，也能讓人們感覺像在觸摸物體。許多公司都在研究可穿戴設(shè)備，既可以跟蹤用戶手部動(dòng)作，也可以提供觸覺，比如溫度感知。但這并不是Meta現(xiàn)實(shí)實(shí)驗(yàn)室的首要目標(biāo)。
隨著眾玩家的介入，非核心技術(shù)一定會(huì)在第一時(shí)間讓短視玩家的技術(shù)壁壘蕩然無存。能復(fù)刻現(xiàn)實(shí)世界的觸覺感知才能掘出一條技術(shù)護(hù)城河。
目前觸覺手套解決的就是全方位觸覺感知的問題。
最開始，為了提供逼真的觸感，觸覺手套需要在整個(gè)手上安裝數(shù)百個(gè)執(zhí)行器（微型電機(jī)），以使佩戴者的手部運(yùn)動(dòng)與觸摸虛擬物體時(shí)協(xié)同。但是過多的的機(jī)械執(zhí)行器會(huì)產(chǎn)生過多的熱量，既不舒適又太大、太硬、太貴太耗電。
是否可以用柔軟、柔韌的驅(qū)動(dòng)器代替機(jī)械驅(qū)動(dòng)器？如果驅(qū)動(dòng)器可以根據(jù)佩戴者的動(dòng)作改變形狀，就可以假設(shè)執(zhí)行器根本不存在，與手部融為一體。
新技術(shù)就采用了更加新穎的軟體機(jī)器人，用微型氣囊取代了笨重的機(jī)電組件。這種柔軟、輕便的觸覺手套，最明顯的優(yōu)勢(shì)是解決了外部器件過于異化的問題，同時(shí)還明顯提高了 AR/VR 中雙向交互問題：幫助計(jì)算機(jī)準(zhǔn)確理解和反映佩戴者的手部動(dòng)作，并為佩戴者再現(xiàn)一系列復(fù)雜、細(xì)微的感覺，例如壓力、紋理和振動(dòng)來創(chuàng)造用手感受虛擬物體的效果。
為了控制這些新的軟執(zhí)行器，他們正在構(gòu)建世界上第一個(gè)高速微流體處理器：手套上的微型微流體芯片，通過告訴閥門何時(shí)開關(guān)，從而控制執(zhí)行器的氣流。
現(xiàn)實(shí)實(shí)驗(yàn)室的Andrew Stanley說到：“我們和其他微流體研究的不同之處在于，我們強(qiáng)調(diào)一切都非常輕巧、可穿戴和響應(yīng)快速，在手上創(chuàng)造可信的觸覺，讓虛擬世界變得「有形」?！?/span>
即使有一種控制氣流的方法，系統(tǒng)也需要知道何時(shí)何地提供正確的感覺。這需要先進(jìn)的手部跟蹤技術(shù)，使計(jì)算機(jī)能夠準(zhǔn)確地知道手部在虛擬場(chǎng)景中的位置，人是否與虛擬對(duì)象接觸，以及手如何與對(duì)象交互。
因此，還需要一款為 AR/VR 界面構(gòu)建觸覺渲染的軟件，可以根據(jù)手的位置和對(duì)虛擬環(huán)境的理解，幾乎實(shí)時(shí)地向手套上的執(zhí)行器發(fā)送指令，包括紋理、重量和剛度等。
RL 軟件工程師 Forrest Smith 說，“人們通常將‘渲染’視為視覺效果，我們還使用‘渲染’來表示觸覺：首先獲取人與虛擬世界的交互狀態(tài)，并將其渲染到執(zhí)行器，從而獲得相應(yīng)的感覺。然后為了渲染與對(duì)象的實(shí)時(shí)交互，還需要模擬相應(yīng)的物理狀態(tài)?！?/span>
強(qiáng)化學(xué)習(xí)研究工程師Justin Clark 指出：一個(gè)物理引擎（用于視頻游戲中模擬對(duì)象的交互軟件）決定了手與虛擬環(huán)境交互的方向，幅度，力度。然后，觸覺渲染算法將此信息與觸覺設(shè)備的特性（例如其各個(gè)執(zhí)行器的位置和屬性）相結(jié)合，以便向設(shè)備發(fā)送正確的指令。
軟件工程師 Andrew Doxon 補(bǔ)充道：“其中一個(gè)挑戰(zhàn)是構(gòu)建適用于不同類型執(zhí)行器并支持各種觸覺體驗(yàn)的軟件。最終，我們還需要構(gòu)建工具，讓人們能夠像創(chuàng)建視覺或音頻內(nèi)容一樣創(chuàng)建觸覺內(nèi)容?！?/span>
隨著工作的進(jìn)行，第三個(gè)挑戰(zhàn)出現(xiàn)了：為了使紋理和感覺發(fā)揮作用，他們必須以模仿現(xiàn)實(shí)的方式模擬觸摸物理，但不能完全重新創(chuàng)建現(xiàn)實(shí)世界的物理學(xué)。
因此，他們想到多感官整合：研究人類感官如何協(xié)同工作，從而建立我們對(duì)世界的整體理解。
UX 研究科學(xué)經(jīng)理 Sophie Kim 曾說到，“我們的大腦非常擅長(zhǎng)接收一點(diǎn)觸覺信號(hào)、一點(diǎn)視覺信號(hào)、一點(diǎn)聽覺信號(hào)，然后將它們?nèi)诤显谝黄穑纬扇轿坏母杏X，并使你的大腦確信有一個(gè)物體在你手上?！?/span>
RL 感知研究科學(xué)家 Jess Hartcher-O'Brien說到：如果我拿起一個(gè)物體，我已經(jīng)對(duì)它的材料類型以及重量有了一些假設(shè)，然后我抓拿起它，觸覺系統(tǒng)會(huì)驗(yàn)證這是什么材料，大腦會(huì)識(shí)別摩擦力和慣性；視覺系統(tǒng)會(huì)根據(jù)我手臂移動(dòng)的方式，計(jì)算出這個(gè)物體的密度或重量。最終這些線索會(huì)綜合起來，形成關(guān)于這個(gè)物體的本體感覺。
這種思路套用在觸覺手套上，就是讓佩戴者的感知系統(tǒng)相信它正在感受物體的重量，通過用致動(dòng)器輕輕拉動(dòng)佩戴者手指的皮膚來模擬握持物體上的重力、拉力。但這一切都必須計(jì)算準(zhǔn)確。
隨著程序的成熟，手套舒適度就要提上日程。如何將傳感器和機(jī)器人執(zhí)行器集成到手套本身材料中，其實(shí)是個(gè)非常大的挑戰(zhàn)。
比如，一副僵硬、沉重或其他不舒服的手套，或者一個(gè)很容易脫落的手套，會(huì)立即把佩戴者打出沉浸式體驗(yàn)。因此，手套需要重量輕、柔軟且高度耐用。
RL 研究過程工程師 Katherine Healy 說，“矛盾是我們必須將所有的技術(shù)制成縮小版，這樣才能在有限的手套上安裝更多的東西，還要兼具美觀和舒適?！?/span>
這項(xiàng)工作涉及到材料科學(xué)的工作。材料小組一開始想到發(fā)明一種新型便宜的聚合物，既可以像塑料和硅膠那樣舒適又可拉伸，又可以在分子水平上定制以產(chǎn)生新功能。這需要全新的制造技術(shù)來將這些新材料變成非常細(xì)的纖維，然后縫制成手套。
“但僅導(dǎo)電的紗線并不能滿足人們?cè)?VR 中進(jìn)行交互所需的所有功能，這就是為什么我們探索如何在同一纖維或織物中構(gòu)建多種功能——包括導(dǎo)電、電容和傳感功能，并制出更纖薄、更耐磨的手套外形，”RL 研究科學(xué)經(jīng)理 Kristy Jost 補(bǔ)充道。
這就是為什么材料小組在探索制造技術(shù)，同時(shí)又保證每只手套可定制，以獲得最大的觸覺精度和舒適度。這樣做意味著開發(fā)設(shè)計(jì)和制造微型執(zhí)行器的新方法，并創(chuàng)建新的編織和刺繡工藝以將它們精確地嵌入手套中。
“目前，手套可以由熟練的工程師和技術(shù)人員單獨(dú)制造，由他們制造子系統(tǒng)作為手套組裝配件，”Healy 說，“這個(gè)過程要盡可能使用半自動(dòng)化工藝，因此還要發(fā)明新的制造工藝。”
“我相信，在即將到來的 AR/VR 和元宇宙人機(jī)交互革命中，觸覺將是至關(guān)重要的，”RL 研究科學(xué)經(jīng)理 Nicholas Colonnese 說。
“當(dāng)我們開始觸覺手套項(xiàng)目時(shí)，我們問自己是否可以構(gòu)建一種可大規(guī)模生產(chǎn)、價(jià)格合理的消費(fèi)設(shè)備，讓人們可以在任何地方體驗(yàn)任何有形的界面，”Healy 說，“我們無法發(fā)明新材料、新傳感器和執(zhí)行器、新的集成方法和系統(tǒng)、新的渲染算法、新的物理引擎，但我們已經(jīng)開辟了一條可行的道路，可以讓我們到達(dá)那里?！?/span>
目前，這項(xiàng)觸覺手套還未走出實(shí)驗(yàn)室，團(tuán)隊(duì)還想要弄清楚VR 觸控的真實(shí)程度如何。創(chuàng)造下一個(gè)人機(jī)交互時(shí)代的中心 ，觸覺研究，才剛剛開始。
https://www.theverge.com/2021/11/16/22782860/meta-facebook-reality-labs-soft-robotics-haptic-glove-prototype?scrolla=5eb6d68b7fedc32c19ef33b4
https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
