0
雷鋒網(wǎng)按：本文來(lái)自微動(dòng)投稿雷鋒網(wǎng)發(fā)布。
（圖：微動(dòng)和易瞳共同嘗試了VR和MR版Pokémon GO）
你們?nèi)账家瓜氲氖指胁倏豓R和MR版Pokémon GO，我們做出來(lái)了。這才是Pokémon GO打破次元壁的正確方式。
Pokémon GO讓AR和手游、街頭甚至社交相結(jié)合，僅僅是這幾個(gè)關(guān)鍵詞就足夠吸引人，再加上Pokémon 這一世紀(jì)大IP，好像不火反而沒(méi)道理。但是在手機(jī)上用長(zhǎng)按→滑動(dòng)的觸屏操作模擬“拋出”精靈球，將寶可夢(mèng)收入其中……會(huì)不會(huì)有些略顯拘謹(jǐn)和中二？
雖然國(guó)服還未開(kāi)放，但是中國(guó)玩家對(duì)Pokémon GO的思考和想象并不少，Pokémon GO確實(shí)帶給我們很多驚喜，但是玩家最期待看到的不是技術(shù)最初級(jí)的樣子，而是將之與最適合的技術(shù)表現(xiàn)形式相結(jié)合，從情節(jié)設(shè)計(jì)和操作方式來(lái)看，VR/MR+手感操控能帶給我們更爽的體驗(yàn)。
我們嘗試了VR和MR版Pokémon GO，讓寶可夢(mèng)從手機(jī)屏幕中解禁，你可以抓住想要選擇的精靈球，在眼前調(diào)整角度瞄準(zhǔn)后沖著寶可夢(mèng)拋出。如果你遇到的是一只剛烈而又狡猾的寶可夢(mèng)，為了避免被帶節(jié)奏，還可以打圈兒扔出最強(qiáng)旋轉(zhuǎn)精靈球、投喂食物，大概沒(méi)有哪只寶可夢(mèng)可以從閣下手中逃脫了吧。
相信各位老司機(jī)們對(duì)VR的了解已經(jīng)非常透徹，我們做的這段demo除了想要幫大家解鎖抓寶可夢(mèng)的新姿勢(shì)，還想把MR+手感操控的技術(shù)表現(xiàn)形式普及給大家。以下為開(kāi)發(fā)教程，除此之外SDK也可以在我們Vidoo官網(wǎng)免費(fèi)下載，期待開(kāi)發(fā)者在吃下這記良心安利后會(huì)有更多大作產(chǎn)生。
手感操控：
首先，通過(guò)我們的雙目深度傳感器得到深度圖像。
在深度圖像中，我們通過(guò)修改每個(gè)像素RGB的值用以標(biāo)定該像素與傳感器之間的距離。當(dāng)我們觀察深度圖像時(shí)，會(huì)發(fā)現(xiàn)其效果與我們熟悉的紅外熱成像圖像類似，只不過(guò)我們把溫度替換成了距離。
下圖中，左側(cè)為深度圖像，右側(cè)為原始圖像。通過(guò)觀察可以看出，距離越近的區(qū)域，顏色越紅；距離越遠(yuǎn)的區(qū)域，顏色越藍(lán)。
其次，我們將深度圖像中符合人體手部特征的部分分割出來(lái)，進(jìn)行手部姿態(tài)、動(dòng)作的識(shí)別。
這里需要指出的是手勢(shì)識(shí)別算法是基于深度圖像而不是普通圖像的。這樣可以方便我們獲得手部每個(gè)點(diǎn)的深度信息，從而還原出整手的骨骼結(jié)構(gòu)。如果我們想要與虛擬物體進(jìn)行觸碰式的交互，骨骼結(jié)構(gòu)是不可缺失的技術(shù)前提。
最后，我們通過(guò)算法將傳感器坐標(biāo)系（包含手部骨骼空間信息）、虛擬世界坐標(biāo)系（包含所有虛擬物體的空間信息）、現(xiàn)實(shí)坐標(biāo)系（包含環(huán)境信息和手部信息）這三個(gè)坐標(biāo)系對(duì)齊。
這樣，我們可以將檢測(cè)到的手部骨骼與真實(shí)的雙手對(duì)齊；將虛擬物體與現(xiàn)實(shí)環(huán)境對(duì)齊。當(dāng)真實(shí)的手部觸碰到虛擬的物體時(shí)，將會(huì)產(chǎn)生類似鼠標(biāo)點(diǎn)擊的事件，來(lái)驅(qū)動(dòng)程序的執(zhí)行，具體到Pokémon GO里面，就是投喂小精靈，扔出精靈球等操作。
至此，已完成了手感操控的基礎(chǔ)部分，后續(xù)將進(jìn)一步在Unity3D中完善事件的邏輯，完成Pokémon GO中將精靈球、食物拋向小精靈的功能。
接下來(lái)，我們要做的就是在空間當(dāng)中顯示Pokémon GO中的游戲元素，并且讓皮卡丘和精靈球顯示在合理的空間范圍之內(nèi)。
我們采用視頻透視技術(shù)，通過(guò)雙目攝像頭實(shí)時(shí)采集你看到的“現(xiàn)實(shí)”世界并將之?dāng)?shù)字化，然后通過(guò)計(jì)算機(jī)算法實(shí)時(shí)渲染畫(huà)面。這樣做完既可以完全疊加虛擬圖像，也可以看到經(jīng)過(guò)計(jì)算機(jī)渲染后新的“現(xiàn)實(shí)畫(huà)面”，滿足了我們對(duì)于虛擬物體和現(xiàn)實(shí)環(huán)境同時(shí)存在的需求。
在解決了交互和顯示核心技術(shù)之后，在Unity3D里面加入相應(yīng)的SDK，調(diào)整下流程邏輯。MR版Pokémon GO便誕生啦。
本文所提到的“MR”并非“混合現(xiàn)實(shí)”。MR是介于VR與AR之間的技術(shù)，名為介導(dǎo)現(xiàn)實(shí)技術(shù)，由“智能硬件之父”多倫多大學(xué)教授SteveMann提出的介導(dǎo)現(xiàn)實(shí)，全稱Mediated Reality（簡(jiǎn)稱MR）。VR是純虛擬數(shù)字畫(huà)面，包括AR在內(nèi)的Mixed Reality是虛擬數(shù)字畫(huà)面+裸眼現(xiàn)實(shí)，MR是數(shù)字化現(xiàn)實(shí)+虛擬數(shù)字畫(huà)面。
MR也并非近幾年才出現(xiàn)，上世紀(jì)七八十年代，為了增強(qiáng)自身視覺(jué)效果，讓眼睛在任何情境下都能夠“看到”周圍環(huán)境，Steve Mann設(shè)計(jì)出可穿戴智能硬件"Digital Eye Glass"作為視覺(jué)輔助設(shè)備，這被看作是對(duì)MR的初步探索。
革新人類視覺(jué)感知的能力，不僅涉及到對(duì)現(xiàn)實(shí)進(jìn)行數(shù)字疊加，還需要用到增刪改等其他視覺(jué)修飾手段，從上世紀(jì)90年代開(kāi)始，MR（介導(dǎo)現(xiàn)實(shí)）的研究逐步在多倫多大學(xué)的HI實(shí)驗(yàn)室中展開(kāi)，一批頂尖學(xué)科人才從HI實(shí)驗(yàn)室脫穎而出。
編者注：雷鋒網(wǎng)此前發(fā)過(guò)多年跟隨Steve Mann的易瞳科技CTO艾韜文章——《神奇的虛實(shí)世界：關(guān)于你可能還不那么了解的智能眼鏡》，談及了AR/VR/MR的區(qū)別。
（圖為易瞳MR智能眼鏡——VMG-PROV）
手感操控不等于手勢(shì)識(shí)別，手感操控包括手勢(shì)識(shí)別。
手感操控要滿足以下三個(gè)基本點(diǎn)：
1、手感操控一定要有深度信息，傳感器要知道手離用戶有多遠(yuǎn)。
2、手感操控包括手勢(shì)識(shí)別。手勢(shì)識(shí)別通過(guò)圖像算法更新得到手部姿態(tài)和手部動(dòng)作指令，將手的深度信息和手勢(shì)識(shí)別信息相疊加，得到：手離我有多遠(yuǎn)，手在做什么的完整信息，才能稱為手感操控。
3、在VR中，手感操控要給用戶提供真實(shí)的手部圖像。通過(guò)算法把手部影像拉近到和用戶真實(shí)的前庭感官同步，能看到深度信息，給用戶最真實(shí)的操控的感覺(jué)。如果用戶看到的是機(jī)械的手或者模擬的手，交互友好度會(huì)大打折扣。
雷鋒網(wǎng)注：轉(zhuǎn)載請(qǐng)聯(lián)系授權(quán)，保留出處和作者，不得刪減內(nèi)容。
如果你也是VR從業(yè)者，或者對(duì)VR相關(guān)技術(shù)有深入研究，可以給我們投稿：zhuanlan@leiphone.com。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
