0
| 本文作者： 董飛 | 2016-06-15 13:26 |
雷鋒網(wǎng)按：本文來(lái)自公號(hào)“董老師在硅谷”，作者Steve Gu，杜克大學(xué)計(jì)算機(jī)博士，之前在蘋(píng)果擔(dān)任算法工程師，Google X擔(dān)任技術(shù)主管和未來(lái)技術(shù)評(píng)估，發(fā)表專(zhuān)利包括iPhone的指紋識(shí)別以及在下一代蘋(píng)果產(chǎn)品以及Google Glass的人機(jī)交互方式，目前從事AI相關(guān)領(lǐng)域創(chuàng)業(yè)。
什么是真實(shí)？在電影黑客帝國(guó)中，電腦接管了人類(lèi)的視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、觸覺(jué)等訊號(hào)，讓人們從出生開(kāi)始就生活在虛擬世界中卻渾然不知。這雖然是科幻片，但令人浮想聯(lián)翩。
2014年，F(xiàn)acebook 20億美金收購(gòu)了Oculus Rift。同年Google I/O，Google發(fā)布了Cardboard，一款利用廉價(jià)紙板和手機(jī)屏幕就可以實(shí)現(xiàn)虛擬現(xiàn)實(shí)的DIY設(shè)備。2015年初，Microsoft公開(kāi)了一款介于虛擬與增強(qiáng)現(xiàn)實(shí)之間的頭戴設(shè)備HoloLens，現(xiàn)場(chǎng)演示十分驚艷。此外各大公司與游戲廠商都紛紛在虛擬現(xiàn)實(shí)（Virtual Reality，簡(jiǎn)稱(chēng)VR）領(lǐng)域布局，眾多初創(chuàng)公司也在摩拳擦掌，頓時(shí)，VR成為炙手可熱的話(huà)題。雖然黑客帝國(guó)中描述的故事不太可能在現(xiàn)實(shí)發(fā)生，但VR以及VR所帶來(lái)的全新體驗(yàn)已然走進(jìn)了尋常百姓家，為人津津樂(lè)道。
VR最偉大的地方在于其構(gòu)造簡(jiǎn)單，成本低廉，幾乎每個(gè)人都可以自己動(dòng)手制作。比如Google發(fā)布的Cardboard，利用手機(jī)屏幕作為顯示器，利用普通紙板作為機(jī)身，利用透鏡聚焦圖像，利用一個(gè)小磁鐵作為控制開(kāi)關(guān)，利用手機(jī)上的傳感器（比如陀螺儀，加速度計(jì)）作為頭部控制，利用手機(jī)上的APP來(lái)顯示不同的內(nèi)容和場(chǎng)景制作。整套成本不超過(guò)1美元！
（圖1）人眼的Field of View (FoV, 視場(chǎng)）通常可以達(dá)到180度。而普通相機(jī)的視角最多只能到達(dá)150度。寬闊的視場(chǎng)更能讓人具有身臨其境的代入感。圖中所示水平視場(chǎng)約135度，垂直視場(chǎng)約60度。
然而，逼真的VR效果仍然亟待很多最新科技來(lái)幫助實(shí)現(xiàn)。懷著好奇心，我們來(lái)探討VR背后的黑科技。接下來(lái)主要從感官世界（視覺(jué)，聽(tīng)覺(jué)，嗅覺(jué)，觸覺(jué)），以及人機(jī)交互的角度討論如何建造黑客帝國(guó)，實(shí)現(xiàn)身臨其境的體驗(yàn)。同時(shí)分析黑科技背后的產(chǎn)業(yè)趨勢(shì)和機(jī)遇。
目前大部分的VR設(shè)備主要側(cè)重在重構(gòu)視覺(jué)與聽(tīng)覺(jué)，然而這僅僅是虛擬現(xiàn)實(shí)技術(shù)中的冰山一角。想象你住在北京的胡同里，卻可以戴著VR頭盔游覽意大利佛羅倫薩街角的一家水果店。你看到水果店周?chē)墓艠憬ㄖ?，水果店主人向顧客微笑，并不寬闊的街道上?chē)水馬龍人來(lái)人往，街旁小販快樂(lè)的叫賣(mài)聲傳進(jìn)你的耳朵，這時(shí)你嗅到了新鮮水果的清香，于是你伸出手，竟可以觸摸到水果，感覺(jué)這般真實(shí)。不僅如此，圖象，聲音，氣味，紋理的感覺(jué)，都隨著你的移動(dòng)而變化，仿佛親臨佛羅倫薩。
最近看到一些嘗試模擬多種感官的VR設(shè)備。除基本的視聽(tīng)功能以外，這些設(shè)備可以傳氣味、風(fēng)、熱、水霧以及震動(dòng)。此類(lèi)設(shè)備的用戶(hù)體驗(yàn)在目前仍然有待提高，技術(shù)上并不完善。然而在學(xué)術(shù)界，相關(guān)的研究已經(jīng)持續(xù)了好幾十年。下面我們來(lái)細(xì)數(shù)VR背后的黑科技。
（圖2）通過(guò)分屏顯示左右眼不同內(nèi)容獲得圖像的縱深感。系統(tǒng)參數(shù)包括視場(chǎng)大小，屏幕分辨率，透鏡焦距，雙眼間距，眼睛到透鏡距離等。一般來(lái)說(shuō)，視場(chǎng)越寬，視覺(jué)代入感越強(qiáng)。但是過(guò)寬的視場(chǎng)會(huì)造成圖像扭曲以及像素被放大。所以需要綜合考慮系統(tǒng)設(shè)計(jì)。
一般認(rèn)為人的大腦三分之二都用于視覺(jué)相關(guān)的處理，那么VR首先要解決的就是如何逼真地呈現(xiàn)圖景來(lái)欺騙大腦。目前的主要的解決方案是通過(guò)融合左眼和右眼的圖像來(lái)獲得場(chǎng)景的縱深感。其原理主要是通過(guò)將三維場(chǎng)景分別投影到人的左、右兩眼，形成一定的視差，再通過(guò)人的大腦自動(dòng)還原場(chǎng)景的三維信息。這里涉及幾個(gè)主要參數(shù)：Field of View (視場(chǎng)）決定了一次能呈現(xiàn)多少場(chǎng)景，又分為垂直視場(chǎng)和水平視場(chǎng)。通常水平視場(chǎng)越寬越好（比如接近180度），垂直視場(chǎng)在90度左右。
屏幕分辨率則決定了細(xì)節(jié)的逼真度。所謂視網(wǎng)膜屏幕，就是說(shuō)屏幕像素相對(duì)于觀看距離來(lái)說(shuō)是如此之高，以至于人的肉眼無(wú)法分辨曲線(xiàn)是連續(xù)的還是像素化的。高像素對(duì)于逼真的VR體驗(yàn)至關(guān)重要。值得注意的是，視場(chǎng)和屏幕分辨率通常成反比關(guān)系。寬視場(chǎng)可以通過(guò)透鏡的設(shè)計(jì)來(lái)實(shí)現(xiàn)。然而過(guò)寬的視場(chǎng)會(huì)導(dǎo)致場(chǎng)景的邊緣扭曲，同時(shí)像素被放大。設(shè)計(jì)上通常要平衡這兩點(diǎn)。延遲則決定了系統(tǒng)響應(yīng)速度。一般來(lái)說(shuō)24幀每秒的幀速要求系統(tǒng)延遲小于50毫秒，甚至更多。
另外還有一些物理參數(shù)比如雙眼間距，透鏡的焦距，眼睛到透鏡的距離等，需要綜合考慮。對(duì)于虛擬場(chǎng)景的重現(xiàn)，主要是通過(guò)計(jì)算機(jī)圖形學(xué)對(duì)合成物體作逼真的渲染，然后分別投影到頭盔佩戴者的左右眼來(lái)實(shí)現(xiàn)。而對(duì)于真實(shí)場(chǎng)景的重現(xiàn)來(lái)說(shuō)，側(cè)重于如何采集現(xiàn)場(chǎng)畫(huà)面，并且完整地記錄下場(chǎng)景的幾何信息。這個(gè)可以通過(guò)體感相機(jī)（比如Microsoft Kinect）或者相機(jī)陣列進(jìn)行。比如說(shuō)Google今年推出的Jump就采用了16臺(tái)GoPro來(lái)制作虛擬場(chǎng)景。
聽(tīng)覺(jué)
聲音配合畫(huà)面才能淋漓盡致地展現(xiàn)現(xiàn)場(chǎng)效果。最簡(jiǎn)單的方法就是直接從手機(jī)播放聲音。
然而一般的聲音錄制方法并不能還原完整的環(huán)境三維信息。而三維聲音，也稱(chēng)為虛擬聲(virtual acoustics)、雙耳音頻(binaural audio)，則利用間隔一個(gè)頭部寬度的兩個(gè)麥克風(fēng)同時(shí)錄制現(xiàn)場(chǎng)聲音。該方法可以完整地保存聲音源到雙耳的信號(hào)幅度以及相位的差別（如圖3所示），讓聽(tīng)眾仿佛置身現(xiàn)場(chǎng)一般。筆者曾試用過(guò)這套系統(tǒng)，音質(zhì)極佳，令人震撼。
（圖3）利用間隔一個(gè)頭部距離的一對(duì)麥克風(fēng)可以忠實(shí)地記錄從聲音源到雙耳的傳遞過(guò)程
頗有意思的是，麥克風(fēng)的外圍竟有人耳的造型以及由類(lèi)似皮膚的材料構(gòu)成，這樣可以最大限度地保存外部聲音導(dǎo)入人耳的整個(gè)過(guò)程。更有甚者（如圖4所示），有人構(gòu)建了三維聲音陣列，可以將360度全景聲音全部錄入，然后通過(guò)頭部的轉(zhuǎn)動(dòng)選擇性地播放出來(lái)。
虛擬聲的最佳應(yīng)用是專(zhuān)門(mén)為某個(gè)佩戴者量身定制聲音，這樣可以最大限度地高保真地還原音樂(lè)的現(xiàn)場(chǎng)感受。對(duì)于一般使用者來(lái)說(shuō)，因?yàn)閭€(gè)體的差異（比如頭部寬度，耳朵形狀等），虛擬聲的實(shí)際效果略有不同，難以達(dá)到最佳播放狀態(tài)。需要根據(jù)特定場(chǎng)景通過(guò)電腦合成聲音。理論上，如果洞悉了三維場(chǎng)景以及材料性質(zhì)，計(jì)算機(jī)就可以模擬各類(lèi)事件發(fā)生的聲音并將它合成在頭盔或VR盒子里播放。聲音合成的過(guò)程中基于物體間的距離，頭部的朝向等來(lái)模擬真實(shí)環(huán)境播放出的聲音。
（圖4）左圖為3Dio公司的三維音頻輸入設(shè)備 右圖進(jìn)一步將8臺(tái)麥克風(fēng)做成360度陣列用以VR展示
如何讓VR盒子帶來(lái)“暗香浮動(dòng)月黃昏”的感受？嗅覺(jué)雖然并不是VR必須的輸入信號(hào)，但能夠極大程度豐富VR的體驗(yàn)。將嗅覺(jué)嵌入到影片里的嘗試可以追溯到半個(gè)多世紀(jì)前（比如Smell-o-Vision)。而通過(guò)電子調(diào)控方式實(shí)現(xiàn)氣味合成也已經(jīng)有好幾十年歷史，比較著名的比如iSmell公司。
簡(jiǎn)單的思路是這樣子的：合成氣味的方式通常是由一堆塞滿(mǎn)了香料的小盒子組成，也被稱(chēng)作氣味工廠。每一個(gè)小盒子可以單獨(dú)地被電阻絲加熱并散發(fā)出對(duì)應(yīng)的氣味。同時(shí)加熱多個(gè)小盒子就可以將不同的氣味混在一起（如圖5）。
氣味合成這項(xiàng)技術(shù)距離實(shí)際應(yīng)用還有一段距離，主要難點(diǎn)在于如何精確地采集、分析、以及合成環(huán)境中的任意氣味。簡(jiǎn)單的實(shí)現(xiàn)，比如釋放焰火、花香、雨露等一些基本環(huán)境味道，早已經(jīng)應(yīng)用在5D、7D電影中。而復(fù)雜的合成，比如巴黎某商店特有的氣味，目前還難以做到。
其中，還牽涉到需要經(jīng)常更換氣味盒子的問(wèn)題，日常使用并不方便。筆者介紹嗅覺(jué)在VR中的實(shí)踐只為拋磚引玉?；蛟S在不久的未來(lái)會(huì)有更加實(shí)用地調(diào)配和模擬氣味的方法可供頭戴設(shè)備使用。
（圖5）將氣味香料放在不同的小盒子里通過(guò)單獨(dú)加熱來(lái)釋放和混合
觸覺(jué)（haptics）可以將虛擬的對(duì)象實(shí)物化，不僅看得見(jiàn)，還能“摸得著”。如何模擬不同物體的觸感是一個(gè)非常熱門(mén)的研究課題。各種模擬觸感的方法也層出不窮。
最簡(jiǎn)單的觸感可以通過(guò)不同頻率的器件震動(dòng)來(lái)實(shí)現(xiàn)，條件是設(shè)備與皮膚相接觸，通過(guò)縱向和橫向的特定頻率與持續(xù)的振動(dòng)來(lái)模擬各種材料以及特殊條件之下的觸感。比如說(shuō)，手機(jī)振動(dòng)就是一種基本的觸感激發(fā)方式。再比如最新款的蘋(píng)果筆記本配備有震蕩反饋的觸控板，可以根據(jù)手指壓力的大小自動(dòng)調(diào)整電流來(lái)控制振蕩頻率以及幅度。更為復(fù)雜地，可以根據(jù)屏幕顯示的內(nèi)容實(shí)時(shí)地調(diào)整震蕩波形來(lái)實(shí)現(xiàn)不同材質(zhì)觸感的反饋。類(lèi)似的原理也可以在VR中實(shí)現(xiàn)，比如將觸感裝置嵌入到游戲手柄內(nèi)。這樣就可以根據(jù)畫(huà)面以及手勢(shì)動(dòng)作來(lái)模擬各類(lèi)物體不同的觸摸感覺(jué)。
除了手柄以外，甚至可以隔空體驗(yàn)觸感。比如UltraHaptics，通過(guò)聚焦超聲波到人的皮膚來(lái)實(shí)現(xiàn)“隔空打耳光”的功能。其原理是通過(guò)超聲波相位整列聚焦聲音到空間中的某一個(gè)點(diǎn)形成振動(dòng)，示意圖見(jiàn)圖6左。再比如迪士尼的Aireal，可以通過(guò)精確地壓縮和釋放空氣產(chǎn)生空氣漩渦（vortex ring）來(lái)“打擊”到皮膚表面。雖然實(shí)現(xiàn)隔空振動(dòng)的原理不同，兩者都使用了體感相機(jī)來(lái)捕捉手的位置并作定點(diǎn)的“打擊”。
（圖6）左：Ultrahaptics，通過(guò)相位陣列聚焦超聲波到空間任意點(diǎn)產(chǎn)生振動(dòng)，并可以調(diào)整頻率和節(jié)奏產(chǎn)生不同的觸感。右：迪士尼的Aireal項(xiàng)目，通過(guò)遠(yuǎn)距離發(fā)送空氣漩渦波撞擊皮膚產(chǎn)生各種觸感。兩個(gè)項(xiàng)目都使用了體感相機(jī)（Kinect）來(lái)識(shí)別定位手的位置。前者通過(guò)相位調(diào)控電子地調(diào)整波束方向，后者通過(guò)馬達(dá)機(jī)械調(diào)整空氣漩渦的發(fā)送朝向。
最新研究中，日本科學(xué)家提出了利用激光鐳射來(lái)觸發(fā)空氣中定點(diǎn)的等離子體，既可以用來(lái)作全息顯示，又可以通過(guò)激光鐳射的激發(fā)產(chǎn)生觸感。
（圖7）在SIGGRAPH 2015的展示中，一組日本科學(xué)家演示了如何利用激光鐳射在空氣中激發(fā)等離子體來(lái)作全息顯示以及產(chǎn)生觸感。
聊完豐富多彩的感官世界，我們來(lái)看看VR中的控制部分。一般的VR頭盔擁有豐富的傳感器比如前置相機(jī)、陀螺儀、加速度計(jì)、感光器、近距探測(cè)器。也可以添加諸如心率監(jiān)控、眼球跟蹤等傳感裝置。傳感器的這類(lèi)應(yīng)用賦予了VR設(shè)備許多新穎的功能以及交互體驗(yàn)。
最常用的莫過(guò)于頭部控制，主要利用陀螺儀來(lái)檢測(cè)頭部的二維旋轉(zhuǎn)角度，并對(duì)屏幕的顯示內(nèi)容作相應(yīng)調(diào)整。絕大部分的VR盒子都能實(shí)現(xiàn)這個(gè)基本功能。
手勢(shì)控制可以大大增強(qiáng)互動(dòng)性與娛樂(lè)性，對(duì)于游戲玩家尤其重要。手勢(shì)控制主要分成兩類(lèi)：第一類(lèi)是通過(guò)穿戴類(lèi)似wii控制器的手套或手柄來(lái)實(shí)現(xiàn)手勢(shì)的識(shí)別；第二類(lèi)則直接利用頭盔上的外置相機(jī)通過(guò)計(jì)算機(jī)視覺(jué)的方法來(lái)識(shí)別和跟蹤手勢(shì)。
對(duì)于后者，往往需要類(lèi)似Kinect這樣的深度相機(jī)才能準(zhǔn)確地識(shí)別手勢(shì)。LeapMotions，SoftKinetics等公司在VR手勢(shì)控制上已經(jīng)有不少成熟的demo。一般來(lái)說(shuō)，使用深度相機(jī)可以比較準(zhǔn)確地定位手的具體位置，穩(wěn)定性較好。
想象三維場(chǎng)景隨著你的眼睛轉(zhuǎn)動(dòng)而改變。比如Kickstarter上的FOVE嘗試的正是使用眼球跟蹤技術(shù)來(lái)實(shí)現(xiàn)VR游戲的交互。眼球跟蹤技術(shù)在VR盒子或者頭盔上并不難實(shí)現(xiàn)，一般需要在盒子或者頭盔內(nèi)部裝載一到兩個(gè)朝向眼睛的紅外相機(jī)即可。除了基本的眼球追蹤之外，還可以識(shí)別特定的眨眼動(dòng)作用來(lái)控制屏幕等。 除了游戲控制之外，眼球跟蹤還有很多其他應(yīng)用。比如可以模仿人眼的生物學(xué)特性，僅僅將圖像聚焦放在眼球關(guān)注的地方，而將圖像其余部分動(dòng)態(tài)模糊掉，讓三維影像顯示變得更加真實(shí)，同時(shí)有效地聚焦圖像，還能省電 （見(jiàn)圖8）。
（圖8）從左到右：頭部控制、手勢(shì)識(shí)別和控制和眼球跟蹤。它們各自作為VR的輸入方式，方便交互。
玩得就是心跳！心跳可以反映人的當(dāng)前狀態(tài)，比如興奮、恐懼、放松、壓力。檢測(cè)VR使用者當(dāng)前的生理狀態(tài)可以動(dòng)態(tài)地調(diào)整影像內(nèi)容以及音效來(lái)實(shí)現(xiàn)一些超現(xiàn)實(shí)效果。比如說(shuō)，當(dāng)心跳較快即人處于興奮狀態(tài)時(shí)，可以動(dòng)態(tài)地調(diào)高圖像播放速率來(lái)匹配人目前的運(yùn)動(dòng)節(jié)奏，讓運(yùn)動(dòng)來(lái)得更猛烈一些。也可以利用負(fù)反饋的調(diào)整讓人迅速平靜下來(lái)，幫助更好的休息或者冥想。
實(shí)現(xiàn)心率監(jiān)測(cè)有多種方式，比如蘋(píng)果手表使用的是紅綠兩種光譜的近距探測(cè)器來(lái)監(jiān)測(cè)心跳速率。心率監(jiān)測(cè)器可以結(jié)合手柄置于手腕之內(nèi)，或者置于頭盔之中。通常的問(wèn)題是該心率探測(cè)器不能有效地和皮膚緊密貼著，因而一些運(yùn)動(dòng)帶來(lái)的微微移動(dòng)會(huì)帶來(lái)讀數(shù)的不準(zhǔn)。心率控制在VR目前的應(yīng)用中并不多見(jiàn)，任然屬于比較新穎的項(xiàng)目。
筆者寫(xiě)這個(gè)話(huà)題是有所猶豫的，因?yàn)橐饽羁刂萍夹g(shù)目前仍然非常原始，一般只是利用電極讀取頭部血流變化，通過(guò)機(jī)器學(xué)習(xí)的手段來(lái)匹配特定的讀數(shù)特征變化。在此不詳述。
“你選擇紅色藥丸還是藍(lán)色藥丸？”，影片黑客帝國(guó)拋出了這樣一個(gè)令人深思的問(wèn)題。筆者相信，VR技術(shù)可以幫助人們更好地體驗(yàn)真實(shí)的世界。技術(shù)上而言，從感官到人機(jī)交互仍然充滿(mǎn)很多想象空間與實(shí)際問(wèn)題，亟待人們創(chuàng)新地去解決。相信隨著VR技術(shù)的深入發(fā)展和普及，人們的生活體驗(yàn)會(huì)變得更加豐富多彩，從此不必再受時(shí)空拘束。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
