人眼能看到的范圍是有限的，如果你看著黑板上方的掛鐘，那么你的目光聚集的地方就是焦點(diǎn)，而鐘以外的物體將會(huì)自動(dòng)變模糊。我們處于360度環(huán)繞的世界，但任何時(shí)人類(lèi)只能看到120度視度范圍內(nèi)的事物，而且人的雙眼只會(huì)聚焦在視野中不超過(guò)6度的小區(qū)域，周?chē)鷦t是模糊的，這就是我們看世界的方式。

英偉達(dá)正在開(kāi)發(fā)上述模擬人眼視覺(jué)效果的眼球追蹤技術(shù)應(yīng)用在虛擬現(xiàn)實(shí)中，并在昨日公布了這項(xiàng)技術(shù)的最新進(jìn)展，這將使得虛擬世界更具真實(shí)感。

VR硬件廠商的痛點(diǎn)

目前VR硬件廠商面對(duì)的問(wèn)題便是玩家自己的計(jì)算機(jī)硬件滿(mǎn)足不了顯示設(shè)備高清渲染的需求，Oculus Rift僅僅渲染1k的分辨率就需配備1000美金以上的計(jì)算機(jī)才能正常運(yùn)行，要讓渲染的分辨率匹配現(xiàn)實(shí)世界的分辨率，單眼渲染必須達(dá)到8K，僅硬件配置這一項(xiàng)，就夠廠商頭疼的了。

為了解決這一問(wèn)題，目前最被認(rèn)可的方式便是結(jié)合眼球追蹤的局部渲染技術(shù)。眼球追蹤技術(shù)將渲染重心放在用戶(hù)眼睛真正關(guān)注的畫(huà)面上，因此對(duì)GPU的要求大大降低。

過(guò)去9個(gè)月，英偉達(dá)的大衛(wèi)·盧克（David Luebke）和研究員試圖在虛擬現(xiàn)實(shí)環(huán)境中模擬這種現(xiàn)象：對(duì)用戶(hù)視線(xiàn)焦點(diǎn)的區(qū)域，設(shè)備將會(huì)進(jìn)行全面渲染，但要降低焦外區(qū)域的分辨率。當(dāng)玩家專(zhuān)注于畫(huà)面的某個(gè)小區(qū)域時(shí)，眼球追蹤系統(tǒng)就會(huì)不斷調(diào)整渲染焦點(diǎn)。為了以90FPS（最低可接受的幀率）充分渲染某一畫(huà)面，400萬(wàn)像素的畫(huà)面必須每秒渲染近100次。只專(zhuān)注于渲染用戶(hù)的視線(xiàn)聚焦處將大大減輕計(jì)算任務(wù)。

現(xiàn)有眼球追蹤技術(shù)的應(yīng)用

眼球追蹤技術(shù)在虛擬現(xiàn)實(shí)研究中并不新鮮，眼球跟蹤常見(jiàn)的實(shí)現(xiàn)原理：

　　1、根據(jù)眼球和眼球周邊的特征變化進(jìn)行跟蹤

　　2、根據(jù)虹膜角度變化進(jìn)行跟蹤

　　3、主動(dòng)投射紅外線(xiàn)等光束到虹膜來(lái)提取特征

目前在虛擬現(xiàn)實(shí)領(lǐng)域中，日本FOVE公司開(kāi)發(fā)出第一臺(tái)使用眼球追蹤技術(shù)的虛擬現(xiàn)實(shí)頭顯，F(xiàn)OVE在頭盔的眼睛位置嵌入了兩個(gè)紅外線(xiàn)攝像頭，攝像頭放置在眼鏡鏡片下，既不會(huì)對(duì)視線(xiàn)范圍產(chǎn)生影響，又能跟蹤玩家的瞳孔活動(dòng)。

對(duì)眼球追蹤混合技術(shù)進(jìn)行再深一步研究的公司還有Tobii，該公司與Starbreeze公司合作將眼球追蹤技術(shù)融入了擁有5K畫(huà)質(zhì)和210度視場(chǎng)角的StarVR頭顯。

德國(guó)眼球跟蹤技術(shù)公司SensoMotoric Instruments（以下簡(jiǎn)稱(chēng)SMI）在去年的開(kāi)發(fā)者大會(huì)上展示了與索尼Magic Lab合作的遠(yuǎn)程眼球跟蹤系統(tǒng)。并與三星合作期間推出在虛擬環(huán)境中可定性實(shí)時(shí)觀察和錄制視覺(jué)行為的應(yīng)用安裝包SMI Mobile Eye Tracking HMD Observation，和可提供注視行為的簡(jiǎn)單分析和分析軟件包的SMI Mobile Eye Tracking HMD Analysis Pro。

HTC Vive，PlayStation VR目前尚未使用眼球追蹤技術(shù)，Oculus創(chuàng)始人帕爾默·拉奇在接受采訪時(shí)稱(chēng)眼球追蹤技是未來(lái)VR技術(shù)的“最關(guān)鍵構(gòu)成部分”，但接著說(shuō)到目前上述眼球跟蹤技術(shù)解決方案都還處于較低端的水平。

如何解決畫(huà)面延時(shí)

正如Oculus創(chuàng)始人帕爾默·拉奇所說(shuō)，雖然很多公司已經(jīng)擁有這項(xiàng)技術(shù)，但眼球追蹤技術(shù)的速度往往跟不上人眼運(yùn)動(dòng)的速度，渲染速度也并不完美，這導(dǎo)致畫(huà)面顯示總是存在時(shí)延，令用戶(hù)感到不適。

去年5月英偉達(dá)專(zhuān)門(mén)針對(duì)虛擬現(xiàn)實(shí)設(shè)備中普遍存在的圖像延遲狀況， 推出了MRS（multi-resolution shading）以便加快渲染速度，該技術(shù)使得VR的渲染不再是將整個(gè)畫(huà)面以相同的分辨率進(jìn)行渲染，而是分成了幾個(gè)不同的區(qū)域。焦點(diǎn)區(qū)域會(huì)以完整的高分辨率進(jìn)行渲染；而畫(huà)面的邊緣則以更低質(zhì)量進(jìn)行渲染，再加上邊緣的像素經(jīng)過(guò)變形后的損失，可節(jié)省25%-50%的像素，理論上可提升一倍的渲染速度。

近日，英偉達(dá)與SMI合作后推出最新眼球追蹤虛擬現(xiàn)實(shí)顯示屏已可以250Hz的幀率實(shí)現(xiàn)準(zhǔn)確、低時(shí)延的眼球追蹤。盧克稱(chēng)這是他們的眼球追蹤設(shè)備第一次能跟上眼睛的運(yùn)動(dòng)速度。

焦外分辨率協(xié)調(diào)

雖然延時(shí)問(wèn)題得到一定的解決，但畫(huà)面效果還存在欠缺。英偉達(dá)團(tuán)隊(duì)仍需要花很多時(shí)間去準(zhǔn)確計(jì)算，將焦外畫(huà)面的分辨率降低至什么樣的水平才算最佳，才避免被觀眾注意到。在降低分辨率的過(guò)程中，任何閃爍都將帶來(lái)干擾，焦外視覺(jué)很容易察覺(jué)到閃爍。如果焦外畫(huà)面過(guò)于模糊，將會(huì)產(chǎn)生隧道視覺(jué)效應(yīng)，感覺(jué)像是通過(guò)望遠(yuǎn)鏡看畫(huà)面。

為了解決這一問(wèn)題，英偉達(dá)的研究員在近期發(fā)現(xiàn)通過(guò)增加焦外畫(huà)面的對(duì)比度，同時(shí)降低分辨率，人眼就可以被“騙過(guò)”。

未來(lái)，英偉達(dá)希望這個(gè)發(fā)現(xiàn)能推動(dòng)主流虛擬現(xiàn)實(shí)設(shè)備廠商將眼球追蹤技術(shù)加入到產(chǎn)品當(dāng)中。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。