很早大家就發(fā)現(xiàn)，360 度視頻和真正的 VR 相比差一些，于是就有很文章站出來(lái)說(shuō)這些都是“偽 VR”。

他們給出的理由是，絕大部分的 360 度視頻都不是 3D 拍攝的，更不用說(shuō) 6 自由度移動(dòng)。

也正是看出了這一點(diǎn)，包括 Facebook、索尼、英特爾在內(nèi)在 VR 領(lǐng)先公司都在嘗試 6 自由度 VR 視頻。但他們通常需要用到好幾個(gè)高端相機(jī)組合拍攝，產(chǎn)生巨大的數(shù)據(jù)量，并由于運(yùn)算量太大還得在云端剪輯。

不過(guò) Adobe 或許可以改變這一點(diǎn)，他們剛剛展示了一項(xiàng)新技術(shù)，可以將平面的 360 度視頻變成 6 自由度視頻。如此，“偽 VR”也可以變“真 VR”了。

Adobe 的這項(xiàng)研究由該公司的首席研究員在本周的 National Association of Broadcasters Show（國(guó)家廣播協(xié)會(huì)展）上發(fā)布。最初由國(guó)外媒體 Variety 獨(dú)家報(bào)道。

所謂的 360 度視頻變 6 自由度視頻，從用戶體驗(yàn)上來(lái)看，是指之前用戶只能在 360 度視頻里轉(zhuǎn)動(dòng)頭部看四周，6 自由度則可以讓用戶不僅能轉(zhuǎn)動(dòng)頭，還能在視頻里上下前后左右地移動(dòng)頭部，就像是在真實(shí)世界里看東西一樣。

那么 Adobe 是怎么做到的呢？

據(jù)該公司的研究員介紹，他們使用了一種新的扭曲算法（warping algorithm），這種算法可以在固定視點(diǎn)的視頻里模擬出新的視點(diǎn)，同時(shí)保持 120 fps的幀率。

簡(jiǎn)單來(lái)說(shuō)就是，普通的 360 度視頻只有一個(gè)視點(diǎn)，就是相機(jī)的位置，而要想變 6 自由度，就得在這個(gè)位置周?chē)鷦?chuàng)造新的視點(diǎn)，這樣你才能前后左右移動(dòng)，而周?chē)漠?huà)面不動(dòng)。

實(shí)際上，這一新算法不僅可以用在創(chuàng)造 6 自由度體驗(yàn)上，還能用于視頻防抖，讓一些手持拍攝時(shí)抖動(dòng)造成的動(dòng)態(tài)模糊畫(huà)面更平滑。

不過(guò)，實(shí)現(xiàn)這些功能有一個(gè)條件，那就是相機(jī)必須得動(dòng)，畢竟只在一個(gè)點(diǎn)拍攝是算不出精確深度的。

在 Adobe 發(fā)布的研究論文 [1] 里，研究員介紹了這項(xiàng)功能實(shí)現(xiàn)的基本流程：

首先他們采用了一個(gè)運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（structure-from-motion，SfM）算法來(lái)計(jì)算相機(jī)的運(yùn)動(dòng)并創(chuàng)造一個(gè)基本的三維重建架構(gòu)。（雷鋒網(wǎng)注：運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)是基于計(jì)算機(jī)視覺(jué)的三維重建方法之一）

用這個(gè)方法推測(cè)出三維幾何值后，他們把視頻的每一幀都映射（map）到一個(gè)六面的球體上，然后針對(duì)每個(gè)面運(yùn)行標(biāo)準(zhǔn)的計(jì)算機(jī)視覺(jué)追蹤算法。

對(duì)于將畫(huà)面映射到六面體時(shí)不可避免會(huì)產(chǎn)生的失真情況，他們使用大于 45 度的視場(chǎng)角（FOV）產(chǎn)生畫(huà)面重疊區(qū)域來(lái)解決。下面這個(gè)視頻展示了算法實(shí)際運(yùn)行的情況。

雖然很厲害，但這技術(shù)也不是萬(wàn)能的。除了要求相機(jī)要?jiǎng)油?，三維重建的質(zhì)量也取決于合成視點(diǎn)的位置與初始視點(diǎn)位置的距離。就是說(shuō)，雖然能產(chǎn)生 6 自由度的體驗(yàn)，但如果你移動(dòng)得太快太遠(yuǎn)，效果就會(huì)打比較大的折扣。

此外，有些自然現(xiàn)象也會(huì)帶來(lái)問(wèn)題，比如畫(huà)面中遇到一大片沒(méi)什么紋理的區(qū)域，遮擋情況以及光照的改變，它們可能會(huì)在重建點(diǎn)的畫(huà)面中造成嚴(yán)重的噪點(diǎn)，以及在 3D 效果里帶來(lái)“黑洞”（holes）效果。

在固定點(diǎn)的畫(huà)面中，也會(huì)看到一些非靜態(tài)物體的扭曲，這是由于算法試圖將合成的幀和初始幀融合在一起。

俗話說(shuō)，后期再厲害，不如把素材拍得好一點(diǎn)。所以很多公司直接用光場(chǎng)相機(jī)來(lái)拍攝 6 自由度視頻，比如 HypeVR 帶激光雷達(dá)（LiDAR）的 6K/60 FPS 相機(jī)，還有雷鋒網(wǎng)之前報(bào)道過(guò)的 Lytro 那巨型的 Immerge 相機(jī)。使用這些相機(jī)顯然可以拍出更高質(zhì)量的 3D 效果。

不過(guò)，話又說(shuō)回來(lái)，這些相機(jī)全都是又大又貴的定制化產(chǎn)品，普通人一般用不起。所以，雷鋒網(wǎng)認(rèn)為，Adobe 的這套技術(shù)就算不完美，也給了普通用戶做出 6 自由度視頻的希望。

引用來(lái)源：

[1] Huang J, Chen Z, Ceylan D, et al. 6-DOF VR videos with a single 360-camera[C]//Virtual Reality (VR), 2017 IEEE. IEEE, 2017: 37-44.

RoadtoVR，Variety

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。