8i 全息人像

長(zhǎng)期關(guān)注 VR 的人應(yīng)該知道，各種 360 度或 180 度全景視頻雖然都自稱(chēng) VR 視頻，卻一直被詬病為偽 VR，體驗(yàn)不佳。這些視頻采用 2 個(gè)或多個(gè)攝像頭捕捉畫(huà)面然后拼接成全景視頻，包括 3D 和非 3D 內(nèi)容都只能提供一個(gè)固定視角，用戶(hù)無(wú)法在視頻里自由移動(dòng)。

Lytro 打造的光場(chǎng)視頻（ light field video，非專(zhuān)業(yè)名詞）則不同，雖然被稱(chēng)為“視頻”，但它像游戲場(chǎng)景一樣，用戶(hù)可以在視頻里可以進(jìn)行 6 自由度（前后上下左右）移動(dòng)，觀看物體的不同角度。

同樣在這個(gè)星期宣布融資消息的 8i 也在往這個(gè)方向努力，而包括英特爾、微軟、索尼在內(nèi)也都將 6 自由度視頻（學(xué)名 Volumetric Video）視為 VR/AR 內(nèi)容的未來(lái)發(fā)展方向。

全息人像視頻和全息通話/傳送

都說(shuō) VR 可以帶你穿越到另一個(gè)世界，但如果穿越過(guò)去后沒(méi)法四處走動(dòng)也是挺沒(méi)意思的，所以包括 8i、Lytro 和英特爾都想解決這個(gè)問(wèn)題。

據(jù)雷鋒網(wǎng)了解，8i 是一家總部在新西蘭和美國(guó)的全息影像公司，2 月 14 日剛剛宣布獲得 2700 萬(wàn)美元融資，領(lǐng)投的是時(shí)代華納，跟投方還包括成立不久的百度風(fēng)投。

8i 拍攝現(xiàn)場(chǎng)

8i 采用容積捕獲 (volumetric capture) 的方式來(lái)捕捉人物的全息影像，該方法通過(guò)訓(xùn)練多個(gè)攝像頭對(duì)人物進(jìn)行拍攝，并將照片拼接起來(lái)形成全息影像。這個(gè)全息影像可以和任何三維 CG 場(chǎng)景結(jié)合。

下面是 8i 在 2015 年發(fā)布的一種 3D 視頻格式，它讓人站在四周都是綠幕的場(chǎng)景中，用一圈攝像頭攝制人物的全息影像，然后制作成 VR 視頻，用戶(hù)可以從各個(gè)角度看。

不過(guò)要想完整感受 8i 的視頻，一般的手機(jī)盒子是不行的，必須要帶空間定位的頭顯，比如 HTC Vive、Oculus Rift 和索尼 PlayStation VR 三大頭顯。

為了讓技術(shù)更加親民，該公司計(jì)劃在今年推出一款名為 Holo 的手機(jī) app，讓用戶(hù)用手機(jī)來(lái)拍攝這種 3D 人像。類(lèi)似的 app 微軟在去年的 Win 10 大會(huì)上也展示過(guò)。

既然可以拍攝全息人像視頻，那么把視頻通過(guò)網(wǎng)絡(luò)傳送就成了全息傳送，而這也是前段時(shí)間微軟用 HoloLens 演示全息通話所用的技術(shù)。只是這種傳輸必然要求通話者被一圈攝像頭圍著。

HoloLens 全息通話

穿越到另一個(gè)世界“自由”游覽

如果說(shuō) 8i 展示的用一圈攝像頭環(huán)繞著拍攝一個(gè)人的完整全息影像，剛剛獲 6000 萬(wàn)美元 D 輪融資（阿里參投）的Lytro，要做的就是用一撮攝像頭（數(shù)百個(gè)）將環(huán)境的光場(chǎng)影像拍攝下來(lái)。

Lytro Immerge

根據(jù)雷鋒網(wǎng)此前的報(bào)道，Lytro 在 2015 年 11 月發(fā)布了一款 VR 光場(chǎng)相機(jī) Lytro Immerge，比谷歌、Facebook 等公司做的 10 幾個(gè)攝像頭組成的專(zhuān)業(yè)級(jí) 3D VR 攝像機(jī)更進(jìn)一步，其內(nèi)部的數(shù)百個(gè)鏡頭和圖像傳感器分為五個(gè)“層”（你可以想象 5 個(gè) Google Jump 相機(jī)陣列組合在一起的效果），從不同方向、角度捕捉數(shù)據(jù)。

后來(lái) Lytro 對(duì)這款相機(jī)進(jìn)行了改進(jìn)，現(xiàn)在是用一個(gè)平面鏡頭陣列，旋轉(zhuǎn)著拍攝整個(gè) 360 度場(chǎng)景。

結(jié)果就是，Lytro Immerge 不僅可以讓 VR 場(chǎng)景變得更加清晰和立體感，用戶(hù)還可以在這個(gè) VR 場(chǎng)景中走動(dòng)——雖然這個(gè)由 Lytro Immerge 創(chuàng)造的能四處行走的 VR 空間大概只有一個(gè)立方米左右。這樣的行走效果過(guò)去一般是通過(guò)電腦生成素材，場(chǎng)景的逼真程度有限，而 Lytro Immerge 則是提供了另一種可能。

在今年 CES 上，英特爾就對(duì)外演示了這種 6 自由度視頻，通過(guò)與 HypeVR 合作，英特爾用 Alloy 頭顯對(duì)在場(chǎng)的媒體演示了一段穿越到越南的 VR 視頻。

HypeVR 用的拍攝設(shè)備

根據(jù)外媒 RoadtoVR 記者的體驗(yàn)，與一般的 VR 視頻不同，這段視頻不僅清晰，而且沉浸感更好，主要是因?yàn)橛^看者不只是可以用眼睛四處看，還可以四處走動(dòng)，雖然范圍只有一個(gè)房間大小。

而為了拍攝這樣一段 6 自由度視頻，HypeVR 動(dòng)用了體型巨大的拍攝設(shè)備（見(jiàn)上圖），這款設(shè)備放置在場(chǎng)地中央，拍攝 60 幀每秒的 3D 全景視頻，與此同時(shí)，激光雷達(dá)（LiDAR）也在對(duì)四周進(jìn)行深度信息的掃描建模，之后再將圖像數(shù)據(jù)和深度數(shù)據(jù)融合，制作出 60 幀每秒的 6 自由度視頻。

實(shí)際上，這樣的視頻幀是場(chǎng)景的實(shí)時(shí) 3D 渲染模型，連在一起不間斷播放，所以才能讓用戶(hù)在場(chǎng)景里來(lái)回走動(dòng)，就像在 VR 游戲里能做的那樣。而這也是視頻看起來(lái)非常清晰的原因——頭顯渲染的每一幀的畫(huà)面都是從現(xiàn)有數(shù)據(jù)進(jìn)行的最優(yōu)選擇，而每個(gè)角度看到的 3D 信息也都經(jīng)過(guò)位置的修正（相比之下 360 度 3D 視頻只有不多的幾個(gè)不錯(cuò)的視角）。

6 自由度視頻是未來(lái)，卻不親民

8i 用一圈攝像頭拍攝一個(gè)人，再把畫(huà)面拼接起來(lái)，這樣的數(shù)據(jù)量絕對(duì)不會(huì)??；Google Jump 16 個(gè) GoPro 相機(jī)的數(shù)據(jù)量已然大到用云端電腦來(lái)處理了，Lytro 的數(shù)百個(gè)攝像頭的相機(jī)就更不用說(shuō)了。

到底有多少數(shù)據(jù)呢？不妨來(lái)看看 HypeVR 的情況，他們拍攝那段穿越到越南的 6 自由度視頻用上了 14 臺(tái)紅龍相機(jī)，每臺(tái)都以 6K 分辨率 60FPS 的速率拍攝，加上每幀還有激光雷達(dá)捕捉的數(shù)據(jù)。首先要把這些數(shù)據(jù)整合成最終的視頻，這就要花費(fèi)不少的渲染時(shí)間，本地的話現(xiàn)在是 6 分鐘每幀（是的你沒(méi)看錯(cuò)）。

等到全部渲染完成，要讓用戶(hù)看到它也是不容易的，因?yàn)樗捏w積是 2 GB 每 30 秒。而相對(duì)之前這已經(jīng)是進(jìn)步了，此前 HypeVR 曾拍攝出 5.4 TB（是的我沒(méi)寫(xiě)錯(cuò)） 每 30 秒的數(shù)據(jù)量。

這也意味這些產(chǎn)品即使是 2B，也不是普通專(zhuān)業(yè)用戶(hù)用得起的，更不用說(shuō)到消費(fèi)者手上了。

不過(guò)在雷鋒網(wǎng)看來(lái)，以科技業(yè)的發(fā)展速度，有生之年大規(guī)模生產(chǎn)、消費(fèi)這些內(nèi)容還是可期的。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。