8i 全息人像

長期關注 VR 的人應該知道，各種 360 度或 180 度全景視頻雖然都自稱 VR 視頻，卻一直被詬病為偽 VR，體驗不佳。這些視頻采用 2 個或多個攝像頭捕捉畫面然后拼接成全景視頻，包括 3D 和非 3D 內(nèi)容都只能提供一個固定視角，用戶無法在視頻里自由移動。

Lytro 打造的光場視頻（ light field video，非專業(yè)名詞）則不同，雖然被稱為“視頻”，但它像游戲場景一樣，用戶可以在視頻里可以進行 6 自由度（前后上下左右）移動，觀看物體的不同角度。

同樣在這個星期宣布融資消息的 8i 也在往這個方向努力，而包括英特爾、微軟、索尼在內(nèi)也都將 6 自由度視頻（學名 Volumetric Video）視為 VR/AR 內(nèi)容的未來發(fā)展方向。

全息人像視頻和全息通話/傳送

都說 VR 可以帶你穿越到另一個世界，但如果穿越過去后沒法四處走動也是挺沒意思的，所以包括 8i、Lytro 和英特爾都想解決這個問題。

據(jù)雷鋒網(wǎng)了解，8i 是一家總部在新西蘭和美國的全息影像公司，2 月 14 日剛剛宣布獲得 2700 萬美元融資，領投的是時代華納，跟投方還包括成立不久的百度風投。

8i 拍攝現(xiàn)場

8i 采用容積捕獲 (volumetric capture) 的方式來捕捉人物的全息影像，該方法通過訓練多個攝像頭對人物進行拍攝，并將照片拼接起來形成全息影像。這個全息影像可以和任何三維 CG 場景結合。

下面是 8i 在 2015 年發(fā)布的一種 3D 視頻格式，它讓人站在四周都是綠幕的場景中，用一圈攝像頭攝制人物的全息影像，然后制作成 VR 視頻，用戶可以從各個角度看。

不過要想完整感受 8i 的視頻，一般的手機盒子是不行的，必須要帶空間定位的頭顯，比如 HTC Vive、Oculus Rift 和索尼 PlayStation VR 三大頭顯。

為了讓技術更加親民，該公司計劃在今年推出一款名為 Holo 的手機 app，讓用戶用手機來拍攝這種 3D 人像。類似的 app 微軟在去年的 Win 10 大會上也展示過。

既然可以拍攝全息人像視頻，那么把視頻通過網(wǎng)絡傳送就成了全息傳送，而這也是前段時間微軟用 HoloLens 演示全息通話所用的技術。只是這種傳輸必然要求通話者被一圈攝像頭圍著。

HoloLens 全息通話

穿越到另一個世界“自由”游覽

如果說 8i 展示的用一圈攝像頭環(huán)繞著拍攝一個人的完整全息影像，剛剛獲 6000 萬美元 D 輪融資（阿里參投）的Lytro，要做的就是用一撮攝像頭（數(shù)百個）將環(huán)境的光場影像拍攝下來。

Lytro Immerge

根據(jù)雷鋒網(wǎng)此前的報道，Lytro 在 2015 年 11 月發(fā)布了一款 VR 光場相機 Lytro Immerge，比谷歌、Facebook 等公司做的 10 幾個攝像頭組成的專業(yè)級 3D VR 攝像機更進一步，其內(nèi)部的數(shù)百個鏡頭和圖像傳感器分為五個“層”（你可以想象 5 個 Google Jump 相機陣列組合在一起的效果），從不同方向、角度捕捉數(shù)據(jù)。

后來 Lytro 對這款相機進行了改進，現(xiàn)在是用一個平面鏡頭陣列，旋轉(zhuǎn)著拍攝整個 360 度場景。

結果就是，Lytro Immerge 不僅可以讓 VR 場景變得更加清晰和立體感，用戶還可以在這個 VR 場景中走動——雖然這個由 Lytro Immerge 創(chuàng)造的能四處行走的 VR 空間大概只有一個立方米左右。這樣的行走效果過去一般是通過電腦生成素材，場景的逼真程度有限，而 Lytro Immerge 則是提供了另一種可能。

在今年 CES 上，英特爾就對外演示了這種 6 自由度視頻，通過與 HypeVR 合作，英特爾用 Alloy 頭顯對在場的媒體演示了一段穿越到越南的 VR 視頻。

HypeVR 用的拍攝設備

根據(jù)外媒 RoadtoVR 記者的體驗，與一般的 VR 視頻不同，這段視頻不僅清晰，而且沉浸感更好，主要是因為觀看者不只是可以用眼睛四處看，還可以四處走動，雖然范圍只有一個房間大小。

而為了拍攝這樣一段 6 自由度視頻，HypeVR 動用了體型巨大的拍攝設備（見上圖），這款設備放置在場地中央，拍攝 60 幀每秒的 3D 全景視頻，與此同時，激光雷達（LiDAR）也在對四周進行深度信息的掃描建模，之后再將圖像數(shù)據(jù)和深度數(shù)據(jù)融合，制作出 60 幀每秒的 6 自由度視頻。

實際上，這樣的視頻幀是場景的實時 3D 渲染模型，連在一起不間斷播放，所以才能讓用戶在場景里來回走動，就像在 VR 游戲里能做的那樣。而這也是視頻看起來非常清晰的原因——頭顯渲染的每一幀的畫面都是從現(xiàn)有數(shù)據(jù)進行的最優(yōu)選擇，而每個角度看到的 3D 信息也都經(jīng)過位置的修正（相比之下 360 度 3D 視頻只有不多的幾個不錯的視角）。

6 自由度視頻是未來，卻不親民

8i 用一圈攝像頭拍攝一個人，再把畫面拼接起來，這樣的數(shù)據(jù)量絕對不會??；Google Jump 16 個 GoPro 相機的數(shù)據(jù)量已然大到用云端電腦來處理了，Lytro 的數(shù)百個攝像頭的相機就更不用說了。

到底有多少數(shù)據(jù)呢？不妨來看看 HypeVR 的情況，他們拍攝那段穿越到越南的 6 自由度視頻用上了 14 臺紅龍相機，每臺都以 6K 分辨率 60FPS 的速率拍攝，加上每幀還有激光雷達捕捉的數(shù)據(jù)。首先要把這些數(shù)據(jù)整合成最終的視頻，這就要花費不少的渲染時間，本地的話現(xiàn)在是 6 分鐘每幀（是的你沒看錯）。

等到全部渲染完成，要讓用戶看到它也是不容易的，因為它的體積是 2 GB 每 30 秒。而相對之前這已經(jīng)是進步了，此前 HypeVR 曾拍攝出 5.4 TB（是的我沒寫錯） 每 30 秒的數(shù)據(jù)量。

這也意味這些產(chǎn)品即使是 2B，也不是普通專業(yè)用戶用得起的，更不用說到消費者手上了。

不過在雷鋒網(wǎng)看來，以科技業(yè)的發(fā)展速度，有生之年大規(guī)模生產(chǎn)、消費這些內(nèi)容還是可期的。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。