0
最近光場相機(jī)領(lǐng)域動態(tài)頻頻，在前幾天谷歌發(fā)布多個光場視頻后，國內(nèi)一家公司也拿出了他們的光流相機(jī)和支持6DoF的光場視頻。
這家公司是杭州西顧視頻科技有限公司（FXG-Video），成立于2017年5月，從事深度沉浸式內(nèi)容與技術(shù)研發(fā)制作，有軟硬件技術(shù)和解決方案，提供產(chǎn)品拍攝到內(nèi)容后期制作與播放一體化流程服務(wù)。目前其已有3D VR和2D VR攝影機(jī)產(chǎn)品。
為了解其支持6DoF的3DVR攝影機(jī)，雷鋒網(wǎng)特意與其CTO李文松進(jìn)行了深入訪談。
上圖這臺設(shè)備是其產(chǎn)品ET-2 3DVR攝影機(jī)，被稱為"光流VR攝影機(jī)"。據(jù)介紹，這個相機(jī)的功能有：
· 支持超近距離（≤30CM）拍攝和完美拼接
· 可以捕獲360度視頻深度信息并提供六自由度（6DoF）追蹤能力
· 八目間隔式攝像頭陣列，單目 240度千萬級像素鏡頭
· 光流技術(shù)，可以在重播時實現(xiàn)，改變位置、景深、子彈時間等特效
· 16K 3DVR電影級畫質(zhì)
· 全電子同步，一鍵開關(guān)機(jī)，一鍵拍攝
· 實時監(jiān)看（VIVE/CV1）和直播
· 無線遙控
這個相機(jī)是一個圓柱型，上面是鏡頭，下面是主機(jī)。
由于現(xiàn)場條件不允許，雷鋒網(wǎng)編輯沒有直接體驗到西顧的6DoF視頻，從頭顯內(nèi)錄屏的視頻看來，用戶可以在其用相機(jī)拍攝的視頻內(nèi)移動，這個移動的范圍有7-10cm。
（西顧6Dof視頻體驗Demo）
雖然沒有體驗到6DoF視頻，但是雷鋒網(wǎng)編輯體驗了西顧高清3DVR視頻。在數(shù)十個3DVR視頻中，雷鋒網(wǎng)體驗了其中的大部分內(nèi)容：遠(yuǎn)程生日宴會、舞者、China Joy現(xiàn)場等。從體驗來看，這些視頻很清晰，色彩飽和，3D效果好，沉浸感不錯。據(jù)稱，西顧采用了自己研發(fā)播放器以及八面體投影格式來提高分辨率。
令人印象深刻的是這些視頻里，體驗者與內(nèi)容之間的距離可以靠的很近，不會發(fā)生內(nèi)容的畸變和拼接錯誤，也就是他們強(qiáng)調(diào)的超近距離拍攝效果（≤30CM）。在遠(yuǎn)程生日宴會這個視頻中，雷鋒網(wǎng)編輯體驗到了這種拍攝距離帶來的好處。
在戴上頭顯后，我出現(xiàn)在了美國的一個住宅中，環(huán)顧四周，有食物還有交談的人群，這顯然是一個小型私人派對現(xiàn)場。然后一個男人拿著雞尾酒向我走近，對我說生日快樂，然后他旁邊的人也開始靠過來，他一一介紹這些人給我認(rèn)識，這些人也七嘴八舌對我說著生日祝福。我腦子里知道這是虛擬場景，但是可以真切地感受到現(xiàn)場氛圍。我低下頭，能看到桌子上的事物，每個人在我身邊摩肩接踵。這些人最近的時候離我似乎只有一步路的距離，也就是平時親密朋友交流時最短的距離，近處只有幾十厘米甚至十幾厘米。
超近的安全距離是西顧ET-2 3DVR攝影機(jī)的一大特色，從技術(shù)實現(xiàn)來說，這有什么價值呢？
我們都知道，全景相機(jī)采用多鏡頭（大于等于2）采集，再將采集到的畫面通過算法進(jìn)行拼接。而相機(jī)鏡頭之間光學(xué)節(jié)點(diǎn)不是重合的，這個距離被稱為相機(jī)“節(jié)點(diǎn)距離”，距離越大，拍攝到的畫面越容易產(chǎn)生畸變和拼接錯誤：遠(yuǎn)處物體會出現(xiàn)"重影"、近處的畫面會產(chǎn)生缺失。
2D全景相機(jī)的節(jié)點(diǎn)問題解決比較簡單，就是讓鏡頭結(jié)構(gòu)盡量緊湊，比如理光的雙目折返式棱鏡專利，李文松在幾年前也研發(fā)了交錯式背靠背鏡頭，用來解決2D相機(jī)距離的問題。
但3DVR和6DoF相機(jī)的節(jié)點(diǎn)問題比2D要復(fù)雜許多，目前市面上的全景相機(jī)、光學(xué)相機(jī)都采用了不同的相機(jī)陣列。有Lytro Immerge這樣像一堵墻的超大相機(jī)陣列方案、也有像谷歌展示的放在旋轉(zhuǎn)臺上的16個相機(jī)陣列。不同的相機(jī)陣列會產(chǎn)生截然不同的拍攝效果。
(Lytro Immerge)
李文松介紹到，要理解西顧的八目間隔式攝像頭陣列，需要理解一個概念，他稱之為：視節(jié)比。也就是相機(jī)的立體視差距離和鏡頭節(jié)點(diǎn)距離的比例。因為全景相機(jī)是要模擬人的雙眼成像，所以都會采用多個相機(jī)的模式，兩個相機(jī)的距離被稱為視點(diǎn)差。人的雙眼是有瞳距的，視點(diǎn)差的最好距離是6-8cm，不能過小也不能過大。整體來說，相機(jī)的視差要接近人眼瞳距，同時鏡頭節(jié)點(diǎn)距離要盡可能小。
(西顧ET-2 3DVR攝影機(jī)）
他談到幾代3D VR相機(jī)在"視節(jié)比"上的發(fā)展，"第一代的3DVR相機(jī)把多組產(chǎn)生雙目視差的左右鏡頭成對放置，然后將左右鏡頭各自拼接起來，這個時候相機(jī)的節(jié)點(diǎn)距離很大，且一定大于視差，所以視節(jié)比小于1。第二代的3D全景相機(jī)的一個鏡頭可以同時當(dāng)作左右眼，然后再將不同相機(jī)的左右眼區(qū)域拼接起來，這時視點(diǎn)和節(jié)點(diǎn)是一樣大的，例如谷歌JUMP、FB的Surround 360。李文松將西顧的光流VR相機(jī)采用的方法稱之為第三代，他采用了間隔式的鏡頭拼接方法，可以選取間隔1-3個相機(jī)拍攝出的圖像進(jìn)行拼接，這樣相機(jī)之間的節(jié)距可以非常緊湊，視差距離變大很多。視節(jié)比遠(yuǎn)遠(yuǎn)大于1，目前市面上僅有三星的Beyond相機(jī)視節(jié)比大于1約為1.2，而這臺ET-2相機(jī)的視節(jié)比為 2.4。"
采用八個相機(jī)陣列和間隔式拼接法后，李文松解釋到，他可以拼接出4-5個完整的全景畫面，每個畫面分辨率都達(dá)8K，而目前其他3DVR相機(jī)只能拼接出2個完整的全景畫面，也就是說光流相機(jī)獲得了更多的信息。為了解釋這種間隔式拼接算法，李文松向雷鋒網(wǎng)編輯演示了一個圖形化小工具，在輸入相機(jī)數(shù)量、鏡頭度數(shù)后可以計算出能得到多少個全景畫面。
除此之外，拍攝過程中還用到了光流算法。李文松解釋到，在相機(jī)拍攝之后，基于上述4-5個完整物理全景視圖，可以用軟件虛擬插值出上百個鏡頭視角（依賴計算速度），還原空間內(nèi)全部光線。他們?nèi)缓蟛捎脤ｉT的MVS和Parallex插值算法獲得比普通雙目立體算法更為完整精確的多層6DoF深度信息。這樣實現(xiàn)的6DoF視頻可以完成傳統(tǒng)光流相機(jī)所有功能（6DoF運(yùn)動、重新對焦、自定義光圈）， 但在存儲格式遠(yuǎn)遠(yuǎn)小于Lytro和谷歌等那種基于物理多鏡頭矩陣的數(shù)據(jù)格式，只比普通3DVR視頻增加2倍不到的數(shù)據(jù)帶寬。西顧視頻現(xiàn)在已經(jīng)基于這種6DoF視頻數(shù)據(jù)格式研發(fā)出了專用6DoF視頻播放器，并在不遠(yuǎn)的未來可以實現(xiàn)6DoF VR視頻直播。
（西顧VR8視頻格式介紹）
自2015年來，全景視頻就是影視技術(shù)發(fā)展的一個重要趨勢，其可以為VR提供沉浸式內(nèi)容。全景視頻的發(fā)展經(jīng)歷了三個階段：2D全景、3D VR全景、6DoF全景。西顧視頻目前主要專注于后兩個階段。
李文松談到， 2017年多個支持6DoF的VR一體機(jī)發(fā)布并將在2018年上市，包括HTC Vive Focus、Pico Neo一體機(jī)等，而目前，6DoF的視頻內(nèi)容十分缺乏。電腦CG的方式相對昂貴，視頻拍攝的方式可以讓6DoF內(nèi)容生產(chǎn)更快更便宜。目前6DoF視頻技術(shù)現(xiàn)狀，大致有由內(nèi)向外（Lytro、谷歌、FB的方案）和由外向內(nèi)（Intel的方案）這兩類方案，西顧方案屬于前者即由內(nèi)向外，這種6DoF技術(shù)方案部署和拍攝容易，未來可以產(chǎn)生普通消費(fèi)者生產(chǎn)內(nèi)容（UGC）模式，而有外向內(nèi)技術(shù)的6DoF技術(shù)必須搭建專用影棚，只能由專業(yè)團(tuán)隊制作（PGC），但移動自由度和精度更好，尤其適合拍攝人物角色。
當(dāng)然，6Dof視頻剛剛起步，未來也還有很多挑戰(zhàn)。例如6Dof視頻內(nèi)可移動范圍需要進(jìn)一步擴(kuò)大，用像谷歌、西顧這樣的從里到外的拍攝方法產(chǎn)生的6Dof視頻，目前可移動范圍都有限。如果可移動范圍足夠大，視頻內(nèi)的運(yùn)動不僅可以提升沉浸感，還可以在實際拍攝的場景里設(shè)計交互，發(fā)展為虛擬與真實融合的游戲。
相關(guān)文章：
Magic Leap、Lytro宣稱的“光場”到底是個什么鬼？
Lytro 公開 Immerge 2.0 光場相機(jī)：效率、畫質(zhì)大躍進(jìn)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
