4
| 本文作者： 星佳是個小人物 | 2016-06-23 17:04 |
雷鋒網(wǎng)按：本文作者星佳（微信公號：星佳是個小人物），目前虛擬現(xiàn)實(shí)行業(yè)從業(yè)者，從事新媒體、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等研究。
如果你關(guān)心虛擬現(xiàn)實(shí)行業(yè)，肯定知道大名鼎鼎的HTC Vive，而除了游戲領(lǐng)域的應(yīng)用外，我們正在嘗試通過虛擬現(xiàn)實(shí)頭顯+手柄+Lighthouse基站定位裝置來創(chuàng)造出更有趣的行業(yè)應(yīng)用，接下來筆者就結(jié)合國外大神和圈內(nèi)從業(yè)者們一起折騰出的寶貴經(jīng)驗(yàn)和大家分享下如何低成本的打造虛擬演播室，同時利用直播軟件直接可以直播MR視頻。
Mixed Reality視頻就是VR影像+人的影像合成的視頻。相比普通錄制電腦屏幕游戲畫面和游戲者錄像實(shí)拍分屏顯示的假VR視頻，Mixed Reality視頻更適合用來做游戲直播和制作虛擬現(xiàn)實(shí)應(yīng)用宣傳視頻，比如著名的google tilt bursh繪畫程序，而由此帶來了很多新的可能，比如教育，多人互動，科普等等行業(yè)應(yīng)用。
上面這個視頻截圖就是HTC Vive官方宣傳片的一個Mixed Reality視頻，畫面來源于官方贈送的一款叫做"The Lab"的射箭體驗(yàn)游戲，而游戲者的畫面是由一臺攝像機(jī)配合第三只實(shí)體Vive手柄實(shí)時捕捉的。
因?yàn)槿说挠跋駭[放的位置，透視關(guān)系和玩家在虛擬場景中的位置，映射坐標(biāo)都一樣，攝像機(jī)拍攝畫面中手拿手柄的位置和游戲畫面中虛擬手柄的位置是完全一樣的，看起來就像體驗(yàn)者身臨其境走進(jìn)了一個虛擬世界，并用雙手借助實(shí)體手柄直接和游戲虛擬環(huán)境互動。
了解了理論知識，接下來要為大家解答原理和方案到底是如何實(shí)現(xiàn)的？
攝影棚：墻和地面鋪上綠布，大概6m*6m即可，同時為了實(shí)時摳像，需要布光，如果沒有專業(yè)經(jīng)驗(yàn)請專業(yè)的燈光師幫忙吧，筆者也是折騰了很久，因?yàn)轭A(yù)算有限沒辦法做到足夠完美。
幻想擁有的巨資打造的攝影棚
實(shí)際情況預(yù)算條件下搭建出的攝影棚
攝像機(jī)兩種方案：
為了節(jié)省經(jīng)費(fèi)用網(wǎng)絡(luò)攝像頭就行，比如網(wǎng)吧的聊天攝像頭，五百塊左右的羅技就挺好，例如Logitech Webcam C930e。
如果你是土豪朋友可以買得起專業(yè)的攝像機(jī)和視頻采集卡，那么無非效果會更贊，當(dāng)然成本就貴了。
看下圖：
斯坦尼康穩(wěn)定器和單反相機(jī)的土豪方案
窮逼星佳的支架單反方案（Gopro支架很好用）
托朋友借了臺佳能70D，又買不起視頻采集卡（由于主機(jī)插槽不夠用，還得買外置巨貴的采集卡），所以情急之下，只能把相機(jī)通過usb直接連接PC主機(jī)的USB3.0口，配合佳能官方的實(shí)時攝影調(diào)節(jié)套件直接可以在電腦端軟件實(shí)時調(diào)節(jié)相機(jī)參數(shù)捕捉拍攝畫面，真是小聰明啊，雖然可能燒了CMOS。
高性能主機(jī)+第三只Vive手柄（USB延長線連接電腦）：第三只手柄的作用如上圖，綁定在佳能相機(jī)上，手柄作為游戲里的虛擬攝像機(jī)和物理環(huán)境的真實(shí)攝像機(jī)同步位置和焦距視野等數(shù)據(jù)，即可拍到正確位置的體驗(yàn)者。
目前只有Unity3D制作的虛擬現(xiàn)實(shí)程序支持MR模式，我們期待Value能夠早日攜手UE4放出來Unreal Engine for SteamVR的程序，當(dāng)然SteamVR的版本得至少是1.0.8或以上哦。
OBS或者其他視頻合成軟件，用于實(shí)時獲取應(yīng)用窗口和簡單摳圖。
1、找到Steam安裝路徑下的config目錄，新建文件名：steamvr.vrsettings。
代碼段如下：
{"camera" : {"enableCamera" : true, "enableCameraForCollisionBounds" : true, "enableCameraInDashboard" : true}, "collisionBounds" : {"CollisionBoundsColorGammaA" : 169, "CollisionBoundsColorGammaB" : 0, "CollisionBoundsColorGammaG" : 255, "CollisionBoundsColorGammaR" : 163, "CollisionBoundsGroundPerimeterOn" : false, "CollisionBoundsStyle" : 0}, "jsonid" : "vrsettings", "keyboard" : {"TutorialCompletions" : 1}, "notifications" : {"DoNotDisturb" : true}, "perfcheck" : {"heuristicActive" : true}, "steamvr" : {"allowReprojection" : true, "background" : "C:\\Program Files (x86)\\Steam\\steamapps\\common\\SteamVR\\resources\\backgrounds\\viveNight.png"}, "version" : "1"},{"steamvr" : { "activateMultipleDrivers" : true } }
2、解壓壓縮包里的后綴為driver_null.dll的文件覆蓋到指定文件夾，目錄C:\Program Files (x86)\ViveSetup\SteamVR\drivers\null\bin\win32 ：
3、以上兩步工作做完后，啟動SteamVR軟件，在成功識別兩只手柄后，通過USB延長線連接第三只手柄和PC，成功出現(xiàn)如下的SteamVR畫面即代表配置文件生效：
4、生成externalcamera.cfg文件：
運(yùn)行壓縮包里的cameraAgn.exe文件，之后可以戴上頭盔拿起兩個手柄可以在虛擬世界里看到第三只綁在攝像機(jī)上的手柄，按照程序要求配置各項(xiàng)參數(shù)即可生成cfg文件，之后把cfg文件放在可執(zhí)行游戲程序的同目錄下即可生成傳說中的四分屏。
cameraAgn.exe運(yùn)行后的四分屏界面
external camera.cfg文件內(nèi)容：
x=0
y=0
z=0
rx=0
ry=0
rz=0
fov=60
near=0.1
far=100
以上參數(shù)只是默認(rèn)值，最終要用什么數(shù)和虛擬攝像機(jī)的參數(shù)及攝像機(jī)和第三只手柄的擺放有關(guān)，需要在cameraAgn程序里進(jìn)行仔細(xì)的調(diào)節(jié)，同時注意在運(yùn)行房間教程的時候頭盔和電腦畫面正面和反面的不同結(jié)果哦。
5、測試成功的切西瓜游戲的MR視頻截圖：
出現(xiàn)四分屏畫面后，基本就成功了一大半，目前此方式還只支持unity開發(fā)的程序，所以不能保證所有游戲應(yīng)用都可以通過此辦法來實(shí)現(xiàn)四分屏，視頻演示地址：http://dwz.cn/xingjia55220。
備注：
通過四分屏最終實(shí)現(xiàn)輸出的影像由三個影像合成：
攝像機(jī)捕捉人的影像，覆蓋在背景上（合成視頻的背景，虛擬攝像機(jī)控制的畫面），合成視頻的前景覆蓋在背景上即可。
6.成功之后在OBS中添加視頻源（直播利用OSB設(shè)置推流地址即可成功）：
①前景：
a.視頻來源選擇裁剪游戲窗口，區(qū)域和四分屏的左上角畫面重合。
b.設(shè)置黑色為色鍵，扣除前景畫面（注意看透視關(guān)系，游戲畫面前景成功的遮罩住了人）。
獲取正確的前景畫面后的遮罩關(guān)系圖
②攝像機(jī)捕捉：
a.視頻來源選擇攝像機(jī)畫面輸入或者視頻采集卡。
b.設(shè)置綠色為色鍵（和綠幕顏色一樣），扣出人像。
③背景：
視頻來源選擇裁剪游戲窗口，裁剪區(qū)域?yàn)樘摂M攝像機(jī)第三只手柄的控制畫面。
實(shí)踐成果：
測試成功的tilt brush畫畫應(yīng)用
測試成功的切西瓜應(yīng)用
筆者已經(jīng)和HTC官方溝通過，他們也在嘗試把Lighthouse基站定位裝置的能力第一時間開放給開發(fā)者，查看API文檔可以獲悉SteamVR最多可以獲取八只實(shí)體手柄在Lighthouse范圍內(nèi)的位置，由此帶來了更大的想象空間給開發(fā)者，尤其是傳統(tǒng)行業(yè)的影視、CG、廣告片、游戲直播等，而配合全身動作捕捉設(shè)備到底可以革新哪些行業(yè)，各位可以大開腦洞哦。
除此之外，在實(shí)際探索過程中還有一些細(xì)節(jié)問題需要解決，比如單反的焦距和算法里的焦距可能存在差距，導(dǎo)致透視關(guān)系和比例顯示有時會存在小問題，而高品質(zhì)的視頻輸出還需要4K屏幕，為了屏幕可以放得下多個1080P窗口等等問題還需要和各位行內(nèi)人探討。
到了這里，初級版的低成本教程就結(jié)束了，希望借助可能是國內(nèi)第一個揭秘MR視頻拍攝的教程，可以連接到更多的開發(fā)者，和那些助推虛擬現(xiàn)實(shí)行業(yè)普及的從業(yè)者們，當(dāng)然如果你在MR視頻的研究中也有寶貴的經(jīng)驗(yàn)，歡迎交流。
最后放上來國外的同行們一些工作成果，希望國內(nèi)的行內(nèi)人士多多探索交流。
如果貴公司有做演播室和錄音棚的經(jīng)驗(yàn)，我們計(jì)劃做一個演播室「用途為綠屏摳圖做MR，動作捕捉的研究和虛擬現(xiàn)實(shí)，增強(qiáng)現(xiàn)實(shí)技術(shù)等等內(nèi)容開發(fā)制作等」，所以需要貴方可以根據(jù)我們的需求給個方案和設(shè)備清單「我們會協(xié)調(diào)一起補(bǔ)充和溝通設(shè)備列表，同時提供ca圖和場地實(shí)拍圖和視頻」，如果您有這方面的成功案例，或者公司有虛擬現(xiàn)實(shí)行業(yè)應(yīng)用的技術(shù)解決方案，歡迎聯(lián)系星佳，微博@星佳是個小人物，郵箱13709570071@qq.com。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
