0
| 本文作者： 趙龍溪 | 2016-08-03 09:00 |
雷鋒網(wǎng)按：本文作者趙龍溪，以太高級(jí)投資經(jīng)理，本科畢業(yè)于北京大學(xué)化學(xué)系，哥大高分子博士肄業(yè)。關(guān)注VR/AR、文化娛樂(lè)、企業(yè)服務(wù)等方向。
近日，Google公布了一個(gè)新的開(kāi)源項(xiàng)目——Omnitone，該項(xiàng)目旨在實(shí)現(xiàn)普通耳機(jī)在VR環(huán)境中的3D全景音效，讓用戶(hù)獲得更好的VR沉浸感。
▲ VR科技正逐漸影響我們的生活
CJ結(jié)束了，我們?cè)賮?lái)聊一聊VR。
VR其實(shí)可以理解成一個(gè)人類(lèi)追求更自然的人機(jī)交互的過(guò)程。從一開(kāi)始你只能通過(guò)編程語(yǔ)言和計(jì)算機(jī)Say Hi的286時(shí)代（想象下那個(gè)時(shí)代的機(jī)器人女友），到Win95第一代可視化的操作窗口，再到如今我們戴著頭盔進(jìn)入一個(gè)360度的虛擬空間。人與機(jī)器的交互變得越來(lái)越自然，Virtual World也越來(lái)越像我們的Reality，這就是虛擬現(xiàn)實(shí)（Virtual Reality）。
圖像方面，我們帶著頭盔，上下左右扭頭，就能看到不同的圖像，這就是自然的人機(jī)交互；聲音方面也一樣，如果我們轉(zhuǎn)身，背后的腳步聲就會(huì)突然增大或減小，側(cè)耳傾聽(tīng)，隔壁的吱呀聲就能聽(tīng)得更清楚，那么，以假亂真的虛擬世界或許就離我們不遠(yuǎn)了。
所以今天，「讓我們來(lái)聊聊VR里的聲音」。
簡(jiǎn)單給大家介紹一下，首先3D聲場(chǎng)有若干解決方案。你可能覺(jué)得，其實(shí)很簡(jiǎn)單嘛，做一個(gè)虛擬空間，該空間里任何一個(gè)音源，用三維坐標(biāo)標(biāo)定，然后將VR頭盔里的坐標(biāo)數(shù)據(jù)導(dǎo)入，再輸出相應(yīng)的聲音，你就得到了一個(gè)完美的“自然”聲場(chǎng)。
這想法沒(méi)錯(cuò)，前提是：你的音源數(shù)足夠少、運(yùn)算速度足夠快。已知的杜比影院方案State of the Art可以支持高達(dá)128個(gè)聲源……不過(guò)手機(jī)、PC上的環(huán)境可沒(méi)法跟電影院比。（而且用這種方案去逼近現(xiàn)實(shí)世界的聲場(chǎng)是不可能的，你可以理解其原因是當(dāng)逼近現(xiàn)實(shí)世界時(shí)，其聲場(chǎng)數(shù)目會(huì)急劇上升，就像因?yàn)榫w里面的原子個(gè)數(shù)是10^23級(jí)別，要表征晶體結(jié)構(gòu)，最好用波函數(shù)一樣）現(xiàn)在最通用的兩種方式分別為Quad Binaural和Ambisonic。
Quad Binaural就是將一個(gè)聲場(chǎng)用0、90、180、270度四個(gè)方向去表征。
舉例來(lái)說(shuō)，如果是錄制一個(gè)點(diǎn)的聲場(chǎng)，我分別將該點(diǎn)在這四個(gè)方向（其實(shí)就是前后左右）的聲音錄進(jìn)去，每個(gè)方向兩個(gè)聲道，最終八個(gè)聲道。然后當(dāng)我朝向任意一個(gè)非正好前后左右的方向時(shí)，比如45度，就用四個(gè)方向的聲音做一個(gè)加權(quán)，得出新的方向的聲音。
這個(gè)方法的問(wèn)題在于，除了平面轉(zhuǎn)頭以外，你上下抬頭或者低頭時(shí)，聲音是沒(méi)有變化的。不過(guò)好處很簡(jiǎn)單，解碼非常容易，比如我們很自然就會(huì)想到45度時(shí)候的聲音就是一半的0度+一半的90（雖然實(shí)際情況會(huì)更復(fù)雜一些），而且相比現(xiàn)在常用的一階的Ambisonic（FOA，F(xiàn)irst Order Ambisonic），其對(duì)水平方向的敏感度更高。
Ambisonic則是從球諧函數(shù)出發(fā)，(n+1)^2個(gè)聲道來(lái)表征聲場(chǎng)。
舉例來(lái)說(shuō)，Google發(fā)布的Omnitone是一階的Ambisonic，于是有（1+1）^2=4個(gè)聲道，如下圖所示，w,x,y,z。w可以理解成背景聲，x,y,z分別是來(lái)自直角坐標(biāo)系三個(gè)方向的聲音。
▲ 越高階的ambisonic函數(shù)解碼越復(fù)雜
目前國(guó)外最頂級(jí)的做到五階Ambisonic函數(shù)，36個(gè)Components（因?yàn)楦唠A球諧函數(shù)很難再用物理方向去想，所以用Components代替方向），用32個(gè)話(huà)筒采集，再通過(guò)組合和矩陣變換來(lái)逼近這36個(gè)Components。Ambisonic的好處在于，有了z（垂直）這個(gè)方向，抬頭或者低頭在VR世界里聲音是會(huì)有區(qū)別的，而且隨著你提供的運(yùn)算能力的提升，用更高階的Ambisonic函數(shù)可以獲得更好的效果。缺點(diǎn)則在于解碼會(huì)更復(fù)雜一些。
舉個(gè)簡(jiǎn)單的例子，如果你的上下前后左右六個(gè)方向分別對(duì)應(yīng)歌手ABCDEF六個(gè)人，Quad Binaural的四個(gè)雙聲道里分別會(huì)灌入CDEF的聲音，每一個(gè)又同時(shí)包含部分的A,B的聲音，聲場(chǎng)錄制完畢后，如果你把頭從正好向前，稍稍扭轉(zhuǎn)三十度，那么你會(huì)從最初C占主導(dǎo)，到聽(tīng)到更多的D的聲音，但是不論你如果抬頭或者低頭，A,B的聲音都不會(huì)改變。
而一階的Ambisonic則是在X混入C,E的聲音，Y混入D,F的聲音，Z混入A,B的聲音，W則為背景音，隨著你頭的轉(zhuǎn)動(dòng)，會(huì)改變XYZ的權(quán)重。不過(guò)聰明的你一定也發(fā)現(xiàn)，一階Ambisonic（FOA）因?yàn)閷⑾喾捶较騻鱽?lái)的聲音（C,D）同時(shí)混入了X，所以當(dāng)你轉(zhuǎn)頭的時(shí)候，在某些角度下的聽(tīng)者對(duì)方向的靈敏度是不如Quad Binaural的。
考慮到：（1）歌手在你胯下唱歌的情況比較少見(jiàn)，所以只有A的情況下，垂直方向FOA還是遠(yuǎn)優(yōu)于Quad Binaural， （2）如果你關(guān)心國(guó)外已經(jīng)制作出來(lái)的演唱會(huì)視頻，會(huì)發(fā)現(xiàn)制作方為了提高聲音的方位感，往往把音源放在正前或者正左右方向，這是FOA和QB都難以解決的問(wèn)題。不過(guò)隨著計(jì)算能力的提升，高階Ambisonic（HOA）則可以克服這一問(wèn)題，這也是Google為什么選擇FOA的原因吧。
再說(shuō)回Google，其在官方博客上公布了其網(wǎng)頁(yè)VR音頻系統(tǒng)Omnitone項(xiàng)目的技術(shù)細(xì)節(jié)。Omnitone項(xiàng)目是一個(gè)跨瀏覽器支持的開(kāi)源空間音頻渲染器，主要支持目前業(yè)界較為常用的FOA（First Order Ambisonic）格式，這也是YouTube App推薦的主要全景聲格式。
▲ Omnitone音頻處理過(guò)程圖解
從上圖可以看出，Google的Omnitone系統(tǒng)的Ambisonic解碼器采用了業(yè)界主流的算法流程，根據(jù)傳感器給出的方位信息， 采用一個(gè)旋轉(zhuǎn)算子來(lái)實(shí)現(xiàn)聲場(chǎng)旋轉(zhuǎn)，進(jìn)而用雙聲道輸出。
鑒于Google Chrome瀏覽器在市場(chǎng)中的統(tǒng)治地位，我們可以很樂(lè)觀的預(yù)測(cè)基于FOA的全景聲會(huì)在網(wǎng)頁(yè)端迎來(lái)比較高速的普及率，這對(duì)于VR內(nèi)容創(chuàng)作者乃至于整個(gè)VR行業(yè)都是一個(gè)極大的利好。
當(dāng)然，興奮之余我們依然可以看到很多問(wèn)題。
其中一個(gè)問(wèn)題就是FOA聲音文件從哪來(lái)。VR內(nèi)容制作者用的比較多的如知名VR公司Jaunt使用的Tetra Mic（CoreSound 生產(chǎn)）價(jià)格不菲，僅僅麥克風(fēng)本身就要1000美元，另外還要額外購(gòu)買(mǎi)線(xiàn)和專(zhuān)用的錄音設(shè)備。而其他品牌的聲場(chǎng)話(huà)筒（如SoundField系列）則更加昂貴。這些錄音設(shè)備攜帶起來(lái)非常不方便，并需要專(zhuān)業(yè)培訓(xùn)才能使用，制約了FOA音頻的大規(guī)模普及。
▲ Tetra Mic
目前也有公司在嘗試解決這一現(xiàn)狀。時(shí)代拓靈推出了一款民用級(jí)便攜式的聲場(chǎng)錄制機(jī)，原生支持FOA（4路WXYZ）音頻格式。輸出的音頻可以直接被支持FOA的軟件或設(shè)備播放。相信隨著制作門(mén)檻的降低，基于FOA的內(nèi)容會(huì)迎來(lái)一個(gè)爆發(fā)式的增長(zhǎng)。
▲ 時(shí)代拓靈便攜式聲場(chǎng)錄制機(jī)
除此之外，因?yàn)椴徽換uad Binaural還是Ambisonic，都只是一種思路，如何連接現(xiàn)實(shí)音源的文件與最終播放出的3D音效，如何用這種思路制作3D聲場(chǎng)，我們?nèi)孕枰粋€(gè)VR音頻的制作引擎和播放系統(tǒng)。（就好比Google發(fā)布了Hadoop的論文，大數(shù)據(jù)公司再用這種理論去指導(dǎo)他們開(kāi)發(fā)自己的算法一樣。）這一點(diǎn)，拓靈也走在了前列，其發(fā)布的聲場(chǎng)引擎，不僅跨平臺(tái)地支持多重Video、游戲引擎，更從底層上支持Quad Binaural和Ambisonic間的轉(zhuǎn)換，可以說(shuō)是連接VR內(nèi)容制作者與3D聲場(chǎng)的捷徑。
本文由作者授權(quán)雷鋒網(wǎng)發(fā)布，未經(jīng)允許，禁止轉(zhuǎn)載！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
