0
| 本文作者： 趙龍溪 | 2016-08-03 09:00 |
雷鋒網(wǎng)按：本文作者趙龍溪，以太高級投資經(jīng)理，本科畢業(yè)于北京大學化學系，哥大高分子博士肄業(yè)。關注VR/AR、文化娛樂、企業(yè)服務等方向。
近日，Google公布了一個新的開源項目——Omnitone，該項目旨在實現(xiàn)普通耳機在VR環(huán)境中的3D全景音效，讓用戶獲得更好的VR沉浸感。
▲ VR科技正逐漸影響我們的生活
CJ結束了，我們再來聊一聊VR。
VR其實可以理解成一個人類追求更自然的人機交互的過程。從一開始你只能通過編程語言和計算機Say Hi的286時代（想象下那個時代的機器人女友），到Win95第一代可視化的操作窗口，再到如今我們戴著頭盔進入一個360度的虛擬空間。人與機器的交互變得越來越自然，Virtual World也越來越像我們的Reality，這就是虛擬現(xiàn)實（Virtual Reality）。
圖像方面，我們帶著頭盔，上下左右扭頭，就能看到不同的圖像，這就是自然的人機交互；聲音方面也一樣，如果我們轉身，背后的腳步聲就會突然增大或減小，側耳傾聽，隔壁的吱呀聲就能聽得更清楚，那么，以假亂真的虛擬世界或許就離我們不遠了。
所以今天，「讓我們來聊聊VR里的聲音」。
簡單給大家介紹一下，首先3D聲場有若干解決方案。你可能覺得，其實很簡單嘛，做一個虛擬空間，該空間里任何一個音源，用三維坐標標定，然后將VR頭盔里的坐標數(shù)據(jù)導入，再輸出相應的聲音，你就得到了一個完美的“自然”聲場。
這想法沒錯，前提是：你的音源數(shù)足夠少、運算速度足夠快。已知的杜比影院方案State of the Art可以支持高達128個聲源……不過手機、PC上的環(huán)境可沒法跟電影院比。（而且用這種方案去逼近現(xiàn)實世界的聲場是不可能的，你可以理解其原因是當逼近現(xiàn)實世界時，其聲場數(shù)目會急劇上升，就像因為晶體里面的原子個數(shù)是10^23級別，要表征晶體結構，最好用波函數(shù)一樣）現(xiàn)在最通用的兩種方式分別為Quad Binaural和Ambisonic。
Quad Binaural就是將一個聲場用0、90、180、270度四個方向去表征。
舉例來說，如果是錄制一個點的聲場，我分別將該點在這四個方向（其實就是前后左右）的聲音錄進去，每個方向兩個聲道，最終八個聲道。然后當我朝向任意一個非正好前后左右的方向時，比如45度，就用四個方向的聲音做一個加權，得出新的方向的聲音。
這個方法的問題在于，除了平面轉頭以外，你上下抬頭或者低頭時，聲音是沒有變化的。不過好處很簡單，解碼非常容易，比如我們很自然就會想到45度時候的聲音就是一半的0度+一半的90（雖然實際情況會更復雜一些），而且相比現(xiàn)在常用的一階的Ambisonic（FOA，F(xiàn)irst Order Ambisonic），其對水平方向的敏感度更高。
Ambisonic則是從球諧函數(shù)出發(fā)，(n+1)^2個聲道來表征聲場。
舉例來說，Google發(fā)布的Omnitone是一階的Ambisonic，于是有（1+1）^2=4個聲道，如下圖所示，w,x,y,z。w可以理解成背景聲，x,y,z分別是來自直角坐標系三個方向的聲音。
▲ 越高階的ambisonic函數(shù)解碼越復雜
目前國外最頂級的做到五階Ambisonic函數(shù)，36個Components（因為高階球諧函數(shù)很難再用物理方向去想，所以用Components代替方向），用32個話筒采集，再通過組合和矩陣變換來逼近這36個Components。Ambisonic的好處在于，有了z（垂直）這個方向，抬頭或者低頭在VR世界里聲音是會有區(qū)別的，而且隨著你提供的運算能力的提升，用更高階的Ambisonic函數(shù)可以獲得更好的效果。缺點則在于解碼會更復雜一些。
舉個簡單的例子，如果你的上下前后左右六個方向分別對應歌手ABCDEF六個人，Quad Binaural的四個雙聲道里分別會灌入CDEF的聲音，每一個又同時包含部分的A,B的聲音，聲場錄制完畢后，如果你把頭從正好向前，稍稍扭轉三十度，那么你會從最初C占主導，到聽到更多的D的聲音，但是不論你如果抬頭或者低頭，A,B的聲音都不會改變。
而一階的Ambisonic則是在X混入C,E的聲音，Y混入D,F的聲音，Z混入A,B的聲音，W則為背景音，隨著你頭的轉動，會改變XYZ的權重。不過聰明的你一定也發(fā)現(xiàn)，一階Ambisonic（FOA）因為將相反方向傳來的聲音（C,D）同時混入了X，所以當你轉頭的時候，在某些角度下的聽者對方向的靈敏度是不如Quad Binaural的。
考慮到：（1）歌手在你胯下唱歌的情況比較少見，所以只有A的情況下，垂直方向FOA還是遠優(yōu)于Quad Binaural， （2）如果你關心國外已經(jīng)制作出來的演唱會視頻，會發(fā)現(xiàn)制作方為了提高聲音的方位感，往往把音源放在正前或者正左右方向，這是FOA和QB都難以解決的問題。不過隨著計算能力的提升，高階Ambisonic（HOA）則可以克服這一問題，這也是Google為什么選擇FOA的原因吧。
再說回Google，其在官方博客上公布了其網(wǎng)頁VR音頻系統(tǒng)Omnitone項目的技術細節(jié)。Omnitone項目是一個跨瀏覽器支持的開源空間音頻渲染器，主要支持目前業(yè)界較為常用的FOA（First Order Ambisonic）格式，這也是YouTube App推薦的主要全景聲格式。
▲ Omnitone音頻處理過程圖解
從上圖可以看出，Google的Omnitone系統(tǒng)的Ambisonic解碼器采用了業(yè)界主流的算法流程，根據(jù)傳感器給出的方位信息， 采用一個旋轉算子來實現(xiàn)聲場旋轉，進而用雙聲道輸出。
鑒于Google Chrome瀏覽器在市場中的統(tǒng)治地位，我們可以很樂觀的預測基于FOA的全景聲會在網(wǎng)頁端迎來比較高速的普及率，這對于VR內容創(chuàng)作者乃至于整個VR行業(yè)都是一個極大的利好。
當然，興奮之余我們依然可以看到很多問題。
其中一個問題就是FOA聲音文件從哪來。VR內容制作者用的比較多的如知名VR公司Jaunt使用的Tetra Mic（CoreSound 生產(chǎn)）價格不菲，僅僅麥克風本身就要1000美元，另外還要額外購買線和專用的錄音設備。而其他品牌的聲場話筒（如SoundField系列）則更加昂貴。這些錄音設備攜帶起來非常不方便，并需要專業(yè)培訓才能使用，制約了FOA音頻的大規(guī)模普及。
▲ Tetra Mic
目前也有公司在嘗試解決這一現(xiàn)狀。時代拓靈推出了一款民用級便攜式的聲場錄制機，原生支持FOA（4路WXYZ）音頻格式。輸出的音頻可以直接被支持FOA的軟件或設備播放。相信隨著制作門檻的降低，基于FOA的內容會迎來一個爆發(fā)式的增長。
▲ 時代拓靈便攜式聲場錄制機
除此之外，因為不論Quad Binaural還是Ambisonic，都只是一種思路，如何連接現(xiàn)實音源的文件與最終播放出的3D音效，如何用這種思路制作3D聲場，我們仍需要一個VR音頻的制作引擎和播放系統(tǒng)。（就好比Google發(fā)布了Hadoop的論文，大數(shù)據(jù)公司再用這種理論去指導他們開發(fā)自己的算法一樣。）這一點，拓靈也走在了前列，其發(fā)布的聲場引擎，不僅跨平臺地支持多重Video、游戲引擎，更從底層上支持Quad Binaural和Ambisonic間的轉換，可以說是連接VR內容制作者與3D聲場的捷徑。
本文由作者授權雷鋒網(wǎng)發(fā)布，未經(jīng)允許，禁止轉載！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
