2
本文作者: 亞萌 | 2016-07-26 15:03 |
美國太平洋時間7月25日,谷歌在其官方博客上公布了其網(wǎng)頁VR音頻系統(tǒng)Omnitone項目的技術(shù)細節(jié)。Omnitone項目是一個跨瀏覽器支持的開源空間音頻渲染器。
谷歌這次解決的問題其實也是其他VR設備也要解決的,就是營造“全景音頻”環(huán)境。
如上圖所示,隨著用戶佩戴的頭顯發(fā)生移動,聲音的位置應該是不同的。用戶聽到來自后方的拍手聲,于是應聲轉(zhuǎn)向身后,此時聲音應該是變成從前方傳來。VR體驗需要在周圍模擬一個全方位的聲音環(huán)境,并且讓聲音在3D環(huán)境中隨著你頭部的運動而及時自動定位。谷歌在這里使用的是“頭部相關(guān)函數(shù)”(Head-related Transfer Function,簡稱HRTF),這也是Oculus Rift等產(chǎn)品普遍使用的技術(shù)。
但谷歌Omnitoneo團隊面臨的主要挑戰(zhàn)就是:在已有的瀏覽器里引進環(huán)繞立體聲技術(shù)(Ambisonics),同時不能干擾瀏覽器本來的運行。他們想出的解決辦法很聰明,而且單刀直入。
下面是Omnitone音頻處理過程圖解。
圖自:Google Open Source Blog
環(huán)繞立體聲里包含四種聲道,可以在任意一個揚聲器設置里進行解碼。Omnitone沒有使用實體揚聲器,而是基于HRTF設置用8個虛擬的揚聲器來渲染最終的雙耳音頻流。雙耳渲染音頻僅通過耳機就可以營造一種空間感。
這個系統(tǒng)的關(guān)鍵之處就在于中間的聲場轉(zhuǎn)換(如圖解里Rotator模塊所示),把VR頭顯或者耳機里方向傳感器的數(shù)據(jù)與Omnitone的解碼器無縫銜接,從而流暢地將整個音場進行轉(zhuǎn)換。
Omnitone已經(jīng)在Github上開源并且有經(jīng)過渲染的樣本,感興趣的朋友可以點擊Github 代碼和音頻樣本到達展示頁面。
等到VR應用的鐘擺從專用App蕩回網(wǎng)頁系統(tǒng)時,谷歌那時就已經(jīng)準備好了。
題圖自:TC
Via TC&Google Open Source Blog
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。