嘉賓介紹：張瑞博，森聲數(shù)字科技創(chuàng)始人&CEO。瑞典烏普薩拉人機交互碩士、圖形圖像＆計算機科學(xué)學(xué)士，專注領(lǐng)域包括矩陣算法，識別技術(shù)，VR/AR技術(shù)，數(shù)字模擬，社交網(wǎng)絡(luò)。擁有多項專利以及大量第一發(fā)明人，曾推出全國首例地產(chǎn)AR增強現(xiàn)實發(fā)布會。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

在電影行業(yè)有一句話，“沒聲音再好的戲也出不來”，這句話強調(diào)了聲音對電影的重要性。當(dāng)然，這個道理同樣適用于VR影視。谷歌Cardboard的高管Nathan Martz曾表示，VR音頻不容忽略。他說，許多人認(rèn)為在開發(fā)VR產(chǎn)品和體驗過程中，視頻和視覺是最重要的因素，其實不然，聲音也同樣重要。在資深游戲開發(fā)者群體中，有一個行業(yè)經(jīng)驗——“聲音讓場景更加真實”。

但VR音頻到底是什么鬼？森聲數(shù)字科技創(chuàng)始人&CEO張瑞博為我們帶來他的看法。

VR音頻的概念

（一提到VR音頻，有人會說3D音效（往往是游戲），有人會說杜比全景聲，甚至還有說人頭錄音。到底VR音頻是什么？）

首先，VR音頻并不是一個技術(shù)名稱。它是對所有能解決VR技術(shù)中音頻方位模擬的技術(shù)解決方案的統(tǒng)稱。

其次，游戲中使用的3D音頻也可以包括在VR音頻的范疇。上面列舉的例子都是在解決特定場景下的特定問題。比如說雷蛇的游戲3D音效和Oculus Audio SDK是解決游戲中虛擬音源的技術(shù)。但是，現(xiàn)場采集怎么辦？音樂會怎么辦？直播怎么辦？而杜比Atmos（杜比全景聲）的核心是基于object音源的影院揚聲器矩陣的還原技術(shù)，更多是針對杜比推出的下一代影院效果。這并非真實聲場模擬，更多是追求來自于周圍和上方震撼的音效。但是，不是影院怎么辦？現(xiàn)場采集怎么辦？頭盔終端回放怎么辦？

在音頻技術(shù)上，人們會因為實現(xiàn)方式流程以及對應(yīng)用戶場景不同，所采用的技術(shù)也完全不同。這并不是提問所理解的一個技術(shù)通吃所有情況，而是不同情況都需要對應(yīng)技術(shù)方案。

VR音頻實際效果

（VR音頻具體效果以及甄別真?zhèn)蔚姆绞?？?/strong>

首先我不知道什么叫作偽VR音頻。因為VR音頻本來就隨著VR的發(fā)展而開始的一個技術(shù)板塊。就像是高清標(biāo)準(zhǔn)剛剛開始的時候你能說720p是偽高清1080p是真高清么。只是執(zhí)行程度徹底與否的區(qū)別而已。如果說VR音頻效果的話，主要有幾個特征點：

1.能夠和頭顯視覺畫面對應(yīng)，并表現(xiàn)出對應(yīng)視角下的聲源方位與聲源距離；

2.同時體現(xiàn)出對應(yīng)空間環(huán)境中的混響情況、聲音反射和吸收情況等；

3.滿足以上部分或者全部要求的都可以叫VR音頻。

我這里有一個圖，可以表明VR音頻的基本概念。（下圖）

VR音頻的實現(xiàn)要求

（VR音頻對比現(xiàn)有的3D音效有什么技術(shù)上的硬性要求，比如采集，儲存，傳輸?shù)确矫娴模浚?/strong>

嗯，這個問題問得好。很多人都知道3D音效，但是并不了解3D音效和VR音頻的關(guān)系。

3D音效是一個有一定年頭的東西了，最早你在一些游樂園中聽到3D鬼故事或者是網(wǎng)上的理發(fā)店都是3D音效。目前3D音效主要由立體聲來承載信息，但是由于VR音頻需要實現(xiàn)和頭顯視覺畫面對應(yīng)的空間音效變化，可以理解為聲音的維度升級。如果假設(shè)傳統(tǒng)的3D音效是2維的話，那VR音效至少要做到3維才能實現(xiàn)基本要求，所以整體信息采集量和傳輸量和傳統(tǒng)的3D音效都是天翻地覆的區(qū)別，理論上講至少4倍以上。

不過，好在目前的情況看來VR音頻并不會對帶寬提出新的挑戰(zhàn)，因為相對于4K的全景視頻的帶寬需求，音頻提升所帶來的帶寬壓力基本可以忽略了。

（在視頻，游戲，電影等不同領(lǐng)域，對VR音頻的需求是不是有所不同？為此帶來的算法和方案也會有所不同么？）

答案是肯定的。不同情況下對VR音頻的需求和實現(xiàn)方式都是不同的。

比如游戲中的VR音頻，游戲廠商在開發(fā)游戲的時候會把對應(yīng)的發(fā)聲源object的對應(yīng)音軌準(zhǔn)備好。比如說腳步聲，開火的聲音，這些音軌都是普通的音軌。在游戲引擎中設(shè)置好根據(jù)這些發(fā)聲的object在虛擬環(huán)境中與player的相對位置，然后對應(yīng)調(diào)用HRTF（Head Related Transfer Function，頭相關(guān)變換函數(shù)）算法來實現(xiàn)音源的方位化與距離化，最后通過耳機播放讓玩家感覺的方位信息，實現(xiàn)聽聲辨位。

又比如音樂會VR節(jié)目制作，VR游戲中音頻不存在采集的問題，因為音軌是準(zhǔn)備好的，你不可能把一個現(xiàn)場的音樂會通過事先準(zhǔn)備好的音軌代替吧，那就不是這個音樂會了。所以這個時候的VR音頻是要通過現(xiàn)場采集的方式來實現(xiàn)。這里實現(xiàn)的方式就比較多了，有通過多向采集再進行聲場運算的方式，有通過數(shù)字HRTF加工的方式，也有自然HRTF采集的方式，各有各的好處和問題，目前還沒有一個標(biāo)準(zhǔn)是肯定的。但是可以肯定的是大多數(shù)方式都是通過耳機回放來實現(xiàn)。

VR音頻的挑戰(zhàn)與瓶頸

（目前VR音頻遇到的技術(shù)瓶頸是什么呢？）

我認(rèn)為VR音頻相對于現(xiàn)有的VR視頻技術(shù)而言并不存在非常難受的技術(shù)瓶頸。比如說VR視頻中的幾個比較難受的瓶頸包括終端屏幕dpi（像素密度）、高分辨率傳輸、帶寬等等。這些都是需要非常大的投入促使量變到質(zhì)變的發(fā)展過程。

但對于VR音頻而言，大部分現(xiàn)有的技術(shù)加以升級和改進已經(jīng)可以滿足VR的需求，更多的是如何推廣和適應(yīng)實際應(yīng)用的過程。

（所以，哪一部分成熟之后，VR音頻才會大規(guī)模在內(nèi)容商普及？）

嗯，你問到一個關(guān)鍵點上了。

雖然沒有太大的瓶頸但是技術(shù)挑戰(zhàn)還是非常大的。我認(rèn)為在影視與視頻節(jié)目方面VR音頻的主要挑戰(zhàn)是對傳統(tǒng)制作方式與制作思路的挑戰(zhàn)。

這個問題影響其實非常大，由于VR影視的特殊性，導(dǎo)演在敘事的過程中如何對觀眾產(chǎn)生視覺方向的引導(dǎo)，如何布置場景，如何隱藏?zé)艄夂偷谰?，如何保持觀眾的代入感和臨場感......實際上VR影視對于從19世紀(jì)末就發(fā)明的電影積累下來的拍攝手法和理論都是顛覆性的。很多以前理所當(dāng)然的東西到現(xiàn)在都不適用了，各種拍攝團隊都在摸索的尋找新的規(guī)律和方法，所以VR音頻最終能走入千家萬戶，還要看我們奮戰(zhàn)在影視制作一線的工作者能否找到VR音頻制作的新規(guī)則并創(chuàng)作出各種富有感染力的作品。

當(dāng)然，我們作為技術(shù)與硬件提供商，也會盡全力去幫助他們一起來尋找VR中的聲音之路，畢竟在那在頭盔之后可是一個對想象力沒有邊界的世界。

讀者提問

（VR音頻輸出需要杜比或者DTS解碼技術(shù)嗎？VR音頻如果主要輸出到耳機端，立體聲模擬3D音效，比起傳統(tǒng)影院或者家庭影院不是弱爆了嗎？）

首先，我要提出2個詞語來回答這個問題：真實性與震撼性。

VR一切的目的最終是以真實性為核心。這里說的真實和并不是說游戲中的3D是假的，而是說VR的目的是為了給人的感官再創(chuàng)造一個“真實”的世界，這個世界可以是虛構(gòu)的，但是一定要真實，這個是VR的核心。

而DTS這些技術(shù)追求的核心是震撼性， 說白了就是電影并不在乎當(dāng)時爆炸是不是這個聲音，也不在乎直升機是不是正好從你左后方30度的位置飛過，它們需要的只是觀眾覺得爽就OK。所以說VR音頻并不需要和影院系統(tǒng)做對比，它們本來就不是替代關(guān)系，相反在不同領(lǐng)域各有各的追求和特長。比如說，影院系統(tǒng)的音域范圍要強悍的多，下沉的低音連椅子都在顫抖。 但是影院只是通過7.1、11.1等多聲道系統(tǒng)實現(xiàn)的，它可以模擬出一定的音源方向，但是卻模擬不出音源遠(yuǎn)近的距離。

而VR音頻追求的是....你可以這么假設(shè)，如果我在這個VR的世界是真的，我應(yīng)該聽到的是怎么樣的聲音，所以VR音頻追求的真實性在技術(shù)上就體現(xiàn)在“如何模擬出真實的方向和距離感”，當(dāng)然由于技術(shù)的限制，在耳機上實現(xiàn)及其震撼的低音效果還不可能超過影院。 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。