虛擬現(xiàn)實(shí)（VR）技術(shù)的目的是提供如親臨其境般的沉浸感體驗(yàn)，而到目前為止，不說尚未能模擬的嗅覺、觸覺，已經(jīng)能在VR中體驗(yàn)得到的音頻卻并非如視覺完美。相信體驗(yàn)過一些VR設(shè)備的用戶會(huì)發(fā)現(xiàn)，VR中的音頻失真度較高。這些問題在2000年的時(shí)候就被意識(shí)到了。然而，為什么連解決方案都有了，VR音頻的真實(shí)感模擬仍這么難呢？以下是國際數(shù)字感知大會(huì)上，UNC講席教授、IEEE院士Ming C. Lin的講演摘錄，為了便于理解，部分內(nèi)容有適當(dāng)增減：

VR視頻進(jìn)步了，聲頻還處于80年代水平

剛才袁昱博士也提到了追蹤和延遲的問題，而另外的一個(gè)問題就是怎么樣去創(chuàng)造一種體驗(yàn)，以及捕捉，很多人都沒解決這個(gè)問題。此外，就是人與VR環(huán)境的互動(dòng)。目前，VR/AR領(lǐng)域有很多已經(jīng)開展的研究都是關(guān)于怎么樣去顯示的——視覺的展示。但是，觸覺的話，就是一個(gè)非常有挑戰(zhàn)性的話題，我們的皮膚是可以傳達(dá)感官的，但要知道怎么樣去取樣的話，就可能要運(yùn)行上千次的。那么這個(gè)標(biāo)準(zhǔn)是怎么樣的，很多臺(tái)計(jì)算機(jī)才可以預(yù)算出來。我們嘗試了不同的裝置，在這個(gè)領(lǐng)域的研究里，你是開發(fā)者或者是研究者的話，你會(huì)深受鼓舞地去研究這個(gè)領(lǐng)域的，但如果你是物理學(xué)家的話，你會(huì)知道這個(gè)是非常困難的問題。

而今天要詳細(xì)講的是，VR中我們的音頻實(shí)時(shí)渲染做得并不好。VR視頻進(jìn)步了，聲頻還處于80年代水平。VR中位置不同、阻礙物不同時(shí)，聲音是不一樣的，而目前我們與聲音是沒有任何交互的。在VR系統(tǒng)里面體驗(yàn)一些內(nèi)容的時(shí)候，有聲音和沒聲音的體驗(yàn)差別非常大，這意味著沉浸感是否深刻。想象一下，當(dāng)我們處于一個(gè)交互的VR環(huán)境中時(shí)，是怎么樣利用聲音的錄制來制作效果的呢？——聲音控制在哪里？看視頻如果沒有聽到聲音的話，你都不知道發(fā)生了什么。VR也是一樣的，你聽不到聲音的話，你都不知道他是發(fā)生了什么。AR環(huán)境為保證視覺的 逼真度，動(dòng)態(tài)圖象要以每秒20-30幀的頻率進(jìn)行刷新，單位時(shí)間內(nèi)的刷新率則使圖象具有一維的時(shí)間信息。為實(shí)現(xiàn)聲音與圖象的較好信息融合，必須使聲音的三維方位信息與圖象顯示的三維信息相融合，圖象的刷新時(shí)間與聲音的時(shí)間信息相融合。

而重要的是，如果我們?nèi)祟愐ジ兄@個(gè)聲音，就是生理層面去感受空間內(nèi)的聲音時(shí)，如何獲得一個(gè)實(shí)時(shí)的感受呢？如果聲音無法實(shí)時(shí)渲染，而是依靠外部配音來完成的話，那么實(shí)際的聲音軌跡只能是固定的2D效果，而非像現(xiàn)實(shí)一樣能讓我們分辨出聲音的來源、發(fā)聲的物質(zhì)，也就是當(dāng)視頻畫面能夠移動(dòng)了，但配音中的聲音聲源是固定的，這就大大降低了VR系統(tǒng)中的真實(shí)感。另一方面，采用配音的話，無法百分百模擬每一個(gè)場景所能夠產(chǎn)生的聲音，比如當(dāng)木頭、金屬、流體等一系列復(fù)雜元素交錯(cuò)碰撞時(shí)，模擬配音只能是大致地完成；并且，當(dāng)在虛擬空間中，聲音傳遞會(huì)經(jīng)過一些比如墻壁等的阻礙，那么這個(gè)配音是無法模擬的，所有這些造成的問題是失真度較高。最后，如果每一幀的聲音都需要外部模擬再匹配，那么千千萬萬幀的內(nèi)容將需要龐大的配音工程。

而更大的問題的是，其實(shí)耳朵的形狀，就決定了每個(gè)人聽到的聲音都是不一樣的。所以，我們需要做的是依靠算法來結(jié)合人體生理?xiàng)l件自動(dòng)實(shí)時(shí)渲染生成場景中的聲頻。需要建模、建立音頻數(shù)據(jù)庫、建立算法。

難以實(shí)現(xiàn)的解決方案

對(duì)聲音仿真的目的，就是用計(jì)算機(jī)生成的聲音能夠非常逼近真實(shí)世界中的聲音。從頻域上講，二者的頻譜分量要相當(dāng)接近。任何真實(shí)世界中的聲音都可看作許多幅值、相位唯一的正弦波分量的混合，對(duì)聲音的建模，可理解為對(duì)聲音的頻譜分析。

我們先了解一下聲音傳播中數(shù)學(xué)函數(shù)和幾何方面是如何表現(xiàn)的：模擬聲音時(shí)，需要用方程來計(jì)算聲音傳播的壓力波，就是歐姆的4次方——這是非常高的一個(gè)頻率，需要超級(jí)計(jì)算機(jī)來完成計(jì)算，需要100倍升級(jí)CPU。

舉個(gè)例子說，在一個(gè)教堂中，模仿里面分散的聲音會(huì)用不同的材料，它們會(huì)有不同的吸收率。因?yàn)椴牧系馁|(zhì)量本質(zhì)上是不一樣的，不同的材料會(huì)有不同的效果。應(yīng)該怎么樣做模擬呢？以流體聲音為例，目前的方案是利用許多材料來與一缸水撞擊，然后捕捉起這些單點(diǎn)水珠的聲音素材，并轉(zhuǎn)化成代碼，那么日后出現(xiàn)的新環(huán)境中，計(jì)算機(jī)就能利用算法把不同的素材合成為符合場景活動(dòng)的聲音。這所做的，可以理解為聲音的克隆。那么有了這樣的模擬能力，VR就可以允許用戶感覺在水中進(jìn)行互動(dòng)了，否則，用戶在VR中游泳一點(diǎn)感覺都沒有。那么延伸開來，不同的素材可以做不同的聲音模擬，對(duì)萬物的模擬也同樣需要海量的素材。

又比如，珠子掉落到木板上時(shí)，隨著珠子的體積、形狀、速度、質(zhì)量的不同，其聲音是不同的。那么根據(jù)以往收集的聲源材料，比如各種木頭之間相互撞擊、鐵塊與木塊撞擊等等，來自動(dòng)合成這個(gè)聲音。

所以說，這面臨的難題有兩個(gè)層面：第一是基礎(chǔ)建模的困難，我們有海量的聲源物體需要建模；第二是根據(jù)模型生成聲音的算法困難，復(fù)雜的邏輯、巨大的計(jì)算量。目前，我們所能做到的是水流、滾珠等幾個(gè)模型。

此外，在仿真環(huán)境中，要想每時(shí)每刻觀察到運(yùn)動(dòng)中的實(shí)體，計(jì)算機(jī)生成的圖象所對(duì)應(yīng)的視點(diǎn)必須能夠象電影鏡頭不停變焦距那樣實(shí)時(shí)切換，要達(dá)到聲像的良好融合，聽點(diǎn)應(yīng)跟隨視點(diǎn)變化。聲音的聽點(diǎn)實(shí)時(shí)切換在頭部跟蹤中是非常必要的，當(dāng)頭部姿態(tài)變化時(shí)，為保證生成的虛擬聲源的位置應(yīng)是不動(dòng)的，必須反向切換相應(yīng)的頭部脈沖響應(yīng)函數(shù)。

然而，可以說，所有這些物理當(dāng)中的聲音，都可以通過模擬來逐個(gè)生成。我們可以用這個(gè)技術(shù)來獲得一個(gè)多通道的交互，所以說這是一個(gè)多模態(tài)的交互 。這個(gè)技術(shù)已經(jīng)在展開研究了，未來將是一個(gè)突破的關(guān)鍵點(diǎn)、難點(diǎn)。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。