丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號安全和更好的產(chǎn)品體驗,強烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預(yù)覽,將在時失效
業(yè)界 正文
發(fā)私信給冼牛
發(fā)送

0

直播新紅海,狼人殺火爆背后的語音視頻技術(shù) | 深度

本文作者: 冼牛 編輯:谷磊 2017-03-30 15:12
導(dǎo)語:狼人殺語音視頻要差異化十分困難,因為不管是自研還是采用第三方的技術(shù)方案, 都還存在一些關(guān)鍵的痛點:噪音抑制、回聲消除、低延遲、和多路連麥。

雷鋒網(wǎng)按:本文作者冼牛,即構(gòu)科技市場運營總監(jiān),香港大學(xué)MBA,十年研發(fā)經(jīng)驗,音視頻云服務(wù)技術(shù)專家,專注連麥互動直播技術(shù)應(yīng)用研究。 本文系雷鋒網(wǎng)獨家文章。

狼人殺,剛剛崛起,就陷入紅海競爭。

一切發(fā)展的太快,都還來不及思考,APP排行榜上就擠滿了同質(zhì)化的狼人殺產(chǎn)品。

經(jīng)過2016年直播元年的驅(qū)動,語音視頻云服務(wù)已經(jīng)相對成熟。因此,狼人殺語音視頻入門相對容易,集成第三方的技術(shù)方案用就可以了。

然而,狼人殺語音視頻要差異化卻十分困難,因為不管是自研還是采用第三方的技術(shù)方案, 都還存在一些關(guān)鍵的痛點:

  • 噪音抑制

  • 回聲消除

  • 低延遲

  • 多路連麥

語音視頻的技術(shù)難度在業(yè)內(nèi)被公認(rèn)是十分高的,如果能很好地解決這些技術(shù)問題,狼人殺就能建立堅固的技術(shù)壁壘。在語音連麥的基礎(chǔ)之上,再加上視頻連麥的能力,那么狼人殺就能構(gòu)筑安全的護城河,為進一步的業(yè)務(wù)創(chuàng)新提供有力的技術(shù)支撐。

下面我們展開討論一下狼人殺如何構(gòu)筑技術(shù)壁壘。

噪音抑制(NS, Noise Suppression)  

狼人殺最頭疼的問題就是背景噪音,沒有之一。

拿一個十二人一局的狼人殺游戲為例,每一個用戶都會帶入一定程度的背景噪音。十二個人的背景噪音疊加在一起,簡直是沒辦法玩了。參加過視頻會議的朋友應(yīng)該是有所體會,如果有一個參會者是在汽車上接入視頻會議的,那么這個參會者就要把麥克風(fēng)關(guān)掉,不然這會議就沒辦法開了。在狼人殺游戲中,這個問題會更加嚴(yán)重,你不能讓某個用戶把麥克風(fēng)關(guān)掉,你也不能要求用戶在沒有噪音的環(huán)境下加入游戲,用戶體驗永遠(yuǎn)是擺在第一位的。

終端設(shè)備采集進去的聲音可以分為三種:

  • 發(fā)言人的聲音

  • 發(fā)言人周圍的聲音

  • 白噪音

第一種聲音是有效的,第二和第三種聲音是無效的。第二種聲音是無法抑制的,因為系統(tǒng)無法區(qū)分這是否是用戶有意制造的聲音。第三種聲音是白噪音,在每一個頻段的功率都是均勻的,可以類比為包含了所有顏色的白光,白噪音是可以通過算法來抑制的。

衡量噪音抑制的效果好不好,關(guān)鍵的技術(shù)指標(biāo)有兩個:

  • 信噪比提高的幅度

  • 語音音質(zhì)的保真度

一般來說,信噪比不應(yīng)該低于70dB,高保真音箱的信噪比應(yīng)達到110dB以上。 噪音抑制的作用是要提高信噪比的同時保持語音音質(zhì)不失真??紤]到狼人殺的應(yīng)用場景要進行多人高頻率強互動,狼人殺的語音方案要結(jié)合了聲學(xué)心理學(xué)模型,信噪比要能夠提高20dB以上,同時不損傷語音的音質(zhì),才能獲得比較好的用戶體驗。

回聲消除(AEC, Acoustic Echo Cancellation)

如果說噪音抑制是狼人殺的基礎(chǔ)痛點,那么回聲消除就是狼人殺差異化的殺手锏。為什么那么說?狼人殺首先是個游戲平臺,然后才是社交平臺。作為游戲平臺,要在輪流發(fā)言的殺人游戲環(huán)節(jié)解決噪音抑制問題,游戲平臺的用戶體驗才能做好;作為社交平臺,要在復(fù)盤討論的社交環(huán)節(jié)解決回聲消除問題,社交平臺的用戶體驗才能差異化。然而,回聲消除的技術(shù)難度十分高。因此,回聲消除是狼人殺從游戲走向社交必須要打的硬仗。解決了,就是社交平臺;解決不掉,就只是一款游戲。在資本市場上,游戲和社交產(chǎn)品的估值可是天壤之別的。

回聲消除可以分為硬件層次的和軟件層次的。一般來說,在硬件層次,硬件會做一些基礎(chǔ)的回聲消除工作。目前的音頻終端硬件主要包括PC(Intel+Windows)、安卓手機、和蘋果手機。PC端沒有做回聲消除;安卓手機對回聲消除做得不好,而且效果參出不齊;蘋果手機的回聲消除做得相對效果比較好。在軟件層次,軟件要抹平這些硬件平臺的區(qū)別,確保在不同平臺上回聲消除的效果都要良好,都要保持一致。

這里只會簡單介紹回聲消除的原理,有詳細(xì)學(xué)習(xí)需要的同學(xué)請自行百度之。從麥克風(fēng)采集到的聲音包括用戶近端的有效聲音加上近端回聲(NE, Near Echo)?;芈曄哪康木褪且呀嘶匾粝簟H绻麤]有任何參考信號,要把近端回音消除掉是不可能完成的任務(wù),軟件算法無法區(qū)分哪些是有效聲音信號,哪些是近端回音信號。

軟件算法采用遠(yuǎn)端回聲(FE, Far Echo)作為參考信號來消除回聲。雖然近端回聲和遠(yuǎn)端回聲不完全相同,但是高度相關(guān),可以通過一個函數(shù)來表示:NE=f(FE)。這個函數(shù)f(x)就是回聲路徑,表達了遠(yuǎn)端回聲在空氣中經(jīng)過多次反射等環(huán)境影響以后如何變成近端回聲的。從技術(shù)的角度看,回聲消除就是要從麥克風(fēng)采集到的聲音中,把FE經(jīng)過回聲路徑后變成的NE消除掉,本質(zhì)上是對回聲路徑函數(shù)進行求解。

直播新紅海,狼人殺火爆背后的語音視頻技術(shù) | 深度

圖1 回音消除的基本原理

回音消除的效果好不好,該如何衡量?有兩個指標(biāo)可以衡量:1)回聲有沒有消除掉;2)在雙講條件下效果好不好。比較拓?fù)涞恼f法是,回音消除要么沒有消除完全,要么消除過度。如果沒有消除完全,就會有回音漏掉;如果消除過度,就會帶來失真。

狼人殺的應(yīng)用場景對回聲消除的要求十分的高。在復(fù)盤討論環(huán)節(jié),十來個用戶同時開著麥克風(fēng)和揚聲器七嘴八舌進行攤牌對講,十來路的回聲,十幾個人在搶話。在這種極端的語音環(huán)境中,即使在線下進行都有聽不清的時候,更何況在線上進行。因此,回聲消除是對狼人殺十分有挑戰(zhàn)的技術(shù)。

低延遲

關(guān)于語音視頻通訊如何做到低延遲,筆者已經(jīng)在雷鋒網(wǎng)發(fā)表過的一篇技術(shù)專欄文章中做了詳盡的探討。請參照雷鋒網(wǎng)的文章,這里就不再展開論述了:

“為了互動直播,如何讓直播技術(shù)實現(xiàn)低延遲?”

狼人殺語音視頻云的系統(tǒng)架構(gòu)和直播云的系統(tǒng)架構(gòu)比較接近,可以通過下圖來展現(xiàn)。

直播新紅海,狼人殺火爆背后的語音視頻技術(shù) | 深度

圖2 即構(gòu)科技狼人殺音視頻多路連麥系統(tǒng)架構(gòu)

要降低語音視頻通訊的延遲,要從三個方面入手:

  • 選擇最優(yōu)的傳輸路徑;

  • 選擇最優(yōu)質(zhì)的網(wǎng)絡(luò)資源;

  • 在各個傳輸環(huán)節(jié)做到最優(yōu)。

語音視頻處理和傳輸?shù)逆湕l比較長,從推流端開始到拉流端總共至少經(jīng)過九個環(huán)節(jié)。

直播新紅海,狼人殺火爆背后的語音視頻技術(shù) | 深度

圖3 語音視頻處理和傳輸?shù)沫h(huán)節(jié)

一個語音視頻通訊系統(tǒng)除了要有實時的系統(tǒng)架構(gòu),還要在每個環(huán)節(jié)上做到最優(yōu),每個環(huán)節(jié)能節(jié)省一點點時間,整體節(jié)省的時間就會相當(dāng)可觀。

直播的語音視頻通訊包括了語音和視頻的傳輸和處理,而狼人殺的語音視頻通訊目前大部分以語音為基礎(chǔ),視頻作為差異化點。視頻碼率一般會達到幾百kbps,音頻的碼率一般會達到幾十kbps。

語音視頻通訊的延遲要多低才算是好?可以拿一線的直播產(chǎn)品作為標(biāo)桿,比如說,花椒直播的延遲一般可以達到400毫秒。一般來說,語音視頻的延遲低于800毫秒,就可以做連麥互動了;如果能達到400毫秒,那是相當(dāng)優(yōu)秀的,可以進行連麥合唱了。

多路語音連麥

在狼人殺的殺人游戲環(huán)節(jié),用戶需要通過語音進行互動。筆者體驗過市面上有代表性的十來款狼人殺產(chǎn)品,發(fā)現(xiàn)有的產(chǎn)品允許用戶多個人在同一時間發(fā)言,有的產(chǎn)品只允許輪到的用戶發(fā)言。前者的應(yīng)用場景使用了多路語音連麥,后者的應(yīng)用場景使用了單向的語音通話。

多路語音連麥?zhǔn)侵甘请p工模式,多個用戶可以同時講話,可以聽到所有人講話。單向的語音通話指的是單工模式,雖然多個用戶可以輪流說話,但是每次只有一個用戶被允許說話,其它用戶處于聆聽的模式。多路語音連麥要求延遲極低,一般要達到500毫秒以下才能取得比較好的語音對講效果。單向語音通話的延遲一般比較大,一般都達到1秒到3秒,甚至更大。這種技術(shù)條件下,要進行互動對講的話,用戶體驗是比較差的。

不管目前狼人殺的產(chǎn)品形態(tài)如何,可以肯定的是多路語音連麥的用戶體驗是要比單向語音通話體驗要優(yōu)越的。不管狼人殺的產(chǎn)品如何演進,可以肯定的是,整個狼人殺的技術(shù)都會向多路語音連麥進行對齊。畢竟,多路語音連麥不但能夠支持更多的玩法和業(yè)務(wù)創(chuàng)新,而且能夠讓狼人殺從游戲升級為社交變?yōu)榭赡?。目前,很多狼人殺產(chǎn)品還停留在單向語音通話的階段,這不是因為應(yīng)用場景的需要,而是因為技術(shù)條件的限制。

多路語音連麥雖然在狼人殺行業(yè)還沒有普及,但是在直播行業(yè)已經(jīng)成為標(biāo)配。直播行業(yè)在技術(shù)上是比狼人殺行業(yè)先走了一步,不管是連麥互動的玩法創(chuàng)新,還是多路音視頻連麥,都要比狼人殺行業(yè)在技術(shù)上有更多的探索和驗證。然而,狼人殺的應(yīng)用場景比直播的應(yīng)用場景要有更多的互動性。比如說,在直播的應(yīng)用場景中,一般三個主播連麥互動比較合適,四個就有點嫌多,手機的小屏幕放不下了;然而,在狼人殺的應(yīng)用場景中,人數(shù)最少的六人局就已經(jīng)是對平民的單邊屠殺了,十二人局才稍微比較平衡。

直播新紅海,狼人殺火爆背后的語音視頻技術(shù) | 深度

圖4 多路語音連麥將成為狼人殺標(biāo)配

相信隨著狼人殺在2017年的蓬勃發(fā)展,用戶和廠商會共同探索出更多新鮮的玩法。連麥互動已經(jīng)成為直播行業(yè)的標(biāo)配,多路連麥的產(chǎn)品形態(tài)也在不斷的嘗試中。用戶的口味只會提高不會降低,多路語音連麥也將會成為狼人殺行業(yè)的標(biāo)配。

從語音升級到視頻

在2017年的年中,多路語音連麥將會成為狼人殺行業(yè)的標(biāo)配。筆者敢于做這樣推斷的理由有兩個:

  • 可以多路語音視頻連麥的云服務(wù)已經(jīng)在2016年中被直播行業(yè)驗證過,無論是技術(shù)還是服務(wù)都是被直播行業(yè)認(rèn)可的。

  • 自行研發(fā)多路語音連麥技術(shù),在短期甚至中期都不現(xiàn)實。而對狼人殺產(chǎn)品來說速度就是存活的關(guān)鍵。因此將會采用語音視頻云服務(wù)的第三方方案迅速進行能力對齊。

多路語音連麥?zhǔn)遣皇抢侨藲⒌淖罱K產(chǎn)品形態(tài)? 還言之過早,至少,語音升級的下一站是視頻。筆者如此推斷的理由也有兩個:

  • 狼人殺的殺人環(huán)節(jié)中,用戶需要對其它用戶進行表情觀察,這是進行分析判斷的剛需,也可以增加游戲的趣味性。筆者曾試玩過一款前十名的狼人殺產(chǎn)品,輪到發(fā)言的用戶的視頻會全屏顯示,當(dāng)看到他的全屏視頻顯示的時候,筆者的個人體會就是眼前一亮,游戲就變得更加有社交意味。

    直播新紅海,狼人殺火爆背后的語音視頻技術(shù) | 深度

圖5 即構(gòu)科技的狼人殺12路語音視頻連麥互動

  • 狼人殺的下一站是社交,社交最自然的溝通方式就是語音加視頻,全面還原線下面對面的場景。狼人殺社交的第一個突破口就是復(fù)盤討論環(huán)節(jié)。在復(fù)盤討論環(huán)節(jié)中,用戶不需要表演和假裝,語音視頻連麥互動聊天將會變成最簡單直接的需求。復(fù)盤討論環(huán)節(jié)的社交對狼人殺廠商來說只是起點,如何把用戶的社交互動做起來是他們的手段,如何把用戶的關(guān)系鏈沉淀下來才是他們的目的。目前在國外爆發(fā)的多人語音視頻線上Party產(chǎn)品也許對狼人殺會有更多的啟發(fā)。不管如何,狼人殺的目的是社交,社交的最終形態(tài)就是要盡量還原線下場景。畢竟,看得見聽得到的語音視頻連麥才是最自然的溝通方式。

    直播新紅海,狼人殺火爆背后的語音視頻技術(shù) | 深度

圖6 現(xiàn)象級視頻群聊產(chǎn)品Houseparty對狼人殺的社交嘗試有啟發(fā)意義

狼人殺是一個成熟的游戲,互聯(lián)網(wǎng)是個開放的市場,這意味著任何好的玩法一經(jīng)推出都很快被競品復(fù)制,最終狼人殺會陷入同質(zhì)化的競爭泥沼。這個時候,如果要差異化競爭,就必須要不斷對運營和產(chǎn)品升級,而運營和產(chǎn)品升級必須要底層技術(shù)的強勁支撐。于是,技術(shù)必然會從單向語音通話,到多路音頻連麥,然后再到多路語音視頻連麥。

2016年直播行業(yè)已經(jīng)為狼人殺催熟了語音視頻技術(shù)和培育好了語音視頻用戶,2017年狼人殺行業(yè)會加速走完技術(shù)升級的歷程。能迅速走完技術(shù)升級歷程的狼人殺廠商將會進入下一輪競爭,比拼社交平臺的產(chǎn)品和運營能力,一如現(xiàn)在的直播行業(yè);不能迅速走完技術(shù)升級歷程的狼人殺廠商就會逐漸退出或者轉(zhuǎn)型。

狼人殺語音視頻,入門容易差異化難。困難不僅在于關(guān)鍵的痛點,而且在于速度。慢半拍產(chǎn)品只會被丟入長尾的紅塵中,被下一波的浪潮淹沒。

雷峰網(wǎng)特約稿件,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

分享:
相關(guān)文章

專欄作者

即構(gòu)科技資深架構(gòu)師(微信xianniu1216),北京郵電大學(xué)計算機碩士,香港大學(xué)MBA,實時音視頻技術(shù)專家,專注連麥直播、視頻社交和游戲語音領(lǐng)域。
當(dāng)月熱門文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說