1999年，當(dāng)時(shí)還叫OICQ的聊天軟件發(fā)布了一個(gè)新版本，語(yǔ)音通話功能被正式加入，隨后，視頻通話也被加入。18年后的今天，QQ的月活躍用戶已經(jīng)超過(guò)8億，一個(gè)更驚人的數(shù)字是，最多的時(shí)候，QQ用戶每天的音視頻通話時(shí)長(zhǎng)達(dá)12億分鐘。

在QQ發(fā)展過(guò)程中，其背后的音視頻通信技術(shù)也經(jīng)歷了對(duì)外采購(gòu)，到成立QQ音視頻技術(shù)中心，自研引擎，再發(fā)展壯大為騰訊音視頻實(shí)驗(yàn)室，開放自研的SPEAR音視頻引擎的過(guò)程?，F(xiàn)在，隨著全民直播時(shí)代的到來(lái)，騰訊又研發(fā)并開放了一體化的直播解決方案，并將騰訊直播SDK應(yīng)用于斗魚、虎牙、快手等頂級(jí)的直播平臺(tái)。這背后，技術(shù)、經(jīng)驗(yàn)上的不斷進(jìn)步和積累，也有騰訊對(duì)中國(guó)復(fù)雜的網(wǎng)絡(luò)狀況的智能處理。

日前，騰訊音視頻實(shí)驗(yàn)室負(fù)責(zé)人劉曉宇接受了雷鋒網(wǎng)的采訪，聊了聊這些問(wèn)題，并向我們介紹了精細(xì)化運(yùn)營(yíng)及5G技術(shù)來(lái)臨之際，直播會(huì)有哪些更新鮮的玩法。

（騰訊音視頻實(shí)驗(yàn)室負(fù)責(zé)人劉曉宇）

騰訊音視頻實(shí)驗(yàn)室：從無(wú)到有，再到支持每天12億分鐘通話

遙遠(yuǎn)的斯坦福校園內(nèi)，一位機(jī)器學(xué)習(xí)教授上課的場(chǎng)景被高清攝像機(jī)捕捉的畫面，通過(guò)編碼器壓縮，以分段發(fā)送的方式，通過(guò)互聯(lián)網(wǎng)傳輸?shù)侥愕碾娔X上，再由播放器進(jìn)行實(shí)時(shí)解壓縮處理，你就能學(xué)習(xí)到最前沿的課程。

流媒體技術(shù)給互聯(lián)網(wǎng)帶來(lái)了無(wú)限的活力，而當(dāng)場(chǎng)景變成音視頻通訊時(shí)，背后的技術(shù)就不止復(fù)雜了一倍。除了雙向的反饋，實(shí)時(shí)通訊對(duì)延遲的要求也變得非常高；另外，回聲處理也成了新的問(wèn)題，“我聽到你的聲音出來(lái)了，我也要說(shuō)話，這個(gè)過(guò)程中麥克風(fēng)是一直開著的，假如不處理回聲，你的聲音會(huì)被再次采集進(jìn)去，播到你那邊?！?/p>

在騰訊大廈的騰訊音視頻實(shí)驗(yàn)室內(nèi)，劉曉宇向雷鋒網(wǎng)做了一個(gè)小科普。2005年，他加入騰訊，負(fù)責(zé)QQ應(yīng)用層的架構(gòu)設(shè)計(jì)，“除了底層的公共組件，好友面板、消息窗口，包括空間、音樂(lè)、郵箱等插件化功能，可以理解為你能看到的QQ界面展示出的東西，都是我們開發(fā)的?！?/p>

2011年，騰訊正式成立了音視頻中心，劉曉宇被任命為負(fù)責(zé)人。盡管QQ在1999年就有了音視頻通話功能，但很長(zhǎng)一段時(shí)間，騰訊都依靠騰訊研究院和第三方技術(shù)提供商，沒(méi)有獨(dú)立的團(tuán)隊(duì)負(fù)責(zé)音視頻通訊。

成立音視頻中心，是因?yàn)轵v訊覺得音視頻會(huì)是未來(lái)的一個(gè)爆發(fā)點(diǎn)，還有一個(gè)重要原因，當(dāng)時(shí)采購(gòu)自GIPS（后被Google收購(gòu)）的技術(shù)方案，是一個(gè)“黑盒子”，出現(xiàn)問(wèn)題時(shí)自己無(wú)法找出原因，GIPS又不夠重視，這堅(jiān)定了騰訊技術(shù)自研的決心。

劉曉宇介紹，在音視頻通訊中，網(wǎng)絡(luò)問(wèn)題一直是一個(gè)技術(shù)難點(diǎn)。檢測(cè)網(wǎng)絡(luò)帶寬，以平衡視頻質(zhì)量和傳輸速度的帶寬探測(cè)，處理丟包、抖動(dòng)，都需要很深的技術(shù)積累。另外，隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，設(shè)備碎片化越來(lái)越嚴(yán)重，適配不同的設(shè)備又成了巨大的問(wèn)題，“我們經(jīng)常要適配系統(tǒng)的問(wèn)題，有時(shí)候會(huì)出現(xiàn)很戲劇化的事情?！庇幸粋€(gè)版本的QQ，騰訊特意為適配不好的小米手機(jī)做了優(yōu)化，但版本還沒(méi)發(fā)布，小米就發(fā)現(xiàn)了問(wèn)題，自己率先做了優(yōu)化。互相適應(yīng)，結(jié)果又有問(wèn)題了。

（為了測(cè)試QQ在不同網(wǎng)絡(luò)中的音視頻通話質(zhì)量，騰訊音視頻實(shí)驗(yàn)室拉了10多條和用戶真實(shí)情況一樣的寬帶，涵蓋各個(gè)運(yùn)營(yíng)商、教育網(wǎng)等）

音視頻中心的發(fā)展壯大，推動(dòng)了QQ音視頻通話功能的不斷革新?，F(xiàn)在，QQ用戶每天的音視頻通話時(shí)長(zhǎng)達(dá)12億分鐘。2015年11月，騰訊正式開放自研的SPEAR音視頻引擎，將包括流控策略控制云端化、通道智能化/多通道備份機(jī)制、分布式混音和云混音、跨平臺(tái)通信協(xié)議設(shè)計(jì)、提供跨平臺(tái)客戶端引擎SDK、預(yù)連接設(shè)計(jì)、雙人/多人通話平滑切換、通話客觀質(zhì)量評(píng)測(cè)體系等特性帶給更多的開發(fā)者。

2016年，騰訊音視頻實(shí)驗(yàn)室正式成立，最初成立時(shí)只有7個(gè)人的音視頻中心，如今已有80多人。除了繼續(xù)保障QQ的音視頻通話，將它的能力開放出來(lái)，在企業(yè)級(jí)市場(chǎng)上有所作為，也成了音視頻實(shí)驗(yàn)室的新任務(wù)。

從音視頻通話到直播：技術(shù)、需求都要隨人性而改變

2015年，隨著4G和智能手機(jī)的普及，移動(dòng)直播開始成為一個(gè)新的熱點(diǎn)。其實(shí)在技術(shù)上，直播并不是一個(gè)新興的東西，早在2008年前后，六間房就開始嘗試使用Flash的技術(shù)進(jìn)行網(wǎng)頁(yè)直播。

從網(wǎng)頁(yè)直播到移動(dòng)直播，用戶的需求沒(méi)變，但使用的網(wǎng)絡(luò)環(huán)境、設(shè)備、直播環(huán)境都在發(fā)生變化。例如，移動(dòng)直播要解決Wi-Fi、移動(dòng)網(wǎng)絡(luò)的切換問(wèn)題；而在不同的空間里，保證音質(zhì)、視頻流暢以及光線平衡，又對(duì)技術(shù)提出了新的挑戰(zhàn)。劉曉宇向雷鋒網(wǎng)舉了個(gè)例子，最早做音視頻通訊時(shí)，騰訊向GIPS采購(gòu)的音視頻通話方案經(jīng)常會(huì)遇到投訴，其中的一個(gè)重要原因是中國(guó)復(fù)雜的網(wǎng)絡(luò)環(huán)境，比如南北通問(wèn)題、用戶糟糕的網(wǎng)絡(luò)連接等。

（消音實(shí)驗(yàn)室，關(guān)閉大門安靜時(shí)分貝數(shù)僅為17，可以保證每次測(cè)試環(huán)境的一致）

在應(yīng)對(duì)移動(dòng)直播時(shí)，類似的問(wèn)題同樣存在，這就需要移動(dòng)技術(shù)提供商針對(duì)不同的環(huán)境進(jìn)行優(yōu)化，其中弱網(wǎng)專項(xiàng)優(yōu)化、搶帶寬的能力、手機(jī)性能優(yōu)化、機(jī)型適配、后臺(tái)轉(zhuǎn)碼能力等，都會(huì)直接影響直播間穩(wěn)定、清晰度，連麥的實(shí)時(shí)性和溝通的順暢。

另外，據(jù)劉曉宇介紹，因?yàn)橛脩粲^看直播的微妙習(xí)慣，技術(shù)策略上也要做相應(yīng)的調(diào)整。例如，在以前的視頻通話中，用戶的主要需求是低延時(shí)，所以當(dāng)網(wǎng)絡(luò)不好時(shí)，系統(tǒng)會(huì)自動(dòng)降低視頻清晰度。但是在直播中則完全相反，“寧可卡一點(diǎn)，延遲稍微大一點(diǎn)，也不要把分辨率降下來(lái)”；在研究中，劉曉宇的團(tuán)隊(duì)還發(fā)現(xiàn)，用戶在觀看直播時(shí)非常隨性，會(huì)習(xí)慣性地滑到下一個(gè)直播，這就需要系統(tǒng)提前緩存畫面，讓用戶快速切換直播。

現(xiàn)在，騰訊已經(jīng)有了一整套的直播技術(shù)解決方案，只需要幾行代碼，就可以讓企業(yè)接入騰訊直播模塊，擁有騰訊的直播技術(shù)支持。

這套音視頻直播AVL（Audio Video Live）方案，依托騰訊的SPEAR音視頻通信引擎，通過(guò)騰訊直播SDK可打造跨平臺(tái)一對(duì)多、多對(duì)多的超清酷炫直播場(chǎng)景。除了能夠提供基礎(chǔ)的高清、秒開、高音質(zhì)、轉(zhuǎn)碼、鑒黃能力外，還具備連麥、實(shí)時(shí)錄制、音頻直播、美顏、水印、混音、IM等特色能力。同時(shí)兼具旁路直播、屏幕分享、人臉識(shí)別、濾鏡、掛件等“冷僻”能力，全部能力達(dá)到17項(xiàng)之多，是目前能力覆蓋最全的主流直播SDK。其流暢度、音質(zhì)、低延遲、下行抗丟包4項(xiàng)指標(biāo)位居行業(yè)第一，其他核心數(shù)據(jù)也接近行業(yè)最佳。

（測(cè)試真實(shí)通話時(shí)的質(zhì)量，過(guò)程中的各項(xiàng)數(shù)據(jù)都會(huì)被實(shí)時(shí)記錄下來(lái)）

音視頻直播AVL 的一個(gè)重要應(yīng)用是直播中的連麥，現(xiàn)在，斗魚、虎牙和快手，都使用了這個(gè)服務(wù)。斗魚直播產(chǎn)品規(guī)劃經(jīng)理汪楚峰也接受了雷鋒網(wǎng)的采訪，據(jù)他介紹，成立于2014年的斗魚，現(xiàn)在每天開播的直播間數(shù)量超過(guò)4萬(wàn)，每天的活躍用戶超過(guò)2000萬(wàn)。

2015年，斗魚開始使用騰訊提供的直播連麥功能，除了低延遲，騰訊還提供了虛擬裝扮、主播變聲等特色功能，另外在音樂(lè)場(chǎng)景中，騰訊對(duì)麥克風(fēng)收音和音質(zhì)提高上也有深入的優(yōu)化。

垂直場(chǎng)景、語(yǔ)音識(shí)別、VR，新技術(shù)之下直播還有新玩法

今年初的春節(jié)期間QQ視頻通話里做了一個(gè)視頻表情彩蛋的玩法，說(shuō)出“么么噠”屏幕上會(huì)出現(xiàn)紅唇表情，說(shuō)“新年快樂(lè)”、“恭喜發(fā)財(cái)”也會(huì)有對(duì)應(yīng)的驚喜表情。

這只是語(yǔ)音識(shí)別在視頻通話上的初步應(yīng)用。直播平臺(tái)的競(jìng)爭(zhēng)已經(jīng)出現(xiàn)“大魚吃小魚”的態(tài)勢(shì)，在劉曉宇看來(lái)，技術(shù)將成為直播平臺(tái)差異化的一個(gè)突破點(diǎn)。

今年，NOW直播已經(jīng)開始測(cè)試綠幕直播，當(dāng)用戶在直播過(guò)程中，環(huán)境背景為指定綠色時(shí)，可替換任意手機(jī)相冊(cè)內(nèi)的照片或視頻。這種應(yīng)用在電影制作中的技術(shù)，可以讓直播有更創(chuàng)新的玩法，有分析人士認(rèn)為，它可以應(yīng)用于二次元主題直播。接下來(lái)騰訊也會(huì)將該能力集成到直播SDK中去，開放給更多直播平臺(tái)使用。

（Now直播的綠幕直播）

現(xiàn)在的直播，秀場(chǎng)和游戲直播占了絕大多數(shù)，但同時(shí)，也開始出現(xiàn)越來(lái)越多的垂直場(chǎng)景，如金融、教育類直播，在這類場(chǎng)景中，除了主播和觀眾，還涉及到屏幕，現(xiàn)在，騰訊的直播技術(shù)已經(jīng)能解決三方同步、滿足屏幕解碼和CPU控制的問(wèn)題。

另外，VR直播曾經(jīng)被高度看好，劉曉宇告訴雷鋒網(wǎng)，目前VR直播的技術(shù)障礙主要在于，要保證多人同時(shí)觀看的沉浸式體驗(yàn)，直播源就要傳輸360度的全量數(shù)據(jù)，而這個(gè)數(shù)據(jù)量是非常龐大的；另外，在采集全景視頻時(shí)，畫面疊加部分的拼接、分割，鏡頭的矯正都還有很長(zhǎng)一段路要走。

不過(guò)，科技行業(yè)永遠(yuǎn)是進(jìn)步最快的領(lǐng)域，根據(jù)工信部和三大運(yùn)營(yíng)商的規(guī)劃，2020年，中國(guó)5G將正式商用，劉曉宇說(shuō)，“和4G相比，5G會(huì)是一種質(zhì)變，我們會(huì)時(shí)刻關(guān)注這里的技術(shù)發(fā)展?！?/p>

 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。