近日，英特爾中國(guó)研究院舉辦了一場(chǎng)媒體開放日，現(xiàn)場(chǎng)英特爾中國(guó)研究院院長(zhǎng)宋繼強(qiáng)介紹了他們的研究方向和目前取得的一些成果，射程涵蓋 HERO 智能機(jī)器人平臺(tái)，人臉分析及情感識(shí)別技術(shù)，神經(jīng)擬態(tài)芯片，當(dāng)然，還有 5G 和 VR。

說起來，英特爾很早便開始關(guān)注 VR 了。從 2016 年開始，雷鋒網(wǎng)發(fā)現(xiàn)，他們?cè)?017 年年初的 CES 上展示過一段六自由度視頻，六月份的 E3 大展期間亮相過 VR 無線方案，甚至還宣布將為多屆奧運(yùn)會(huì)進(jìn)行 VR 直播，以及還有很多他們沒有公布的事情。

雷鋒網(wǎng)覺得，對(duì) VR 的研究，英特爾下了不少功夫。而在這次的媒體溝通會(huì)上，來自英特爾中國(guó)研究院通信架構(gòu)實(shí)驗(yàn)室的研究員詳細(xì)地介紹了 5G 和 VR 的結(jié)合，未來 5G 將如何助力 VR 的發(fā)展。

雷鋒網(wǎng)將演講全文整理如下。

通信架構(gòu)實(shí)驗(yàn)室主要是致力于無線通信基礎(chǔ)架構(gòu)的研究，我們主要是采用通信和計(jì)算結(jié)合的方式打造高效的端到端的通信系統(tǒng)，提升用戶體驗(yàn)。今天我給大家介紹的主題主要是匯報(bào)我們 5G 和 VR 結(jié)合的工作——“通信和計(jì)算融合，引領(lǐng)VR未來”。

主要介紹三個(gè)部分：

• 第一，5G 主要面對(duì)的數(shù)據(jù)洪流，從架構(gòu)上怎么支持 5G 的數(shù)據(jù)洪流。

• 第二，介紹研究院對(duì)于遠(yuǎn)程沉浸式互動(dòng)的愿景。

• 第三，通信與計(jì)算融合解決移動(dòng) VR 關(guān)鍵問題。

 我們研究工作的重點(diǎn)主要是通信和計(jì)算融合的方式，為什么需要通信和計(jì)算融合呢？大家如果從互聯(lián)網(wǎng)廠商的角度可能認(rèn)為通信系統(tǒng)基本上對(duì)我來說是透明的，我不需要知道你通信到底做了哪些事情，只需要把信息從一端傳到另一端就可以，為什么通信和計(jì)算要結(jié)合起來，有什么好處？

5G 如何應(yīng)對(duì)龐大的數(shù)據(jù)流

主要的出發(fā)點(diǎn)是數(shù)據(jù)，怎么處理數(shù)據(jù)和傳輸數(shù)據(jù)，特別是 5G 將來所要面對(duì)的數(shù)據(jù)洪流。大家肯定都是對(duì)摩爾定律非常熟悉，宋院長(zhǎng)（英特爾中國(guó)研究院院長(zhǎng)宋繼強(qiáng)）也介紹摩爾定律如何實(shí)現(xiàn)每18個(gè)月我們芯片的能力翻一番。

而在通信領(lǐng)域，通信系統(tǒng)通信速率的發(fā)展以及我們對(duì)移動(dòng)通信數(shù)據(jù)的需求，甚至是超過了摩爾定律。比如說 2016 年全球的移動(dòng)數(shù)據(jù)通信量是增長(zhǎng)了 63%，如果按照這個(gè)速度下去，兩年實(shí)際上就翻了 2.5 倍左右。它的增長(zhǎng)速率甚至超越了摩爾定律的發(fā)展。為什么？借用十九大的一句話，滿足我們?nèi)找嬖鲩L(zhǎng)的對(duì)美好文化生活的需求。這是一個(gè)指數(shù)定律。

按照這個(gè)速率增長(zhǎng)下去，到 2020 年 5G 部署的時(shí)候我們將面對(duì)什么呢？我們將面對(duì) 50EB 數(shù)據(jù)的流量，每個(gè)月的移動(dòng)數(shù)據(jù)流量在今天的基礎(chǔ)上再增長(zhǎng)5倍。EB 是 10 的 18 次方。同時(shí)，我們知道 5G 支持物聯(lián)網(wǎng)的應(yīng)用，特別是我們提的自動(dòng)駕駛，自動(dòng)駕駛的汽車每天產(chǎn)生的數(shù)據(jù)是 4 個(gè) TB，如果大家對(duì)硬盤比較熟悉，一天產(chǎn)生的數(shù)據(jù)容量要充滿非常大的硬盤，每年 365 天需要買 365 個(gè)硬盤來存儲(chǔ)整個(gè)自動(dòng)駕駛的數(shù)據(jù)。特別是自動(dòng)工廠智慧城市里的互聯(lián)工廠，一天的數(shù)據(jù)量，像芯片廠、封裝廠一天的數(shù)據(jù)流量就是 1TB，一天要買幾百塊硬盤來裝滿你的數(shù)據(jù)。對(duì)于 5G 來說我們所要面臨的數(shù)據(jù)洪流是非常巨大，對(duì)整個(gè)通信系統(tǒng)和計(jì)算系統(tǒng)來說都是一個(gè)巨大的挑戰(zhàn)，當(dāng)然也意味著巨大的商機(jī)。

今天圍繞的主題是VR和5G，為什么VR需要特別大的數(shù)據(jù)容量，為什么VR在數(shù)據(jù)洪流里會(huì)占據(jù)大量的流量呢？目前互聯(lián)網(wǎng)的最主要的傳輸內(nèi)容是視頻，將來VR是代表更高質(zhì)量視頻的未來。

舉個(gè)例子，如果大家看一張很高清的圖片，放在手機(jī)上或者是放在電視上會(huì)覺得現(xiàn)在的清晰度已經(jīng)超出你的想象，非常的清楚。但是如果你把一個(gè)同樣的圖片放在一個(gè)VR眼鏡上，同樣的分辨率會(huì)變得非常模糊，為什么？主要是視角的原因，我們?cè)谑謾C(jī)和電視機(jī)上看圖片的時(shí)候，你的視角只有10到30度左右，在VR眼鏡上拓展到100度、120度、150度，一下子增加了好幾倍，縱向還有增加的倍數(shù)。為了達(dá)到非常好的高清要求，對(duì)VR的顯示來說需要25倍到40倍的分辨率增加，這樣它的流量會(huì)變得非常高。

比如我們要打造一個(gè)非常好的VR系統(tǒng)，現(xiàn)在的系統(tǒng)是達(dá)不到這個(gè)要求，你需要16K到24K超級(jí)高清的VR。不壓縮的話，容量會(huì)達(dá)到500Gbps，每個(gè)月的容量是1Gbps，如果是500Gbps，可能是十幾年的容量一秒鐘就過去了，即使壓縮之后也達(dá)到1Gbps，同時(shí)VR對(duì)顯示的延遲非常敏感，對(duì)傳輸?shù)娜蒎e(cuò)性也是非常敏感。所以對(duì)5G來說，特別是高質(zhì)量的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)，對(duì)5G的通信系統(tǒng)和計(jì)算系統(tǒng)來說都要著力應(yīng)對(duì)。

 

我們主要研究系統(tǒng)架構(gòu)，在5G系統(tǒng)架構(gòu)里面怎么樣滿足一個(gè)速率洪流的要求，主要是采用計(jì)算和網(wǎng)絡(luò)融合的方式，在端到端的部署、計(jì)算和網(wǎng)絡(luò)系統(tǒng)來滿足數(shù)據(jù)處理和傳輸?shù)囊蟆?/strong>

在3G、4G時(shí)代，網(wǎng)絡(luò)是網(wǎng)絡(luò)，數(shù)據(jù)和云計(jì)算是云計(jì)算功能，對(duì)于一個(gè)云計(jì)算的應(yīng)用來說，網(wǎng)絡(luò)基本上是透明的，它的傳輸容量在接入網(wǎng)端的傳輸容量和核心網(wǎng)的傳輸容量，骨干網(wǎng)的傳輸容量是一致的，你發(fā)的任何一個(gè)請(qǐng)求都會(huì)到云計(jì)算中心處理，然后再把結(jié)果返回給你，這樣在整個(gè)容量是一個(gè)一致的管道的容量。

大家應(yīng)該都有親身的體驗(yàn)，如果你寬帶擴(kuò)容了50兆，然后再擴(kuò)到100兆或1Gbps，其實(shí)你的感覺并不明顯，你的容量并不是受限于接入網(wǎng)端，而是在核心網(wǎng)、骨干網(wǎng)或者數(shù)據(jù)中心里面，沒有辦法支持那么高速率的應(yīng)用。如果你的小區(qū)里面放一個(gè)視頻服務(wù)器，你去訪問視頻服務(wù)器的時(shí)候會(huì)感覺看起高清大片來特別流暢，主要是因?yàn)閮?nèi)容下沉。

在4G的后半期我們已經(jīng)引入了邊緣計(jì)算，邊緣計(jì)算的目的主要是應(yīng)對(duì)在網(wǎng)絡(luò)邊緣的數(shù)據(jù)傳輸和處理的要求。我們加入邊緣計(jì)算，可以對(duì)很多邊緣產(chǎn)生的數(shù)據(jù)進(jìn)行實(shí)時(shí)的處理和反饋，比如智能汽車產(chǎn)生的數(shù)據(jù)，智能工廠產(chǎn)生的數(shù)據(jù)，這樣就不需要把所有的數(shù)據(jù)傳到云計(jì)算中心再進(jìn)行處理。它有兩點(diǎn)非常明顯的好處，第一是時(shí)延非常低，滿足物聯(lián)網(wǎng)的應(yīng)用。第二是減少核心網(wǎng)的帶寬。雖然我們的5G會(huì)將邊緣的容量擴(kuò)展得很大，比如說100倍到1000倍左右，核心網(wǎng)不可能擴(kuò)展到1000倍。

在5G和下一代會(huì)是什么樣？會(huì)發(fā)生什么呢？在第三階段的時(shí)候，我們認(rèn)為它的計(jì)算能力會(huì)進(jìn)一步的下移到智能終端。比如，車或者手機(jī)實(shí)際上就是一個(gè)智能終端，家里的傳感器和路上的傳感器很多都可以連到智能終端上，5G的網(wǎng)絡(luò)會(huì)把整個(gè)物聯(lián)網(wǎng)設(shè)備、智能終端和邊緣計(jì)算的能力、云計(jì)算的能力統(tǒng)一起來，所以我們能夠打造一個(gè)端到端的網(wǎng)絡(luò)，同時(shí)也是一個(gè)端到端的計(jì)算平臺(tái)，來應(yīng)對(duì)5G的數(shù)據(jù)洪流。

 大家肯定是對(duì)AR/VR非常熟悉，我們對(duì)未來AR和VR的認(rèn)識(shí)和愿景是什么。我們主要是提出遠(yuǎn)程沉浸式互動(dòng)的未來，什么意思？未來，你帶著一個(gè)VR眼鏡，我們可以用5G的網(wǎng)絡(luò)把你和一個(gè)智能的機(jī)器人連接起來。

中國(guó)研究院也有非常多的智能機(jī)器人方面的研究，我們把網(wǎng)絡(luò)和機(jī)器人連接起來，同時(shí)機(jī)器人能夠把360度視頻和聲音實(shí)時(shí)的傳輸?shù)娇蛻舳耍憧梢詫?duì)機(jī)器人進(jìn)行控制和真實(shí)的世界進(jìn)行互動(dòng)。這能達(dá)到什么效果呢？就好像在任何時(shí)間你都會(huì)瞬間的轉(zhuǎn)移到世界上任何一個(gè)角落，和一個(gè)真實(shí)的環(huán)境進(jìn)行互動(dòng)，這是我們?cè)O(shè)想的一個(gè)超越目前AR和VR遠(yuǎn)程沉浸式互動(dòng)的未來。

能支持什么樣的應(yīng)用呢？我們覺得非常多的應(yīng)用，像遠(yuǎn)程購物，你現(xiàn)在是在北京，你可以一下子就跑到美國(guó)的超市里進(jìn)行購物，從貨架上親自把你想要的東西選下來，你就再也不用擔(dān)心假貨。還有遠(yuǎn)程的旅游，比如說你在一個(gè)你喜歡的時(shí)間和地點(diǎn)，比如說慕田峪剛下過雪，或者夕陽西下的時(shí)候，一下子跑到那里，可以親自體驗(yàn)一下那個(gè)美景。

還有社交的功能，大家回家都非常少，在外地工作的時(shí)候，有了我們這個(gè)系統(tǒng)可以瞬間轉(zhuǎn)移到你的家里，和你的父母進(jìn)行聊天，好像你真的回到家里身臨其境一樣，這是我們?cè)O(shè)想的遠(yuǎn)程沉浸式互動(dòng)的未來。我們用什么樣的技術(shù)實(shí)現(xiàn)呢？下面跟大家介紹一下。

VR最主要的肯定是要做內(nèi)容，我們剛才也說目前的VR內(nèi)容2K、4K，它的清晰度還差得很遠(yuǎn)，我們?cè)趺礃赢a(chǎn)生高質(zhì)量VR的內(nèi)容呢。如果你體驗(yàn)過VR的視頻可能會(huì)有一些體驗(yàn)，目前的VR視頻除了是好萊塢制作的大片，基本上VR視頻內(nèi)容都是2D的，因?yàn)?D VR視頻生成是非常復(fù)雜的，制作難度也大。

所以，我們英特爾中國(guó)研究院研究的目標(biāo)聚焦兩點(diǎn)：

第一，3D VR視頻能實(shí)時(shí)合成，能夠產(chǎn)生高質(zhì)量的內(nèi)容。

第二，怎么實(shí)時(shí)產(chǎn)生內(nèi)容滿足我們對(duì)遠(yuǎn)程沉浸式未來的要求。

我們的設(shè)備大家可以看到它有非常多的攝像頭，有17個(gè)，每個(gè)攝像頭是2K的分辨率，為什么需要這么多的攝像頭，實(shí)際上主要是為了在水平方向能夠在任意方向差值生成一個(gè)3D的內(nèi)容，需要每個(gè)攝像頭之間有比較多的重合區(qū)域，所以需要非常多的攝像頭。

3D VR的合成算法非常復(fù)雜，特別是產(chǎn)生一個(gè)沒有瑕疵的3D視頻，你要消除它的鬼影效應(yīng)，消除拼接的瑕疵，采用非常復(fù)雜的光流算法，即使是目前最強(qiáng)大的服務(wù)器和最強(qiáng)大的臺(tái)式機(jī)也很難完成實(shí)時(shí)性的功能。

我們開發(fā)了分布式的處理平臺(tái)，是非常高密度的分布式處理平臺(tái)，是2.5U高的機(jī)箱，在這里可以插入12個(gè)至強(qiáng)CPU卡，同時(shí)插入12塊FPGA卡，中間有600G左右的互聯(lián)能力。對(duì)視頻VR處理來說，對(duì)實(shí)時(shí)合成來說一個(gè)主要的功能就是怎么樣實(shí)現(xiàn)精準(zhǔn)的同步，從處理的角度實(shí)現(xiàn)精準(zhǔn)的同步，這個(gè)平臺(tái)也可以支持。通過我們算法的研究，通過實(shí)時(shí)處理的加強(qiáng)，希望我們能夠真正的達(dá)到產(chǎn)生一個(gè)非常高質(zhì)量的，比如說現(xiàn)在產(chǎn)生8K的高清的內(nèi)容，滿足將來的要求。

我們有了內(nèi)容之后，下一個(gè)面臨的問題是怎么樣把這些內(nèi)容傳輸?shù)娇蛻舳?。剛才說了VR的傳輸要求是非常高，整個(gè)的帶寬需要是100兆到1Gbps。同時(shí)，延遲需要非常低，只有十幾毫秒到二十多毫秒。目前的網(wǎng)絡(luò)基本上是沒有辦法滿足這個(gè)要求，所有移動(dòng)的網(wǎng)絡(luò)是有接入網(wǎng)，有核心網(wǎng)，有骨干網(wǎng)，所以在任何的兩個(gè)用戶之間傳輸，即使你是在離得很近的兩個(gè)用戶傳輸，實(shí)際上要走一大圈，中間需要經(jīng)過非常多的設(shè)備，即使優(yōu)化得很好，最好的效果只能達(dá)到50毫秒到100毫秒。

在這種情況下怎么能夠滿足VR處理實(shí)時(shí)性的十幾毫秒的要求，特別是移動(dòng)的時(shí)候跟上你的顯示速度，這只有十幾毫秒。我們提出一種方法——邊緣計(jì)算，通過通信和計(jì)算結(jié)合的方法，采用邊緣計(jì)算的能力能夠使VR達(dá)到實(shí)時(shí)傳輸?shù)囊?，解決從顯示到頭顯的要求，解決從帶寬到時(shí)延的要求。

首先，我們生成VR的視頻內(nèi)容之后，把360度的全景視頻通過壓縮傳到邊緣服務(wù)器，在邊緣服務(wù)器端有整個(gè)全景的內(nèi)容，可以同時(shí)服務(wù)多個(gè)用戶。每個(gè)用戶會(huì)把自己的視角信息，你在看哪個(gè)方向傳給邊緣服務(wù)器，邊緣服務(wù)器把視角信息的內(nèi)容發(fā)給用戶。

這樣有兩個(gè)特別顯著的好處：

一是通過通信和計(jì)算結(jié)合的方式，采用邊緣服務(wù)器能夠顯著降低從移動(dòng)到顯示的時(shí)延，本來是50到100毫秒，現(xiàn)在只是10到20毫秒。

二是能夠大大降低無線通信帶寬的需求。如果不采用這種方法需要1Gbps帶寬，采用這種方法可以降低2到3倍。通過這種方法我們能夠打造一個(gè)高效的5G網(wǎng)絡(luò)傳輸系統(tǒng)。

還有一點(diǎn)比較重要的：可靠性。因?yàn)閂R的傳輸它對(duì)數(shù)據(jù)傳輸?shù)目煽啃砸蠓浅８?/strong>。一個(gè)視頻如果離得很遠(yuǎn)，看電視的時(shí)候突然有一些瑕疵可能感覺比較明顯，但不會(huì)感覺特別不舒服，但是如果一個(gè)VR眼鏡在顯示一個(gè)視頻的時(shí)候，如果突然感覺有一幀丟失了，就需要很長(zhǎng)的時(shí)間才能恢復(fù)出來，這時(shí)候會(huì)感覺到特別的不舒服。

怎么樣滿足這個(gè)要求呢？當(dāng)然，如果我們僅僅從通信設(shè)計(jì)的角度去設(shè)計(jì)一個(gè)速率非常高，延時(shí)非常低，同時(shí)容錯(cuò)性非常好的系統(tǒng)，這也是可以做得到的，但是整個(gè)的成本和效率就會(huì)非常低。我們也提出用通信和計(jì)算結(jié)合的方式，我們把整個(gè)頭顯端的計(jì)算功能增強(qiáng)，在頭顯端做一些容錯(cuò)性處理，比如把異步時(shí)間扭曲的功能加到頭顯端。

舉個(gè)例子，通過邊緣服務(wù)器或者是個(gè)人的筆記本，把視頻、游戲傳到頭顯端，第一幀會(huì)正確接收，當(dāng)?shù)诙瑐鬏斒〉臅r(shí)候，頭顯端會(huì)用前一幀的內(nèi)容根據(jù)目前頭顯的位置信息和視角信息進(jìn)行旋轉(zhuǎn)，重新生成第二幀的內(nèi)容，這時(shí)候用戶對(duì)整個(gè)傳輸失敗的感覺不會(huì)太明顯，甚至沒有丟失的感覺，這樣用戶體驗(yàn)會(huì)大大提升。我們將這種增強(qiáng)異步時(shí)間扭曲的功能加入到移動(dòng)VR頭顯端，特別是加入到手機(jī)端。通過增強(qiáng)頭顯端和手機(jī)端的功能，提高整個(gè)系統(tǒng)的可靠性和體驗(yàn)，顯著的降低VR帶寬的需求和整個(gè)設(shè)計(jì)的難度。

這是我們錄的兩段視頻，左邊是英特爾的移動(dòng)VR系統(tǒng)，右邊是第三方的系統(tǒng)?？梢钥吹阶筮叺南到y(tǒng)是我們用手機(jī)拍攝下來的，是非常流暢，但是右邊因?yàn)槭峭耆窟@種PC的功能，手機(jī)端的功能比較弱，會(huì)顯得非?？D。

還有另外一點(diǎn)最重要的，也是做研究經(jīng)常容易忽略的一件事情，你的應(yīng)用在哪里來。如果我們做了一個(gè)VR系統(tǒng)，所有的應(yīng)用要重新寫，所有的內(nèi)容要重新生成，那是沒有辦法建立起一個(gè)生態(tài)系統(tǒng)的。

我們做的事情就是怎么把我們的移動(dòng)VR移植到PC端、邊緣服務(wù)器端和主流的平臺(tái)上，我們開發(fā)了VR無線適配，可以無縫的接到Steam平臺(tái)，Steam運(yùn)行的游戲和內(nèi)容就可以在移動(dòng)VR上播放和運(yùn)行。我們把顯示內(nèi)容從PC或者邊緣服務(wù)器顯示到移動(dòng)VR端，同時(shí)移動(dòng)VR端的感知信息，比如傳感器的信息會(huì)發(fā)給Steam平臺(tái)，能夠?qū)⒁粋€(gè)PC VR的體驗(yàn)和基于云計(jì)算VR的體驗(yàn)帶到真正的移動(dòng)VR端。

最后總結(jié)一下，我們通信架構(gòu)實(shí)驗(yàn)室主要是在5G和VR結(jié)合方面的研究，通過通信和計(jì)算融合的方式打造一個(gè)高效的通信和計(jì)算系統(tǒng)，能夠?qū)斫鉀Q一些移動(dòng)VR端的關(guān)鍵問題，通往我們所設(shè)想的遠(yuǎn)程沉浸式互動(dòng)的未來。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。