2021年12月10日，由雷峰網(wǎng)(公眾號：雷峰網(wǎng))與小虎互聯(lián)科技聯(lián)合舉辦的全球人工智能與機器人大會元宇宙分論壇在深圳成功進行。參會的觀眾與嘉賓熱情高漲，都對元宇宙概念的前景滿懷期盼。

在概念被熱炒的當(dāng)下，有許多人卻能夠透過浮躁的市場，看到在元宇宙進程中實行基建的可能性。聲網(wǎng)Agora就是其中之一。10日會上，聲網(wǎng)Agora的物聯(lián)網(wǎng)負責(zé)人侯云憶出席并就實時互動（RTE）發(fā)布了主題演講，題為《RTE：元宇宙的基礎(chǔ)設(shè)施》。

侯云憶表示，在元宇宙的基礎(chǔ)架構(gòu)設(shè)計中，實時互動是無比重要的基礎(chǔ)設(shè)施，甚至能被稱為元宇宙的“空氣和水”。一方面，延遲的降低能降低用戶在XR使用中的眩暈感；另一方面，交互的實時性也能讓虛擬世界更令人置信，用戶的沉浸體驗也會相應(yīng)被很大增強。

而關(guān)于如何將實時互動落到元宇宙建設(shè)的實處，侯云憶認為有四點應(yīng)該特別關(guān)注：

“一是‘高實時性’，即如何在更高的信息密度下達到高實時性；二是‘高互動性’，就是我們今天強調(diào)的高參與感，如何有更高的互動性，而不僅僅是過去所謂的音視頻的通信和傳輸；三是‘高沉浸感’，還原我們在物理世界里參與社會活動，去生活、去工作；四則是‘無處不在’。”

下面是侯云憶的演講內(nèi)容，雷鋒網(wǎng)在不變更原意的前提下對其進行了一定的整理：

謝謝雷鋒網(wǎng)的邀請，首先向大家簡單介紹一下聲網(wǎng)。

聲網(wǎng)是實時互動云服務(wù)開創(chuàng)者和引領(lǐng)者，我們在公共互聯(lián)網(wǎng)上定義了軟件定義的虛擬網(wǎng)絡(luò)，為開發(fā)者提供全球化低延時的實時互動服務(wù)。我們的開發(fā)者經(jīng)常形容聲網(wǎng)提供的SDK是場景化的SDK，目前我們覆蓋了200多個場景和行業(yè)，包括在線教育、社交娛樂、金融、AR、VR、IoT等場景，也服務(wù)了全球超37萬款應(yīng)用，資本市場形容我們是第一個技術(shù)出海的技術(shù)型公司，我們從Day1開始以全球化業(yè)務(wù)覆蓋200多個國家。目前線網(wǎng)的單位通話數(shù)達到500億分鐘，這是什么概念？超越了任意一家單一運營商的規(guī)模。

在今年，聲網(wǎng)發(fā)布了整個實時互動全產(chǎn)業(yè)鏈的萬象圖譜，在整個大賽道上，包括在教育、泛娛樂、IoT上，也包括在非互聯(lián)網(wǎng)原生的傳統(tǒng)行業(yè)的數(shù)字化轉(zhuǎn)型，面向于金融、醫(yī)療、政企、數(shù)字政府和智慧城市等等，全面覆蓋了20多個大的行業(yè)、200多個大的場景。我們在做實時互動的時候發(fā)現(xiàn)，過去從整個異步到實時，每個行業(yè)都可以重新來一遍，今天我們說的下一代互聯(lián)網(wǎng)，在元宇宙的場景下是否也是一樣的？

其實我自己加入聲網(wǎng)之前，也在做多模態(tài)的人機交互和AI，所以我也非常興奮“以人為本”這四個字，我會從整個信息和交互的視角，快速回顧一下整個互聯(lián)網(wǎng)的歷程。其實我們可以看到，從2G-3G-4G-5G，我們和互聯(lián)網(wǎng)發(fā)生互動的信息媒介，在不斷發(fā)生改變。從最早的時候，2G時我們只能通過音頻和文字傳播，到互聯(lián)網(wǎng)時代我們可以做圖片和視頻的互動，實時互動賦能之下，很多短視頻走向了高清視頻的直播和實時互動。再往后是什么？我們想象當(dāng)中是更高的信息載體、更大的屏幕、更高清的視頻以及更大帶寬的需求嗎？好像是，也好像不是，因為我們交互的形態(tài)和互動載體在發(fā)生改變。

剛才有很多專家和老師提到，我們有更多更自然的語音交互、視覺交互，甚至是觸覺更多模態(tài)的感知出現(xiàn)了，所以我們的交互入口在整個移動智能時代，每個手機就是我們每個人跟互聯(lián)網(wǎng)發(fā)生交互的超級入口，每個手機背后也代表了人。從2020年開始，其實手機已經(jīng)在負增長了，這也是第一次物聯(lián)網(wǎng)出現(xiàn)了連接設(shè)備數(shù)“物超越人”的情況，所以未來我們的交互，一定會回顧到人更自然的交互、更加的多模態(tài)，我們的入口也會越來越多，一定是物聯(lián)網(wǎng)的時代。我們也看到，隨著整個算力的提升，包括硬件性能的提升，以及更加輕量級長續(xù)航的設(shè)備，AR/VR極有可能成為下一代的交互入口。

元宇宙對交互的底層邏輯有什么沖擊？

我們常說，在1000個人眼里，會有1000個不一樣的元宇宙。今天有很多老師給了不一樣的定義，可能大家現(xiàn)在對于元宇宙最終會成為什么樣，對于它最終的終局還沒有一個統(tǒng)一的定論，在這里我分享一些不成熟的小觀點，這也是我們在必然趨勢上看到的，交互和互動的底層邏輯，其實已經(jīng)在發(fā)生改變了。

1、交互逐漸走向自然化、多模態(tài)和分布式。

2、在元宇宙和過去移動互聯(lián)網(wǎng)的交互上，最大的改變是一切都從2D變成了3D，XR可能是下一代新的無處不在的交互形態(tài)，而我們的AR/VR設(shè)備，極有可能會是下一代的個人終端。

3、在整個遠程或數(shù)據(jù)傳遞的第一性原理里，過去從文字、圖片到了視頻，下一代一定是流媒體和物理信息如何被還原。

4、虛擬現(xiàn)實和增強現(xiàn)實的核心，就是要對現(xiàn)實進行實時感知、渲染和還原。

5、IoT是還原現(xiàn)實，構(gòu)建數(shù)字孿生重要的基礎(chǔ)感知設(shè)施。

6、未來每個人參與到元宇宙的時候，一定會有自己的Avatar虛擬化身，它和現(xiàn)在每個人在各個App后面的ID不同，它會是你的身份，你的個人價值，以及你的參與。所以元宇宙一定不是一個封閉的虛擬世界，而是虛實相融的，任何人隨時隨地都應(yīng)該、也可以在元宇宙里創(chuàng)造內(nèi)容。

也因為上面這幾條，我個人認為，未來只有一個元宇宙，它就是我們的現(xiàn)實本身，是我們現(xiàn)實本身在虛擬世界里的參與跟互動，而元宇宙的構(gòu)建，需要的是開放和共享的基礎(chǔ)設(shè)施。

今年年初，當(dāng)大家還在討論元宇宙到底是什么、聲網(wǎng)到底是不是一個和元宇宙相關(guān)的公司時，我們其實就是“被元宇宙”的一家公司了。在整個產(chǎn)業(yè)圖譜當(dāng)中，我們出現(xiàn)在了基礎(chǔ)設(shè)施環(huán)節(jié)，甚至這張圖譜在今年年初只有十幾家公司的時候，聲網(wǎng)已經(jīng)出現(xiàn)在上面了。后來我們也看了一下，不僅是趨勢的視角，在當(dāng)時那個時點，有非常多的開發(fā)者和客戶，也已經(jīng)在元宇宙應(yīng)用的版圖上了，當(dāng)時我們發(fā)現(xiàn)自己已經(jīng)不知不覺服務(wù)了非常多的虛擬人、AR/VR等虛擬空間場景，所以我們今天想表達，實時互動一定是構(gòu)建整個元宇宙的水和空氣。

構(gòu)建元宇宙RTE的四個關(guān)鍵技術(shù)點

怎么做到？我們認為，要構(gòu)建元宇宙，對實時互動其實帶來了更高的技術(shù)要求和必要的技術(shù)要素。我們認為有四個關(guān)鍵的技術(shù)點。

1、高實時性。如何在更高的信息密度下達到高實時性。

2、高互動性。就是我們今天強調(diào)的高參與感，如何有更高的互動性，而不僅僅是過去所謂的音視頻的通信和傳輸。

3、高沉浸感。還原我們在物理世界里參與社會活動，去生活、去工作。

4、無處不在。

我們先看一下高實時性。以典型場景舉例，AR/VR可能是下一代元宇宙的重要入口。其實在去年，華為就在《Cloud VR白皮書》里提到對XR硬實時的要求。對于要在VR形態(tài)內(nèi)發(fā)生實時互動，并規(guī)避一些因為物理局限導(dǎo)致的暈眩，從云渲染、傳輸流化延時的定義要求來看，是70毫秒起步的，這對我們在下一步交互上，從“端-云-邊”帶來了非常大的挑戰(zhàn)，現(xiàn)在端側(cè)的處理基本耗時就是10-20毫秒左右。

聲網(wǎng)在做什么？目前聲網(wǎng)已經(jīng)可以做到全球中位數(shù)（76毫秒的端到端延時），我們在全球首創(chuàng)了軟件定義實時網(wǎng)絡(luò)SD-RTN ?，我們通過在全球200多個節(jié)點，通過中心控制、邊緣接入的方式，可以讓我們實時互動的音視頻和一些消息就近接入，以最快速的方式導(dǎo)航出一條最佳路徑。

同時我們有千萬級的并發(fā)能力，不論你是小的互動，還是千萬級的大規(guī)模互動，都可以以低延時、高可靠和強同步的方式發(fā)生在互聯(lián)網(wǎng)上；

第二個是高互動性。共享情景不僅僅是音視頻了，我們想一下平時是怎么開會的?，F(xiàn)在的視頻會議，我們和大家面對著屏幕，我們看到的都是屏幕對面你的物理空間，其實我們的世界是分開的，但是在元宇宙當(dāng)中，我們應(yīng)該怎么開會互動？我們想要真實看到你，跟你在現(xiàn)實物理世界當(dāng)中是一樣的交互，也許你背對著我的時候，我可以走過去拍拍你的肩，向你請教一個問題，也許我們可以在一個空間白板上，共同討論一個話題和議題，我也能及時看到此刻你的情緒感，你對我表達的意見的反饋，這才是一個真實的交互。所以我們需要的不僅僅是音視頻，事實上在當(dāng)下這個階段，聲網(wǎng)已經(jīng)提供了豐富的產(chǎn)品組合，以API的方式，可以讓開發(fā)者構(gòu)建這樣的場景。包括我們在整個空間當(dāng)中語音通過的API、視頻通話的API，當(dāng)然也有互動的白板和實時的消息構(gòu)建我們在空間當(dāng)中交互的更加豐富的內(nèi)容。也有媒體流加速的API和實時錄制API，實現(xiàn)在互動過程中的媒體服務(wù)和展覽服務(wù)。聲網(wǎng)也提供了水晶球質(zhì)量監(jiān)控工具，能夠讓開發(fā)者和用戶全程全鏈路地監(jiān)控實時互動和媒體傳輸?shù)馁|(zhì)量；

第三個是高沉浸感。剛剛提到在元宇宙中，所有的一切都變成了三維世界，這跟我們過去互動最重要的兩件事，就是和空間以及和人的關(guān)系發(fā)生了改變。聲網(wǎng)現(xiàn)在基于AI提供了幾個技術(shù)。首先我們有空間音頻，可以通過球形感知聲場模型以及聽聲辨位的算法，還原空間當(dāng)中的聲音強弱，能夠在虛擬空間里聽到來自不同方向和距離的聲音，能夠還原我在物理空間中的距離感，讓我們的臨場感更加身臨其境。第二個是 Spatial Audio，在虛擬空間的交互下，一定是虛實融合的，比如剛剛紫為云提到的AR場景，我們會有視頻流和點云數(shù)據(jù)的視頻融合技術(shù)，保證實時傳輸是強同步的。最后是Avatar，其實聲網(wǎng)在去年就支持我們的開發(fā)者，幫助遠在日本虛擬偶像小姐姐直播，讓他在日本的動捕棚里采集動作，并且在上海的舞臺進行現(xiàn)場還原，并在多地還原這個全息的虛擬偶像。我們在整個虛擬人、數(shù)字人領(lǐng)域，從采集、捕捉、傳輸再到還原的端到端，依然也是有低延時、音話同步、數(shù)據(jù)傳輸?shù)?，以及剛才提到的下一代的交互，如何用小?shù)據(jù)驅(qū)動，如何用純語音的方式驅(qū)動Avatar的肢體動作，這也是聲網(wǎng)在探索和實踐的；

最后是無處不在。我們相信在元宇宙里，讓任何人都能隨時隨地參與，一定是通過任意規(guī)模、任意設(shè)備、任意場景下都能讓他發(fā)聲，這也是聲網(wǎng)從物聯(lián)網(wǎng)視角提供的整體全場景架構(gòu)。底層基于SD-RTN ?，通過音視頻通信、媒體加速等一系列服務(wù)，可以支持1v1到百萬人大頻道不同規(guī)模場景互動，今天我們也提到，元宇宙一定要最終打破平臺壁壘，做到跨平臺、跨終端，進行真正實時的互聯(lián)互通。在設(shè)備角度，聲網(wǎng)目前覆蓋穿戴、家居、戶外等30個領(lǐng)域的細分品類。在這當(dāng)中最重要的，剛剛提到VR/AR的交互入口，我們也跟很多頭部企業(yè)從硬件生態(tài)層面做了合作，包括HTC VIVE，國內(nèi)的Rokid、LLVISION等企業(yè)，都可以開箱即用聲網(wǎng)的服務(wù)。最終面向應(yīng)用層的每個行業(yè)，包括游戲、社交、娛樂、教育、醫(yī)療、工業(yè)、公安等等，都可以重新發(fā)生一遍。

元宇宙應(yīng)用未來的三個階段

剛才說了很多技術(shù)的趨勢和概念，今天也想讓大家現(xiàn)場直觀地感受到我們已經(jīng)落地的一些初期的元宇宙場景，在展示場景之前，我個人認為元宇宙的應(yīng)用未來有三個階段，每個階段的發(fā)生，不再是簡簡單單地把物理世界搬到虛擬世界，而不僅僅是把線下搬到線上，而是對時間、生產(chǎn)力和生產(chǎn)關(guān)系的重新求解。這里大致有三個階段。首先是數(shù)字孿生，可以精準實時還原物理世界；其次是虛實相融，物理世界和虛擬世界可以彼此交融發(fā)生關(guān)系，造成一些生產(chǎn)力的變革；最后，虛擬世界發(fā)生的一切，一定可以反過來真實地影響現(xiàn)實世界。

具體是什么意思？我們來看幾個場景。

第一個非常典型的場景，我們稱之為虛擬空間，它重新定義了在一起這件事，讓我們在不同物理空間的人，可以同時在一個虛擬空間發(fā)生共享和交互。比如我們在這里看到了幾個典型的場景。左邊的是虛擬展會，也是我們合作伙伴的發(fā)布會。我們現(xiàn)在以Avatar的形式參與到會場當(dāng)中進行發(fā)言，也可以以Avatar的形式在會場當(dāng)中自由游覽，參觀一些3D模型。右下角的圖是HTC VIVE新一代Sync app，如果有使用過HTC VIVE，或者即將使用這個應(yīng)用的伙伴，可以開箱即用這個產(chǎn)品，可以在虛擬空間里，通過我們內(nèi)嵌的媒體流和Spatial Audio來感受沉浸會議。如果有關(guān)注AR/VR領(lǐng)域的伙伴就會知道，HTC VIVE最近幾次所有的發(fā)布會都是在線上，并且他們的老板也都是以Avatar的形象出現(xiàn)的，用的都是這樣的底層技術(shù)和工具。

除了工作，最大被改變的地方，一定是我們的生活和娛樂方式，我們可以把派對、K歌、健身的場景都搬到虛擬空間里。這是美國TribeXR的應(yīng)用，這兩位DJ在美國當(dāng)?shù)胤浅Ｓ忻?，他們以?shù)字化身的方式出現(xiàn)在虛擬空間。同時我們覺得，元宇宙最重要的是參與感，我們不僅要能夠看到未來的偶像和明星出現(xiàn)在虛擬空間里，我們也要參與在其中，可以在這個案例中看到，觀眾可以通過不一樣的席位，參與到整個現(xiàn)場活動當(dāng)中的。

在移動社交上，我們也有很多場景落地，包括以Avatar的形式出現(xiàn)在虛擬社區(qū)當(dāng)中。今天開場時沈老師也提到，韓國在元宇宙方面做得非常前列，事實上通過聲網(wǎng)Metaverse場景的構(gòu)建，我們甚至看到，韓國已經(jīng)把議員參選的拉票搬到了線上，也有企業(yè)會在線上提供虛擬空間進行辦公和樓宇的售賣租賃，所以從整個應(yīng)用場景來說，我們已經(jīng)看到了未來整個社會活動的真實改變。

剛才講的場景是把大家放到一個虛擬空間。下一個不同的交互泛式，是我們把你帶到一個遠程的現(xiàn)場，讓你真實地感受，以第一視角的臨場感來看。典型的方式是AR眼鏡，比如工業(yè)場景，我們可以把AR眼鏡的第一視角回傳到遠端的專家，遠端的專家可以通過實時標注的方式進行現(xiàn)場指導(dǎo)。特別是疫情之下，我們看到非常多的跨國企業(yè)都在采用這種遠程協(xié)作的方式，改變一些對于生產(chǎn)力的依賴，解決了很多跨越時空，讓效能在疫情、貿(mào)易戰(zhàn)之下還能得到快速的前進。

再往后，平行控制和裸眼3D。這個場景是真實裸眼3D的顯示屏，它是一個遠程挖礦遙操的場景，可以讓遠程的人非常真切地感知、還原到遠在幾千公里之外的現(xiàn)場礦區(qū)，并進行精準的遠程遙操。下一步是什么？我們相信不僅僅有虛擬世界的數(shù)字人，一定也有物理世界的數(shù)字人，整個元宇宙不會單一發(fā)生在某一個AR/VR設(shè)備內(nèi)，它一定是跨終端的。有一個典型場景，平行控制。也就是說，通過我的感知設(shè)備，能夠把我的動作和表達精準還原到遠端物理的機械數(shù)字人上，進行精準操控。

以上這些，其實也是聲網(wǎng)在元宇宙場景上的探索，也是我們能夠給行業(yè)帶來的價值。最后這句話，其實也是聲網(wǎng)一直以來的愿景，把它送給大家：相信在元宇宙里，實時互動可以像空氣和水一樣，無處不在。

謝謝大家。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。