雷峰網(wǎng)(公眾號：雷峰網(wǎng))消息，10月15日，火山引擎在視頻云大會上發(fā)布了基于歷史古建三維實(shí)景重建的「虛擬直播間」場景。采用AI生成3D內(nèi)容和大場景重建方案，火山引擎視頻云團(tuán)隊(duì)為山西高平金代二郎廟戲臺和北京正乙祠戲樓兩座百年建筑生成3D數(shù)字資產(chǎn)，并以「虛擬直播間」的形式應(yīng)用于抖音的戲曲直播場景，讓古建筑在現(xiàn)代人的生活方式中煥發(fā)新生，同時(shí)助力戲曲等非遺的傳承。

火山引擎視頻云負(fù)責(zé)人Yongyuan 介紹，「虛擬直播間」是火山引擎在公益助力文化數(shù)字化方面的一項(xiàng)重要探索。他表示：“隨著AI視頻時(shí)代的到來，用戶對沉浸式體驗(yàn)需求不斷加強(qiáng)，如何讓歷史古建的數(shù)字資產(chǎn)真正地融入現(xiàn)代人的日?！睢饋?，也對技術(shù)團(tuán)隊(duì)提出了考驗(yàn)?！?/p>

據(jù)了解，「虛擬直播間」采用了將3DGS先進(jìn)技術(shù)（一種用于三維場景表示和渲染的先進(jìn)技術(shù)）與自研大場景建模技術(shù)相結(jié)合的方式，實(shí)現(xiàn)了對真實(shí)場景的高質(zhì)量3D幾何構(gòu)建與外觀重建渲染。該方案不僅實(shí)現(xiàn)了優(yōu)質(zhì)的視覺效果，還可以接入美術(shù)管線進(jìn)行編輯，實(shí)現(xiàn)復(fù)雜的光效、陰影渲染，讓直播表演更具真實(shí)感，帶給觀眾更加沉浸式的體驗(yàn)。

圖說：火山引擎視頻云負(fù)責(zé)人Yongyuan在大會發(fā)布「虛擬直播間」

現(xiàn)存最早古戲臺，在抖音直播間煥發(fā)新生

位于山西高平市寺莊鎮(zhèn)王報(bào)村二郎廟內(nèi)的二郎廟戲臺是我國現(xiàn)存時(shí)代最早、木構(gòu)特征及紀(jì)年最確切的神廟戲臺。該戲臺建于金大定二十三年（1183年），是國務(wù)院公布的全國重點(diǎn)文物保護(hù)單位。

作為「虛擬直播間」的首個(gè)場景，這座距今800多年的露天戲臺，刻獸紋路和力士雕像已暗淡模糊。火山引擎多媒體實(shí)驗(yàn)室團(tuán)隊(duì)采用基于視覺的方式對文物進(jìn)行三維重建，具有采集效率高、采集成本低、精度上限高等優(yōu)點(diǎn)，同時(shí)避免了高精度激光掃描設(shè)備對古跡帶來不必要的損害。

為了適配手機(jī)屏幕細(xì)節(jié)呈現(xiàn)難，技術(shù)團(tuán)隊(duì)還借助AIGC的能力，為戲臺生成了“守舊”、石獅子等裝飾元素和春、夏、秋、冬四季的不同效果，讓場景更加豐富。

據(jù)介紹，火山引擎多媒體實(shí)驗(yàn)室團(tuán)隊(duì)的AIG3D（AI生成3D）方案基于大模型強(qiáng)大的生成能力，采用創(chuàng)新的圖生3D模式：僅需上傳3D內(nèi)容參考圖，系統(tǒng)就會自動生成關(guān)鍵視角和稀疏視角圖像，再將其輸入到3D重建大模型中，能夠快速精準(zhǔn)建模，建模時(shí)間縮短至以分鐘為單位。

「虛擬直播間」的另一個(gè)場景北京正乙祠戲樓始建于清康熙6年，是中國歷史上第一座木制結(jié)構(gòu)的室內(nèi)劇場，被譽(yù)為“中國戲樓活化石”。與二郎廟戲臺稍顯粗獷的風(fēng)格相比，正乙祠戲樓的構(gòu)造布局更為復(fù)雜精巧，講求光影明暗搭配等舞臺細(xì)節(jié)的美感。

在三維重建時(shí)，正乙祠戲樓負(fù)責(zé)人張鵬希望火山引擎技術(shù)團(tuán)隊(duì)能夠還原真實(shí)劇場演出的美感，并通過技術(shù)手段為虛擬場景添加一些現(xiàn)實(shí)中難以呈現(xiàn)的效果。

 

圖說：還原演出光效的正乙祠「虛擬直播間」場景

對此，技術(shù)團(tuán)隊(duì)給正乙祠的「虛擬直播間」場景接入了美術(shù)管線進(jìn)行編輯，更大限度地還原了舞臺演出時(shí)復(fù)雜的光效，并對戲臺二層的銅鑼、舞臺背景的金箔添加了色彩渲染，這也呼應(yīng)了這座戲樓的歷史——曾是供奉財(cái)神趙公明的廟宇，讓這座百年戲樓在手機(jī)屏幕里呈現(xiàn)出美輪美奐的效果。

助力文化傳承，讓青年戲曲演員登上古老的“新”舞臺

從2024年5月起，「虛擬直播間」陸續(xù)邀請了抖音上多位京劇主播進(jìn)行體驗(yàn)測試，這其中既包括國家二級演員，也包括仍在戲曲學(xué)院讀書的00后大學(xué)生。

圖說：抖音京劇主播使用「虛擬直播間」開播

北京京劇院老生演員、國家二級演員王寧是「虛擬直播間」的首位使用主播，他表示，作為專業(yè)演員，日常只能在業(yè)余時(shí)間直播，受成本和場地限制，很難時(shí)常更換直播間場景，“虛擬直播間讓我們有了更多選擇?！彼f。

火山引擎的實(shí)時(shí)高精度摳圖技術(shù)方案，能夠讓主播無需綠幕背景、在相對日常的環(huán)境下使用虛擬直播間，技術(shù)團(tuán)隊(duì)還根據(jù)主播的反饋，自研了智能運(yùn)鏡算法。在直播中開啟后，能夠配合主播的移動產(chǎn)生專業(yè)的運(yùn)鏡效果。同時(shí)，還生成了京劇里常見的道具“一桌二椅”，主播只要在真實(shí)空間里坐在與屏幕中虛擬桌椅重合的位置，就能在直播中呈現(xiàn)出端坐在京劇桌椅旁（上）的效果。

在使用正乙祠場景的一次直播中，王寧收獲了京劇直播里比較少見的“嘉年華”。在他看來，正乙祠戲樓見證了京劇表演藝術(shù)從誕生、發(fā)展到輝煌的整個(gè)歷程，從程長庚到梅蘭芳，眾多梨園界前輩都曾在此登臺獻(xiàn)藝，這次經(jīng)歷令他印象深刻。

“現(xiàn)代戲曲主播站在虛擬古戲臺上表演，觀眾既可回望古代建筑之美，又能品鑒主播們典雅的曲詞、婉轉(zhuǎn)的行腔，足不出戶穿越時(shí)空，更加生動直觀地了解文化遺產(chǎn)的歷史和價(jià)值?！盰ongyuan這樣闡釋項(xiàng)目的初衷。

“原汁原味的古戲樓場景，不會讓觀眾產(chǎn)生審美疲勞，還能夠‘觸摸’到歷史痕跡，是一件非常有意義的事情。”王寧說。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。