作者丨何思思

編輯丨林覺民

有一種情懷叫Beyond，黃家駒一開口，誰的DNA動(dòng)了？

7月3日19點(diǎn)，“Beyond Live 1991生命接觸演唱會(huì)精選及紀(jì)念音樂會(huì)精選超清修復(fù)版”在抖音、西瓜視頻、今日頭條等多個(gè)平臺(tái)重映。時(shí)隔31年，Beyond再次走進(jìn)了大眾視野。

一句“今天只有殘留的軀殼 迎接光輝歲月 風(fēng)雨中抱緊自由”瞬間將人們拉回了1991年9月Beyond在中國香港紅磡體育館舉行的“Beyond Live 1991 生命接觸演唱會(huì)”，那場(chǎng)演唱會(huì)也成了Beyond播放率最高的一場(chǎng)演唱會(huì)。

此次修復(fù)版演唱會(huì)，從《光輝歲月》、《海闊天空》再到《不再猶豫》...一首首經(jīng)典歌曲，吸引了1.4億人次的在線觀看。活動(dòng)結(jié)束時(shí)，不少人在評(píng)論區(qū)紛紛刷起“沒有看夠，再回放一次，在哪可以下載高清版視頻”等留言，致敬經(jīng)典，致敬Beyond。

除了滿滿的情懷和回憶外，在這場(chǎng)演唱中可以感受到，無論是畫面清晰度、色彩飽和度、還是音質(zhì)降噪等方面都極大地還原了線下演唱會(huì)觀看的效果，火山引擎就參與了這場(chǎng)演唱會(huì)的修復(fù)工作，在其算法的加持下，為觀眾呈現(xiàn)了一場(chǎng)具有情懷的視聽盛宴。

對(duì)于抖音和火山引擎來說，其使命不在于修復(fù)一場(chǎng)演唱會(huì)，提升畫面清晰度和辨識(shí)度這么簡(jiǎn)單，而是通過修復(fù)喚起幾代人背后的回憶，從而產(chǎn)生共鳴擦出火花，這才是修復(fù)的價(jià)值所在。

時(shí)隔31年，年輕的Beyond 回來了

在各大短視頻平臺(tái)經(jīng)常刷到修復(fù)版影片的重映，這也成了人們致敬經(jīng)典的最佳途徑之一，這背后往往需要AI技術(shù)的加持。

AI修復(fù)影片早已不是一件新鮮事，隨著技術(shù)的更新迭代，近段時(shí)間AI修復(fù)演唱會(huì)成了新風(fēng)口。從修復(fù)類型來看，雖然二者都屬于視頻修復(fù)的范疇，但卻著較大的差別。

火山引擎音頻技術(shù)團(tuán)隊(duì)研究員舒曉峰表示，影視和演唱會(huì)的內(nèi)容和制作方式有較大的差別，其中演唱會(huì)是以唱歌的形式輸出，現(xiàn)場(chǎng)環(huán)境較影片環(huán)境復(fù)雜，不僅有環(huán)境聲還有歌聲，另外拾音設(shè)備也存在一定距離，這就導(dǎo)致演唱會(huì)修復(fù)要比影視片修復(fù)復(fù)雜得多。

值得注意的是，畫面通常是演唱會(huì)修復(fù)的重要環(huán)節(jié)之一，因?yàn)樗鼪Q定了整體演唱會(huì)的觀感。

火山引擎多媒體實(shí)驗(yàn)室研究員趙世杰告訴雷峰網(wǎng)，演唱會(huì)的畫質(zhì)修復(fù)并非大家想象的那么簡(jiǎn)單，以Beyond Live 1991 生命接觸演唱會(huì)為例，由于當(dāng)時(shí)演唱會(huì)整體環(huán)境較暗，細(xì)節(jié)不夠豐富，場(chǎng)景切換快，燈光以及聲音環(huán)境復(fù)雜等給修復(fù)工作帶來了嚴(yán)峻的挑戰(zhàn)，從而給算法增加了難度。

趙世杰介紹，早期錄像設(shè)備的解析度比較差，拍攝的畫面分辨率低且清晰度差，往往會(huì)造成畫面模糊、紋理缺失等問題；壓縮存儲(chǔ)方面，早期影片隔行掃描的方式造成了交錯(cuò)條紋的瑕疵問題，對(duì)畫面的美觀性和完整性都有較大的影響。

另外，色彩、亮度也是修復(fù)的一大難點(diǎn)，由于早期拍攝設(shè)備的原因，影片存在大量的過曝和死黑場(chǎng)景以及較重的底噪，在亮度調(diào)解過程中如何避免底噪被放大，以及如何降低過躁造成的不適感是算法的難點(diǎn)。

其實(shí)在畫質(zhì)修復(fù)環(huán)節(jié)，最難的是人臉，這也是觀眾最在意的點(diǎn)。演唱會(huì)中人臉往往會(huì)出現(xiàn)多個(gè)角度，比如正臉、側(cè)臉、俯視、仰視等，甚至有被樂器遮擋的人臉，如何調(diào)節(jié)不同景別，不同姿態(tài)下人像修復(fù)效果且跟背景不同，這就對(duì)算法提出了嚴(yán)峻考驗(yàn)。

面對(duì)這些問題，趙世杰向雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))闡述了火山引擎增強(qiáng)算法的應(yīng)對(duì)之道：

清晰度修復(fù)方面，基于在大量數(shù)據(jù)上訓(xùn)練的深度學(xué)習(xí)算法，火山引擎通過清晰度增強(qiáng)和瑕疵修復(fù)法的能力將視頻分辨率從低清處理變?yōu)槌咔?，并在缺少紋理的區(qū)域生成更豐富的細(xì)節(jié)。

同時(shí)對(duì)于隔行掃描的視頻畫面，火山引擎多媒體實(shí)驗(yàn)室設(shè)計(jì)了多幀輸入的神經(jīng)網(wǎng)絡(luò)去交錯(cuò)法。

趙世杰特別強(qiáng)調(diào)道，這主要在于早期視頻大多采用隔行掃描的方式進(jìn)行處理、編碼、顯示，會(huì)造成現(xiàn)代設(shè)備直接播放過程中產(chǎn)生嚴(yán)重的閃爍現(xiàn)象。這主要是因?yàn)楦粜袙呙栌嵦?hào)，兩行只有一行有影像，另外一行全是黑的，所以都需要經(jīng)過去交錯(cuò)處理，將隔行掃描訊號(hào)轉(zhuǎn)換為逐行掃描訊號(hào)。

在這種情況下，傳統(tǒng)去交錯(cuò)方式一般輸入僅做單交錯(cuò)幀，對(duì)時(shí)域上的內(nèi)容變化感知較弱，因此對(duì)于運(yùn)動(dòng)場(chǎng)景的拉絲情況處理較差。

與傳統(tǒng)去交錯(cuò)方式相比，火山引擎設(shè)計(jì)的多幀輸入神經(jīng)網(wǎng)絡(luò)去交錯(cuò)法就實(shí)現(xiàn)了傳統(tǒng)交錯(cuò)法無法達(dá)到的技術(shù)效果，憑借其泛化性的特點(diǎn)，修復(fù)了Beyond演唱會(huì)中更多的細(xì)節(jié)和運(yùn)動(dòng)場(chǎng)景下產(chǎn)生的拉絲情況。

通過前后對(duì)比效果可以看出，在樂手的手部原本有橫紋拉絲的問題，并且畫面較為模糊，經(jīng)修復(fù)后，無論是琴還是人的手部畫面都完美還原了現(xiàn)場(chǎng)的真實(shí)感和清晰度。

亮度、色彩修復(fù)方面，針對(duì)Beyond演唱會(huì)中存在的老舊視頻褪色、顏色異常、過曝、過暗等問題，火山引擎采用了基于美學(xué)評(píng)分的自適應(yīng)分區(qū)域色彩亮度增強(qiáng)算法。

該算法主要以具體片源效果作為基礎(chǔ)，依據(jù)美學(xué)評(píng)分，在色彩、亮度、對(duì)比度、飽和度、人像ROI和背景方面做分區(qū)域增強(qiáng)，并根據(jù)不同幀的色彩統(tǒng)計(jì)信息進(jìn)行自適應(yīng)亮度增強(qiáng)，使亮區(qū)與暗區(qū)都能得到最好的表現(xiàn)效果，還使修復(fù)老舊視頻的褪色和保留老舊視頻的復(fù)古感，兩者之間達(dá)到了平衡。

人臉修復(fù)方面，演唱會(huì)很多片段中的人臉存在較大的彩色噪聲，壓縮損傷等問題。另外據(jù)了解目前業(yè)界大部分的人臉修復(fù)只是基于單張照片，很難找到基于視頻的人臉修復(fù)，因?yàn)橐曨l中每一幀中臉的角度不一樣，各種姿態(tài)下的臉都需要算法處理。

火山引擎重點(diǎn)突破，基于深度學(xué)習(xí)模型，在Beyond演唱會(huì)修復(fù)中采用自適應(yīng)人像增強(qiáng)算法進(jìn)行修復(fù)，通過先驗(yàn)特性，在消除人臉模糊和壓縮損傷的同時(shí)還可以對(duì)五官進(jìn)行重建，甚至可以對(duì)發(fā)絲等細(xì)節(jié)和紋理進(jìn)行重建和添加，做到不同景別、不同姿態(tài)下的人臉修復(fù)工作，使人臉更為清晰。

從整體演唱會(huì)的主觀感受上看，修復(fù)后的畫面更清晰、更真實(shí)。

有用戶在評(píng)論區(qū)留言，修復(fù)后的演唱會(huì)有一種現(xiàn)場(chǎng)觀影的即視感，歌手樂手的臉部以及樂器舞臺(tái)等細(xì)節(jié)，清晰可見，有一種置身Beyond Live 1991生命接觸演唱會(huì)的感覺。

時(shí)隔31年重現(xiàn)，Beyond歌聲不減“現(xiàn)場(chǎng)”

大多數(shù)人認(rèn)為，高清的音質(zhì)能提升整個(gè)演唱會(huì)的完整度和精致度，也會(huì)極大增加觀眾的觀感。

對(duì)于Beyond這類能觸發(fā)人情懷的經(jīng)典演唱會(huì)更是如此，修復(fù)的好可能熱評(píng)如潮，修復(fù)不好可能就是一場(chǎng)悲劇。

在Beyond這場(chǎng)演唱會(huì)修復(fù)過程中，音質(zhì)同樣給修復(fù)帶來了不同程度的困難挑戰(zhàn)。

舒曉峰向雷峰網(wǎng)介紹了音質(zhì)修復(fù)的難點(diǎn)：

• 其一，由于錄音設(shè)備和環(huán)境的噪音導(dǎo)致音質(zhì)差，加上周邊環(huán)境會(huì)錄制到一些底噪聲；

• 其二，設(shè)備壓縮算法等導(dǎo)致截止效率低帶來的帶寬不足問題；

• 其三，混響過大導(dǎo)致音質(zhì)差以及響度問題帶來聽覺不適等問題。
  

為此，火山引擎音視頻技術(shù)團(tuán)隊(duì)做了針對(duì)性研究，并給出了相應(yīng)的解決方案。

首先，面對(duì)噪音干擾問題，舒曉峰表示，目前業(yè)界大多采用傳統(tǒng)降噪方式，但其特點(diǎn)主要適用于人聲，音樂被降噪算法處理后會(huì)受到不同程度的損傷，而演唱會(huì)是一個(gè)人聲、音樂聲，現(xiàn)場(chǎng)環(huán)境聲等交雜的聲音環(huán)境，顯然傳統(tǒng)降噪方式不適用于演唱會(huì)的音質(zhì)修復(fù)。

考慮到這點(diǎn)，火山引擎研發(fā)了針對(duì)這種多元素場(chǎng)景的音頻降噪算法，與傳統(tǒng)降噪方案不同的是，該算法兼容了音樂場(chǎng)景和人聲場(chǎng)景，可以在保留人說話聲、音樂聲的前提下，抑制其他噪聲。

其次，帶寬也是影響演唱會(huì)音質(zhì)的關(guān)鍵要素。舒曉峰告訴雷峰網(wǎng)，演唱會(huì)中由于拾音設(shè)備、錄制硬件或者壓縮等原因，會(huì)使高頻信息受到損傷，影響聽覺體驗(yàn)感?；诖?，火山引擎通過音頻超分算法，對(duì)人聲部分進(jìn)行了頻帶拓展，在不傷害音質(zhì)的前提下豐富高頻信息，使聲音從悶變得更清亮。

從頻譜圖中可以看到，通過超分模塊的處理，原始音頻的高頻部分得到了拓展和增強(qiáng)。

再者，演唱會(huì)往往伴有不同的樂器聲，觀眾歡呼聲以及現(xiàn)場(chǎng)各種忽大忽小的聲音，火山引擎通過響度算法單獨(dú)提取唱歌部分，然后進(jìn)行調(diào)整，最后混合，使得人聲和其他聲音的音量配比更加舒適，從而提升觀眾的聽覺感受。

值得注意的是，此次修復(fù)演唱會(huì)是由1991 生命接觸的演唱會(huì)和紀(jì)念音樂會(huì)音樂會(huì)兩部分組成。舒曉峰表示，這極大增加了修復(fù)難度，為了避免兩部分音量不同，對(duì)兩場(chǎng)演唱會(huì)的拼接部分做了響度調(diào)整，此外也對(duì)前后兩部分不同歌手的音量大小做了響度調(diào)整，極大提升了聽覺體驗(yàn)。

通過Beyond演唱會(huì)的重映，許多觀影者都給予了高度評(píng)價(jià)，不少人表示，不僅畫面清晰，音質(zhì)方面也體驗(yàn)到了線下聽演唱會(huì)般的聽感。

老舊視頻修復(fù)，Beyond之后又是誰？

AI修復(fù)視頻，已經(jīng)成了近兩年許多廠商感興趣且愿意花費(fèi)時(shí)間精力去做的有意義的事情，其也逐漸成為了諸多平臺(tái)新的增長(zhǎng)極。

視頻修復(fù)方面，其實(shí)火山引擎早在去年就有了動(dòng)作。去年10月，西瓜視頻就聯(lián)合火山引擎推出了“經(jīng)典視頻4K修復(fù)計(jì)劃”。不到一年的時(shí)間，已經(jīng)通過AI 技術(shù)手段完成了百部經(jīng)典動(dòng)畫片的修復(fù)，其中包括71部影片的4K修復(fù)，童年記憶《葫蘆兄弟》的播放次數(shù)達(dá)到300萬。

火山引擎能完成如此高質(zhì)量的修復(fù)任務(wù)，主要是在視頻云方面的技術(shù)積累和成功實(shí)踐。同時(shí)抖音、西瓜視頻、今日頭條等不同場(chǎng)景還為其提供了試驗(yàn)田。

據(jù)介紹，火山引擎視頻云通過技術(shù)的積累，可以為用戶的四大體驗(yàn)負(fù)責(zé)，包括互動(dòng)、播放、畫質(zhì)、性能四方面的體驗(yàn)感。在優(yōu)秀的用戶體驗(yàn)的加持下，火山引擎的音視頻技術(shù)已經(jīng)滲透到了游戲、電商、教育以及金融等行業(yè)。

老舊視頻的修復(fù)才剛剛開始，從經(jīng)典動(dòng)畫片到演唱會(huì)，再到更多的經(jīng)典影像修復(fù)，仍需要通過不斷的技術(shù)迭代來實(shí)現(xiàn)。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。