0
| 本文作者： 余快 | 2022-04-02 14:17 |
自他走后，明明是愚人節(jié)的4月1日總帶著點(diǎn)傷感。
任何一個(gè)想他的時(shí)候，榮迷們都會(huì)打開收藏夾中某部電影，或者打開他的某場演唱會(huì)。
而昨天，我的朋友圈被張國榮2000年《熱·情》演唱會(huì)超清修復(fù)版視頻刷屏了。
迫不及待地點(diǎn)開，撲面而來的清晰度和真實(shí)感讓人眼前一亮。要知道，從前觀看的視頻都是損傷畫質(zhì)，堪稱時(shí)代的眼淚，榮迷們雖甘之如飴，但如果有高清畫質(zhì)，當(dāng)真是求之不得。
《熱·情》演唱會(huì)上，張先生浪漫而放肆，帶著撲面而來的炙熱，暖化了初春的夜晚，也暖化了人心。
把視頻分享給我的朋友后，不禁好奇，這具體是怎么實(shí)現(xiàn)的？是否未來哥哥乃至所有我們喜歡的老電影、老作品都有可能通過數(shù)字技術(shù)重新呈現(xiàn)？
今天，我們找到背后的技術(shù)修復(fù)師，騰訊云多媒體實(shí)驗(yàn)室的總監(jiān)李松南和專家研究員夏珍，跟他們聊了聊《熱·情》修復(fù)的相關(guān)技術(shù)。
他們介紹，這項(xiàng)技術(shù)是“超清沉浸感修復(fù)引擎”，是面向老片修復(fù)專門推出的技術(shù)解決方案，它沉淀了騰訊云多媒體實(shí)驗(yàn)室多年的通信和處理研發(fā)經(jīng)驗(yàn)，主要包含四大模塊：智能分析、畫質(zhì)修復(fù)、畫質(zhì)增強(qiáng)和智能編碼。
其實(shí)，我們每次看修復(fù)視頻感到舒適，不僅在于清晰度提升，更在于畫質(zhì)提升。
老片中的灰塵、污垢、霉斑、掉色、圖像抖動(dòng)、劃痕、閃爍、噪聲、變色、模糊等各種問題對是最直觀影響影片質(zhì)量的問題。
首先，實(shí)驗(yàn)室利用智能分析模塊對視頻進(jìn)行全方位、多維度分析，包括但不限于劃痕、豎線、雪花點(diǎn)、噪聲、壓縮失真、抖動(dòng)等問題，評估視頻的運(yùn)動(dòng)、紋理復(fù)雜度，分析噪聲、壓縮失真程度等，這些數(shù)據(jù)都將成為畫質(zhì)修復(fù)和增強(qiáng)的基礎(chǔ)。
其次進(jìn)入修復(fù)階段。
實(shí)驗(yàn)室在演唱會(huì)修復(fù)上使用了眾多他們獨(dú)創(chuàng)的算法。譬如劃痕算法，夏珍坦言，他至今還沒在公開服務(wù)中遇到過。
數(shù)據(jù)對深度學(xué)習(xí)算法來講是非常重要的。
假設(shè)需要修復(fù)老電影中的劃痕和雪花。粗略推算，需要幾萬甚至幾十萬的訓(xùn)練對。
然而，目前缺少這樣龐大的劃痕公開數(shù)據(jù)庫，算法難以調(diào)優(yōu)，建立數(shù)據(jù)庫的成本也很昂貴。
為此，實(shí)驗(yàn)室為去劃痕項(xiàng)目設(shè)計(jì)了針對性的多維度數(shù)據(jù)生成和增廣方案。包括模仿劃痕數(shù)據(jù)、從真實(shí)數(shù)據(jù)上提取、劃痕的裁切及合并、隨機(jī)尺寸、隨機(jī)模糊程度、局部及全局隨機(jī)亮度調(diào)整、隨機(jī)透明度調(diào)整等。
當(dāng)然，也得益于騰訊此前擁有強(qiáng)大的數(shù)據(jù)儲(chǔ)備，騰訊多年來以算法為翼探索各個(gè)場景，在音視頻領(lǐng)域，依靠騰訊視頻等渠道，已經(jīng)積累了海量優(yōu)質(zhì)數(shù)據(jù)，算法可用性相比業(yè)界大為提升。
除了去劃痕算法以外，整體修復(fù)過程中他們還用到了很多其他的修復(fù)算法，包括視頻降噪、去壓縮失真等。
經(jīng)過嘗試多種算法后，整體效果得到了明顯提升，如下圖更能直觀感受修復(fù)的效果。
如果你此前看過網(wǎng)絡(luò)上流傳的《熱情》原版視頻，再看昨天上線的版本，不夸張地說，會(huì)有震撼、驚艷之感。
這也許是修復(fù)技術(shù)師想呈現(xiàn)的沉浸感。
沉浸感一般更多用于3D、VR360、自由視角等相關(guān)工作。夏珍表示，不管是提高分辨率，還是提高幀率，在2D基礎(chǔ)上提高用戶體驗(yàn)感受一直是他們的目標(biāo)之一，而這對于他們，在技術(shù)上也是可實(shí)現(xiàn)的。
真實(shí)感來自畫質(zhì)增強(qiáng)，包括分辨率增強(qiáng)、細(xì)節(jié)增強(qiáng)、色彩增強(qiáng)、幀率提升等，畫質(zhì)增強(qiáng)包括將畫質(zhì)拉到2022年的水平，讓畫面更接近現(xiàn)在觀眾喜歡的4K等高清畫質(zhì)。
不知道你們發(fā)現(xiàn)沒有，張國榮的人臉特別真實(shí)，臉上的皺紋、胡渣甚至毛發(fā)都清晰可見。
這是因?yàn)樗麄冊谌四樞迯?fù)上使用了“超分辨率”，通過多幀技術(shù)使用了基于GAN的超分網(wǎng)絡(luò)，生成的細(xì)節(jié)更加豐富和更加穩(wěn)定，在放大視頻分辨率同時(shí)，細(xì)節(jié)清晰度也提升，所以整體感官上提升層次大。
夏珍介紹，自研的人臉修復(fù)模型，加上人臉檢測、人臉修復(fù)和融合模塊，將圖像修復(fù)遷移到視頻過程中加入幀間穩(wěn)定性處理，解決人臉檢測穩(wěn)定性，優(yōu)化多角度人臉效果，解決視頻中動(dòng)態(tài)人臉遇到的復(fù)雜場景問題。
再看色彩、畫面。
畫質(zhì)增強(qiáng)有個(gè)更好理解的定義：藝術(shù)修復(fù)。
演唱會(huì)現(xiàn)場環(huán)境復(fù)雜，燈光轉(zhuǎn)換頻繁，色彩多、變化快，同時(shí)舞臺煙霧會(huì)讓整個(gè)畫面對比度和色彩飽和度不一。
對于修復(fù)效果，實(shí)驗(yàn)室團(tuán)隊(duì)原本有能力讓畫面清晰度更高、細(xì)節(jié)更豐富、飽和度更均衡。
但考慮到演唱會(huì)上的舞臺煙霧、現(xiàn)場顏色等都是張國榮藝術(shù)表達(dá)的重要形式。
而且，無論是影片還是演唱會(huì)，那個(gè)年代的香港整體畫面呈現(xiàn)都獨(dú)具特色，比如打光較為朦朧，太過超清，追求接近現(xiàn)代畫面反而會(huì)失去藝術(shù)真實(shí)性和香港藝術(shù)獨(dú)特的味道。
實(shí)驗(yàn)室團(tuán)隊(duì)基于對《熱情》藝術(shù)性的理解與尊重，也基于對香港影視唱片黃金時(shí)代的致敬，“修舊如舊”成為多媒體實(shí)驗(yàn)室在修復(fù)老影片時(shí)的一個(gè)目標(biāo)追求，他們希望最大程度還原張國榮的藝術(shù)表達(dá)，保留老片原汁原味。
他們通過視頻增強(qiáng)算法，對畫面進(jìn)行多維度畫質(zhì)提升，在空間和時(shí)間上提升視頻的分辨率和幀率，在空域上提升細(xì)節(jié)清晰度、色彩豐富度，在尊重歷史和原版的基礎(chǔ)上，保證畫質(zhì)的提升，人臉和畫面都如此。
截取一幀張國榮在舞臺中央的靜態(tài)畫面，放大后仿佛可以透過畫面感受到22年前的現(xiàn)場舞臺。
昨天的演唱會(huì)，通過直播形式呈現(xiàn)，且直播效果流暢、畫面高清。
還有一項(xiàng)技術(shù)不得不提：視頻編解碼。這絕對是一項(xiàng)被低估的技術(shù)。
什么是視頻編解碼技術(shù)？
視頻是由一張張圖片連接起來形成的動(dòng)態(tài)圖像序列，若直接將每張圖片的每一個(gè)像素點(diǎn)數(shù)據(jù)都加以存儲(chǔ)，視頻碼流所占用的帶寬將不可估量。
尤其在超高清視頻時(shí)代，幀率逐漸從30fps向60fps、120fps甚至240fps進(jìn)發(fā)。高度密集的數(shù)據(jù)給帶寬和存儲(chǔ)帶來巨大挑戰(zhàn)。
此外，隨著硬件設(shè)備更好、帶寬更高，用戶開始對視頻分辨率的要求更高，對視頻質(zhì)量要求沒有止境。
視頻編解碼技術(shù)的作用，將圖像進(jìn)行壓縮和數(shù)字編碼，以用于傳輸。本質(zhì)上，就是用盡可能小的帶寬傳送高質(zhì)量的視音頻數(shù)據(jù)。
現(xiàn)在我們知道，在不改變視頻主觀質(zhì)量的前提下，把超高清視頻搬上視頻號直播平臺，并保證畫質(zhì)效果流暢、高質(zhì)，是一項(xiàng)超級工程，也極為考驗(yàn)視頻壓縮的功力。
騰訊云多媒體實(shí)驗(yàn)室的視頻編解碼技術(shù)，在輸出相同質(zhì)量視頻的情況下，碼率可以降低一半，大大降低了帶寬存儲(chǔ)。
這其中是得益于智能編碼模塊，通過自適應(yīng)編碼在減少輸出文件大小、視頻傳輸成本的同時(shí)，保證視頻的主觀質(zhì)量不受影響，實(shí)現(xiàn)最佳的畫面效果。
在此之前，在修復(fù)歷史影像作品甚至殘損影像上，騰訊云多媒體實(shí)驗(yàn)室也經(jīng)驗(yàn)豐富，他們深度參與了包括《康熙王朝》、《天下人家》等多部經(jīng)典影視劇高清修復(fù)工作，以及上海1949年新中國成立相關(guān)影像的修復(fù)。
據(jù)悉，一部90分鐘的老影，約有12—14萬幀畫面需要逐幀修復(fù)，一般需要十多人的修復(fù)團(tuán)隊(duì)，平均每一個(gè)人需負(fù)責(zé)一萬多幀，工作量十分巨大。
對比之下，這場演唱會(huì)近2個(gè)小時(shí)，場景眾多，現(xiàn)場環(huán)境多變，細(xì)節(jié)不夠豐富，場景切換快，燈光環(huán)境復(fù)雜，顏色豐富，但實(shí)驗(yàn)室從拿到母帶到最終修復(fù)上線，僅用了3周時(shí)間。
這是由于騰訊云多媒體實(shí)驗(yàn)室的修復(fù)已路徑初成，多項(xiàng)修復(fù)模塊實(shí)現(xiàn)了不同程度的自動(dòng)化。
查了下實(shí)驗(yàn)室的背景，難怪。
它是多媒體通信和處理研發(fā)團(tuán)隊(duì)，持續(xù)專注于多媒體數(shù)據(jù)傳輸與壓縮、智慧融合媒體、互動(dòng)沉浸式媒體領(lǐng)域的技術(shù)研究與產(chǎn)品化，參與國際國內(nèi)行業(yè)標(biāo)準(zhǔn)制定，包含多媒體數(shù)據(jù)壓縮，多媒體傳輸、系統(tǒng)與5G，以及多媒體AI等。
自2018年參與最新一代編解碼標(biāo)準(zhǔn)制定以來，實(shí)驗(yàn)室已有超過500項(xiàng)提案被多個(gè)國際標(biāo)準(zhǔn)采納，數(shù)量全球領(lǐng)先。
騰訊杰出科學(xué)家、騰訊云多媒體實(shí)驗(yàn)室總經(jīng)理劉杉博士也是全球音視頻領(lǐng)域的頂尖技術(shù)帶頭人。
劉杉博士是國際著名多媒體專家，騰訊首位女性杰出科學(xué)家，IEEE Fellow, APSIPA杰出工業(yè)領(lǐng)袖，2020年入選福布斯中國科技女性50人，擁有500+已授權(quán)專利，發(fā)表100+學(xué)術(shù)論文和一部專著，本科畢業(yè)于清華大學(xué)電子工程系，碩士和博士畢業(yè)于美國南加州大學(xué)，研究方向包括音視頻、沉浸式和新興多媒體VR/XR等的壓縮、處理、傳輸、系統(tǒng)和智能化應(yīng)用。深耕多媒體數(shù)據(jù)壓縮、傳輸協(xié)議和系統(tǒng)、無線網(wǎng)絡(luò)、IoT等行業(yè)標(biāo)準(zhǔn)領(lǐng)域，曾多次擔(dān)任國際標(biāo)準(zhǔn)專家組主席和聯(lián)席主席，現(xiàn)任IEEE數(shù)據(jù)壓縮標(biāo)準(zhǔn)委員會(huì)副主席。
自2017年加入騰訊以來，劉杉博士帶領(lǐng)團(tuán)隊(duì)研發(fā)和交付多項(xiàng)多媒體核心技術(shù)，并深度參與了國際國內(nèi)行業(yè)標(biāo)準(zhǔn)制定工作。
正是這樣一個(gè)團(tuán)隊(duì)，讓這個(gè)被塵封21余年的“時(shí)代符號”的經(jīng)典之作被首度解鎖，為曾見過和沒見過張國榮的觀眾帶來了一場前衛(wèi)、華麗、優(yōu)雅的視聽盛宴。
《哈利·波特與魔法石》經(jīng)修復(fù)后登陸國內(nèi)院線，首日票房便突破3200萬元，向市場再次展現(xiàn)了經(jīng)典影片的票房號召力。
《尋秦記》、《士兵突擊》、《亮劍》等一批經(jīng)典電視劇在經(jīng)過畫質(zhì)修復(fù)提升后，都活躍在視頻平臺的各大榜單前列。
經(jīng)典作品自帶持久生命力。智能修復(fù)技術(shù)讓老舊視頻煥然一新，給觀眾帶來更好體驗(yàn)。
夏珍表示，全球范圍內(nèi)有非常多的諸如演唱會(huì)、電視劇、電影、紀(jì)錄片等經(jīng)典影像。騰訊云多媒體實(shí)驗(yàn)室目前已形成了較為完整的智能老片修復(fù)技術(shù)矩陣，未來希望通過超清沉浸感修復(fù)引擎，幫助更多的時(shí)代經(jīng)典高質(zhì)、高效地重現(xiàn)于觀眾面前。
回想起昨天的直播畫面，舞臺上，一束孤單的燈光折下來，張先生寂寞而堅(jiān)決的表情幾乎是烙在每個(gè)愛他的人心上。
感謝技術(shù)，讓我們再一次相遇。寄寓未來，有更多經(jīng)典重現(xiàn)。雷峰網(wǎng)雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
