0
很快，遠處的一個黑點變成了清晰的火車頭，形形色色的旅客們涌了上來。
火車減速，沿月臺緩緩停下，車廂門打開，奧古斯特·盧米埃爾夫人領著兩個穿白衣服的孩子走進了車廂......緊接著，一個穿潔白冬裝的少女走了過來，無意間看到了攝像機，她流露出害羞的表情，悄悄的躲過了鏡頭......
沒有復雜的拍攝技巧，沒有豐富的電影語言，一個簡單的火車進站的縱深鏡頭，真實呈現(xiàn)了19世紀90年代法國旅客候車時的情景。
這部《火車進站》是由盧米埃爾兄弟執(zhí)導的世界上第一部電影，只有50s的黑白無聲影片在當時那個年代給人們帶來了極強的新鮮感，如今經(jīng)過4K修復仍有一種濃厚的歷史韻味。
電影修復技術經(jīng)過20年的發(fā)展，使大量經(jīng)典、重要且珍貴的膠片電影擺脫了蒙塵的命運?！逗Ｉ箱撉賻煛贰队啦幌У碾姴ā贰队⑿郾旧贰栋w正傳》等影史經(jīng)典以全新的面貌重映銀屏，帶回了一代人的青春記憶，也展現(xiàn)了老電影獨特的魅力。
《永不消失的電波》4k修復劇照
4K修復既能保留膠片電影特有的質(zhì)感，又能適應電影的數(shù)字化，可以說是膠片時代過渡到數(shù)字時代的良好選擇。然而，這些經(jīng)典電影“舊貌換新顏”的背后卻是巨額的成本投入，電影修復一直都是一門大產(chǎn)業(yè)。
一部影片要想完成4K修復起碼需要兩三個月、甚至半年之久。而“周期長”意味著“成本高”，影片《決勝時刻》從修復、投資到上映大概花了上千萬，詹姆斯.卡梅隆的傳世之作3D版《泰坦尼克號》更是耗資6千多萬元。
除了高額資金成本，人力短缺也是4K修復的一大桎梏。《開國大典》中一段10分鐘的鏡頭片段動用了600個人，而且這些人不僅要對電影藝術有很深的了解，更要知曉膠片的物理性質(zhì)、化學性質(zhì)、軟件修復技術以及電影特效等專業(yè)知識。
對于浩如煙海的膠片電影而言，修復工作是一項與時間賽跑的“搶救工作”。
近日，西瓜視頻與火山引擎共同發(fā)布了“經(jīng)典中視頻4k修復計劃”，表示在未來一年內(nèi)，將與央視動漫和上海美術電影制片廠合作，共同利用4K技術修復《舒克與貝塔》《西游記》等 100 部家喻戶曉的經(jīng)典動畫。
哪吒傳奇（2003）、圍棋少年（2005）、圍棋少年（2）、大頭兒子和小頭爸爸（1995）、小鯉魚歷險記（2007）、我為歌狂（2001）、葫蘆兄弟（1986）、三個和尚、小蝌蚪找媽媽、 黑貓警長1-5集、九色鹿、舒克和貝塔1-13集、沒頭腦和不高興1-26集、邋遢大王奇遇記1-13集、西游記、魔方大廈1-10集、猴子撈月、大盜賊1-8集、葫蘆小金剛1-6集、南郭先生、曹沖稱象、大耳朵圖圖（第一季）、人參娃娃、鏡花緣1-4集、小鯉魚跳龍門、東郭先生、鷸蚌相爭、老狼請客、咕咚來了、嶗山道士、 半夜雞叫、十二生肖1-13集、小虎還鄉(xiāng)、驕傲的將軍、超級肥皂、濟公斗蟋蟀 、人參王國、阿凡提的故事1-13集、過猴山、大英雄狄青1-52集、狼來了等100部影片。（修復后的內(nèi)容，用戶可免費在西瓜視頻觀看）
發(fā)布會上，針對當前4K電影修復成本高、周期長、人力短缺等缺點，火山引擎多媒體實驗室研究員趙世杰給出了火山引擎“智能處理”解決方案。他表示，通過超分辨率、智能插幀、色彩增強、降噪等自研算法，AI能夠大幅提升老片的修復效率和質(zhì)量。
發(fā)布會上，哪吒、葫蘆娃、黑貓警長，一個個經(jīng)典形象以超高分辨率出現(xiàn)在大屏幕上，每個畫面細節(jié)都被完美呈現(xiàn)，光影層次也變得流暢，給現(xiàn)場觀眾帶來了不一樣的童年感受。
所謂電影修復，其實就是將年代久遠的膠片電影重新拷貝到數(shù)字載體上，通過修復、降噪、補光、調(diào)色等技術處理，還原和優(yōu)化影片原貌的過程。
2k技術是早期電影修復的主要手段，用于清除影片雜質(zhì)、噪音，讓畫面恢復最初的視覺質(zhì)感；4k技術在分辨率上要求更高、更精細，除了清晰度和流暢度外，注重影片的原始色調(diào)和光影層次，為觀眾打造身臨其境的感覺。
2014年上映的《舞臺姐妹》是國內(nèi)首部4K修復電影，這部4K掃描、4K輸出的全彩修復影片令當時的觀眾耳目一新。后來隨著修復技術的日臻完善，2019年上映的修復版《那人那山那狗》《滑鐵盧戰(zhàn)役》《決勝時刻》接連成為電影市場的現(xiàn)象級作品。從這一年開始，4K修復版電影開始走進大眾的觀影生活，電影修復技術也正式由“2K時代”邁入“4K時代”。
盡管有了AI，4k電影修復仍是一項艱難且繁重的任務。趙世杰介紹，受到拍攝條件和膠片保存、使用過程中的損傷等因素影響，老電影普遍清晰度低、流暢度低、色彩失真、有瑕疵等不同程度的畫質(zhì)問題。
在過去，老電影主要采用膠片作為拍攝和存儲的介質(zhì)。早期膠片的材料是一種比紙更易燃的硝酸片基，后來發(fā)展出醋酸片基、滌綸片基取而代之，但不管是哪種片基，在常溫狀態(tài)下都很難保存，溫度、濕度以及搬運移動、使用播映外部因素很容易造成膠片損傷。
圖源：北京商報
目前中國電影資料館保存了近3萬部膠片影片資料，這些膠片由于年代久遠，保存條件不夠理想或者轉(zhuǎn)印、播放次數(shù)過多等原因，普遍存在著灰塵、污垢、霉斑、掉色、圖像抖動、劃痕、閃爍、噪聲、變色、模糊等各種問題。
而膠片質(zhì)量直接影響著人工修復的難度和時間成本。正常情況下，一位熟練的修復師一天最多可以修復200幀畫面，但如果膠片保存不佳，臟污、裂痕、變色等問題嚴重，修復師一天可能只能修復一秒（24幀），再者，如果畫面涉及夜戲、雨戲、煙霧戲、特效戲等復雜場景，修復周期更是成倍增加。在2019年上映的4K修復版《開國大典》中，一段拍攝于1945年和1945年之前的片段，全長只有10分鐘，占用了整個修復團隊70%的時間。
由于膠片質(zhì)量和所用時間不同，修復的花費也不盡相同，但一部90分鐘標準時長的4K影片修復通常需要百萬人民幣以上，且從物理修補，數(shù)字化轉(zhuǎn)換，再到聲畫合成、調(diào)色，整個修復過程難度不亞于制作一部新片。
其實拋開成本問題，電影修復最大的難題是如何保留影片藝術風格和美感，4K修復版電影曾一度因為顛覆膠片的美感而引發(fā)爭議。一部老電影，經(jīng)過漫長的歲月侵蝕，早已變得暗淡模糊，通過AI技術把它修復得光鮮漂亮并不是難，難的是如何還原原來老電影的感覺。因此，如何賦予AI以“藝術修養(yǎng)”，是火山引擎所要攻克的核心問題。
“不管是修復動畫片，還是修復老電影，歸根到底，都不只是為了提高它的清晰度，而是修復這些內(nèi)容背后的記憶，通過這些記憶在幾代人之間產(chǎn)生共鳴和火花，才是修復的價值所在?！蔽鞴弦曨l總裁任利鋒表示，經(jīng)典作品凝結(jié)了老藝術家的智慧與精神，需要我們真實地去還原和呈現(xiàn)。
在首批修復的動畫作品中，經(jīng)典水墨剪紙動畫《葫蘆兄弟》也在其中，這部根據(jù)民間文學《十兄弟》改編的極具神話色彩的動畫片，是70、80后的共同回憶。為了保留水墨和剪紙獨有的藝術感，趙世杰坦言，他們修復《葫蘆兄弟》時多次與制片方討論方案，經(jīng)過反復測試和調(diào)優(yōu)才達到理想效果。
在算法方面，為了防止“誤傷”水墨朦朧的藝術效果，他們在消除瑕疵算法上沒有設置很高的強度，而是“故意”漏掉一部分瑕疵交由人工輔助處理。對損傷嚴重的老片來說，徹底消除瑕疵需要投入大量人力?；鹕揭嫘迯蛿?shù)據(jù)顯示，算法能夠直接消除95%以上的瑕疵，余下的經(jīng)過人工標注后再調(diào)整算法做二次優(yōu)化。
據(jù)了解，此次4K修復使用了火山引擎智能處理產(chǎn)品中的部分技術能力，通過超分辨率、智能插幀、智能降噪、色彩增強等算法增強視頻畫質(zhì)。其修復過程大致為，先利用視頻降噪算法做前期處理，再進一步通過幾類不同的超分辨率算法增強將畫幅擴大到4K分辨率，并生成更精細的細節(jié)，最后再通過插幀算法網(wǎng)絡和HDR重制算法，將一個原本充斥著噪聲和壓縮損傷問題的視頻增強為一個主觀畫質(zhì)舒適的4K 60幀HDR節(jié)目。以下為各項功能及優(yōu)勢的簡單介紹：
智能超分：根據(jù)已有的圖像、視頻信息重構(gòu)缺失的細節(jié)，解決老片普遍存在的模糊、清晰度差、分辨率低的問題。
超分辨率 (Super-Resolution，簡稱超分）在視覺處理方面的廣泛應用，使其有了非常成熟的解決方案?；鹕揭娴募夹g創(chuàng)新主要體現(xiàn)在時域建模和自適應處理。前者可自動生成恢復出額外的細節(jié)，后者可對視頻或圖像進行“區(qū)域分片”處理，以確保不同視頻/圖像區(qū)域的風格和美感。
智能插幀：使用深度學習算法，將低幀率視頻通過插幀的方式變?yōu)楦邘室曨l，讓視頻變得更順滑流暢。
老動畫片容易出現(xiàn)卡頓、流暢度不佳的現(xiàn)象，主要是因為影片繪畫幀數(shù)少。智能插幀技術的功效就是通過分析前后幀的動態(tài)和內(nèi)容，生成中間幀，進而提升視頻幀率和流暢度。關于動畫紋理少的問題，現(xiàn)階段的解決方案難以判斷前后幀對應的運動塊，針對這個問題，火山引擎采用塊光流進行優(yōu)化，提高了插幀的精準度。
視頻降噪：消除膠片存放以及轉(zhuǎn)錄過程中帶來的各種噪點以及閃爍等缺陷。
常見的視頻降噪算法在消除噪聲的同時，容易對紋理區(qū)域有破壞，火山引擎方案通過對紋理、噪聲的智能分析，在去噪的同時盡可能地保留視頻原有紋理不受影響。
劃痕修復：對視頻中膠片的劃痕損傷進行識別和修復。
對于常見的膠片劃痕，考慮到修復難度和效果，火山引擎采用了“算法+人工”相結(jié)合的解決方案。從現(xiàn)有研究來看，如果使用純AI技術進行修復，密集且微小的劃痕很難被全部發(fā)現(xiàn)，也容易出現(xiàn)“誤傷”的情況；相對來說，人工修復的效果會更好，但它需要更多的時間和資金，效率反而降低了?；鹕揭娴姆桨甘窍仁褂盟惴ǔ醪叫迯托澓?，人工標注算法再“查漏補缺”，修補大的劃痕，實驗證明，算法對通過人工標注的結(jié)果進行再修復，所達到的效率和效果都是最優(yōu)的，而這一點也恰好體現(xiàn)了火山引擎“雖有先進音視頻技術，卻不唯技術”的理念。
鋸齒修復：針對影片下采樣時出現(xiàn)的鋸齒線條和頻譜混淆，有針對性設計了一個獨立算法。
鋸齒修復所要解決的關鍵問題是鋸齒定位。與劃痕不同，并不是每一張圖像都會出現(xiàn)鋸齒線條?；鹕揭娑嗝襟w實驗室團隊經(jīng)過多次嘗試和實驗，發(fā)現(xiàn)鋸齒效應通常是由數(shù)字化掃描不精準引入的，目前業(yè)界的修復算法和工具都沒有相對應的解決方案。所以火山引擎針對性地設計了一套優(yōu)化算法，使鋸齒的修復效果得到了很大的改善。
SDR To HDR：針對質(zhì)量較低的視頻，從色彩、對比度、細節(jié)及畫面層次等維度進行分析，對低質(zhì)問題進行自適應處理，提高源視頻的質(zhì)量和轉(zhuǎn)碼后視頻質(zhì)量。
無論是產(chǎn)業(yè)界，還是學術界，從現(xiàn)有的SDR視頻中恢復更高動態(tài)范圍和色彩廣度的HDR視頻的需求一直在持續(xù)增長。一般來講，如果標準動態(tài)范圍沒有太大提升，很可能就會出現(xiàn)畫面像素過多，質(zhì)量不高，且無法呈現(xiàn)更豐富的層次和細節(jié)等影響。與SDR相比，高動態(tài)范圍（High Dynamic Range，HDR）可以提供更豐富的細節(jié)，更寬廣的色域和更自然的色彩過渡，呈現(xiàn)更高品質(zhì)的的圖像。
火山引擎是字節(jié)跳動旗下的企業(yè)級技術服務平臺，圍繞音視頻技術搭建了視頻點播、veImageX、企業(yè)直播、視頻直播、實時音視頻、云編輯、智能處理于一體的視頻云產(chǎn)品矩陣。視頻云屬于火山引擎中臺層面的服務，其最大的優(yōu)勢是擁有抖音、西瓜視頻、今日頭條等實戰(zhàn)場地，能夠在豐富的場景下不斷迭代、打磨音視頻能力。
火山引擎視頻云產(chǎn)品負責人Keith此前在接受媒體采訪時表示，“我們會在抖音和西瓜場景中，不斷去探索視頻播放體驗的極致，同時解決這個過程中出現(xiàn)的大規(guī)模問題。而這些問題的解決方案，我們會把它沉淀成方法論，然后融合到火山引擎視頻云的產(chǎn)品中去?！?/p>
所有音視頻產(chǎn)品發(fā)展到一定規(guī)模后，其突破點一定是“細節(jié)”的處理，早在2016年，字節(jié)跳動就上線了大規(guī)模測試平臺A/B測試，為字節(jié)跳動算法和產(chǎn)品提供檢驗和優(yōu)化的平臺。A/B測試連接抖音、西瓜視頻等全線業(yè)務后，每天開展上萬場測試，單日新增實驗數(shù)量最高超過了1500個，覆蓋500多個大大小小的業(yè)務。此次4K修復技術用到的智能插幀、智能超分、智能降噪等算法已經(jīng)過了A/B測試及多平臺多場景的千錘百煉。
標準被譽為高科技產(chǎn)業(yè)王冠上的寶石。誰在標準中擁有更多專利，在產(chǎn)業(yè)中就擁有更大的話語權與主動權。正因為如此，各大科技巨頭都高度重視標準制定，將相關專利技術視為核心資產(chǎn)。
在國際標準H.266/VVC貢獻者排行榜上，字節(jié)跳動排名第三，僅次于高通和華為。
作為一家沒有參與上一代視頻編解碼標準開發(fā)的互聯(lián)網(wǎng)公司，字節(jié)跳動實現(xiàn)了從標準跟隨者到制定者的跨越。而在新一代視頻編解碼標準制定過程中，字節(jié)跳動發(fā)起的100多項技術提案獲得H.266/VVC標準采納，形成一系列原創(chuàng)性技術。
除了標準化工作的重要貢獻之外，火山引擎多媒體實驗室團隊在H.266/VVC商業(yè)化落地方向也做出了積極的貢獻。
早在2019年6月，火山引擎已經(jīng)完成滿足點播場景應用的自研編碼器BVC第一個版本，該版本與x265編碼器相比，在相同計算資源下，針對大量的1080p高清視頻，BVC編碼器可以將平均碼率下降33%。之后，BVC經(jīng)過不斷迭代，性能又有大幅提升。除了自研編碼器，自研解碼器也已經(jīng)配套完成，在高端手機上可以做到實時流暢播放高清和超高清視頻。
H.266標準之后，火山引擎對視頻編碼技術仍在進一步探索，目前側(cè)重的兩個方向，一個是基于新興深度學習的視頻壓縮（也包括深度學習和傳統(tǒng)混合視頻編碼框架的結(jié)合），另外一個是基于傳統(tǒng)混合視頻編碼框架技術的繼續(xù)挖掘。盡管還只是剛剛開始，但已經(jīng)取得了突破性的進展：
基于深度學習的自適應濾波器DAM算法，獲取15%以上的性能增益；
基于混合視頻編碼框架融合多項技術，獲得超過13%以上的性能增益。
其中，自適應濾波器(DAM)算法，主干是基于殘差單元堆疊的深度卷積網(wǎng)絡，輔以自適應模型選擇以最大程度適應特性復雜的自然視頻。所謂殘差單元是指通過引入跳層連接，允許網(wǎng)絡把注意力放在變化的殘差上，這與視頻圖像幀之間的殘差有異曲同工之妙，比如武林高手決斗，“劍光一閃”，每一幀圖像絕大部分內(nèi)容是相同的，閃動的劍光形成殘差，這也是視頻編碼壓縮的重點關注對象。
實驗結(jié)果顯示，相比H.266/VVC最新標準，字節(jié)跳動的DAM解決方案能夠為視頻編碼性能帶來顯著提升，亮度信號Y可實現(xiàn)10.28%的性能增益，兩個色度信號U和V，性能增益也分別達到28.22%和27.97%，在視頻質(zhì)量有所優(yōu)化的同時，至少還可縮小13%的數(shù)據(jù)體積。
火山引擎多媒體實驗室的各項研究成果，也將通過BVC編碼器的升級換代投入應用，包括抖音、西瓜視頻、今日頭條等 App的視頻類內(nèi)容處理，以及云計算、云游戲等基礎架構(gòu)領域，為用戶帶來更高清畫質(zhì)、更流暢的視頻體驗。
火山引擎定位為字節(jié)跳動對外提供技術服務的窗口，從統(tǒng)一的基礎服務、技術中臺、智能應用和行業(yè)解決方案四個方向面對B端提供技術支撐。在過去九年，字節(jié)跳動沉淀了大量增長方法、工具和技術能力，這些能力在火山引擎上有機地組合成為了 60 多款單品，被統(tǒng)稱為『智能增長技術』。如今數(shù)字化轉(zhuǎn)型和企業(yè)服務行業(yè)迅猛發(fā)展，火山引擎『智能增長技術』亟需走向市場，接受打磨和考驗。
火山引擎啟動大規(guī)模修復經(jīng)典4k中視頻，擴大了其音視頻能力的應用范圍，同時也為推動中國文化遺產(chǎn)保護做出了貢獻。老電影修復是一項與時間賽跑的“搶救工作”，很多珍貴、重要的經(jīng)典影片遺產(chǎn)再不修復就毀了。 2006年，中國電影資料館牽頭啟動“電影檔案影片數(shù)字化修護工程”項目，率先開始了發(fā)現(xiàn)、收集、拯救、保存中國膠片電影的工作，截止目前已經(jīng)修復了500多部2K以上的國產(chǎn)電影，但要想贏得這場“競賽”，提升AI技術能力終究是根本解決之道。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
