憑借AI修復(fù)老北京影像火爆B站的Up主大谷兄，今天又來帶我們玩穿越了！

這次是1929年的老北京，除了AI上色、補(bǔ)幀、擴(kuò)大分辨率外，還百分百還原了時(shí)代原聲，老北京的味兒太足了！

人頭攢動(dòng)，熙熙攘攘，有賺吆喝的、看熱鬧的、閑聊的，老北京集市好不熱鬧。

大鼓、笛子、四胡、三弦，手藝人的一曲《打新春》，有內(nèi)味了。

盲人"爵士"樂隊(duì)

原來理發(fā)最低不是5塊，還有2塊的！

聽他們聊天，網(wǎng)友表示想看相聲了。

師傅：疼不疼？

小伙：不疼。我還不哭呢外帶著。

小伙：這個(gè)頭好，剃得不疼，剃不好，真疼，剃好了咱還找你去。

師傅：唉

......

如果精神小伙穿越到現(xiàn)在，會(huì)不會(huì)是一位優(yōu)秀的Up主？

精神小伙理發(fā)記

溢出屏幕的開心勁兒，看來發(fā)型很滿意。在我們這年代都不用理，用不了幾年就能天然形成[傲嬌]

吃飯還能這么熱鬧嗎？我們現(xiàn)在都是隔著兩米！

驚現(xiàn)“地?cái)偨?jīng)濟(jì)”

3min的珍貴影像資料，可謂真真切切地感受了老北京九十年前的生活狀態(tài)。雖然看起來物質(zhì)生活不是很富裕，但隔著屏幕都是感受到那時(shí)候人們的歡樂。準(zhǔn)確的來說，這段影像記錄的是1927-1929年的老北京，出自南卡羅萊納大學(xué)影像庫館藏膠片。

另外，這段影像修復(fù)視頻依然出自B站Up主大谷之手，此前他曾用AI修復(fù)過1920-1927年的一段老北京影像，在B站爆火，視頻點(diǎn)擊量超過了200萬，還受到了央視新聞的報(bào)道。不過，從影像的修復(fù)效果過來看，顯然這次在去噪和著色方面處理的更好，而且還是自帶原聲的影像資料。

這次的修復(fù)作品是與央視新聞聯(lián)合發(fā)布的，視頻上傳不到30min，在B站就收獲了30多萬的播放量，彈幕更是爆屏。

最后，奉上完整視頻，一起來感受老京城生活

AI修復(fù)是如何實(shí)現(xiàn)的？

據(jù)大谷介紹，這部修復(fù)作品采用了新的AI技術(shù)DeepRemaster。與此前相比，它在上色、補(bǔ)幀、分辨率方面都有更出色的表現(xiàn)。這項(xiàng)技術(shù)的研發(fā)者是日本建筑大學(xué)的Satoshi Iizuka和和早稻田大學(xué)的Edgar Simo-Serra。他們的論文還被計(jì)算機(jī)圖形學(xué)頂會(huì)SIGG2019收錄。

論文地址：http://iizuka.cs.tsukuba.ac.jp/projects/remastering/en/index.html

我們知道以前的影像資料一般都是黑白的，而且像素、質(zhì)量比較低。如果修復(fù)的話，需要提高分辨率、去除噪聲和增強(qiáng)對(duì)比度的處理。基于這些任務(wù)，作者中提出了一個(gè)DeepRemaster模型。

它基于時(shí)間卷積神經(jīng)網(wǎng)絡(luò)，在視頻上訓(xùn)練注意力機(jī)制（Source-Reference），這種注意力機(jī)制可以處理任意數(shù)量的彩色圖像，同時(shí)不需要對(duì)長(zhǎng)視頻進(jìn)行分割，因此保持時(shí)間的一致性。經(jīng)過定量分析表明，DeepRemaster的模型性能可以隨著視頻長(zhǎng)度和彩色圖像的增加而提高，遠(yuǎn)優(yōu)于現(xiàn)有的修復(fù)模型。

DeepRemater模型的內(nèi)部架構(gòu)

在模型Input端輸入黑白圖像，經(jīng)過時(shí)間卷積網(wǎng)絡(luò)的預(yù)處理和Source-Reference注意力機(jī)制的深度訓(xùn)練后，可以結(jié)合任意數(shù)量的彩色圖像來生成最終的色度信道。在這一過程中， Source-Reference注意力機(jī)制允許模型再給視頻上色時(shí)，參考彩色圖像（Reference Images）中的相似區(qū)域。

基于遞歸的卷積神經(jīng)網(wǎng)絡(luò)，在傳播信息時(shí)，通常是逐幀傳播，不能進(jìn)行并行處理，并形成依賴關(guān)系。因此，在參考彩色圖像時(shí)，圖像會(huì)反復(fù)重新開始，這樣時(shí)間上的相關(guān)性就會(huì)丟失。而基于Source-Reference注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)在處理任何幀時(shí)能夠并行使用所有的參考信息。

以下是DeepRemaster修復(fù)的效果圖：（右側(cè)為參考彩色圖像）

修復(fù)方法比較

Zhang、Yu和Vondrick等人曾對(duì)世界經(jīng)典電影和和Youtube視頻進(jìn)行AI修復(fù)試驗(yàn)，結(jié)果取得了不錯(cuò)的效果。作者為驗(yàn)證DeepMaster的修復(fù)性能，與之進(jìn)行了對(duì)比。

首先是與Zhang、Yu的比較。作者從Youtube的300視頻數(shù)據(jù)集中隨機(jī)抽取了一段8M視頻作為修復(fù)目標(biāo)，其中所用到參考彩色圖像，取自源視頻，并每隔60幀截取一次。

噪聲處理：從修復(fù)結(jié)果來看，當(dāng)前的方法在去噪處理方面，顯然優(yōu)勢(shì)明顯。第一列為存在噪聲瑕疵的原圖像，前兩種幾乎沒有對(duì)齊進(jìn)行修復(fù)，第四列可以看到在高保真的狀態(tài)下，噪聲被處理的很好，與第四列真實(shí)圖像幾乎沒有差異。

著色處理：圖中第一列為原始圖像，后三列為不同方法的處理著色處理結(jié)果，最后一列為參考彩色圖形?？梢钥闯龅谌械念伾幚砼c第四列幾乎無差異。因此，基于Source-Reference注意力機(jī)制的模型著色效果更好。

另外，作者將Zhang和Vondrick的修復(fù)方法結(jié)合，并進(jìn)行了比較。上部圖像為參考彩色圖像，分別對(duì)第5、85、302幀的圖像進(jìn)行了修復(fù)，結(jié)果可以看出目前的方法在著色效果上更好。

更多論文詳細(xì)內(nèi)容參考：http://iizuka.cs.tsukuba.ac.jp/projects/remastering/data/remastering_siggraphasia2019.pdf（雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。