研究人員越來(lái)越多地使用AI將歷史鏡頭轉(zhuǎn)換為高分辨率、高幀率的視頻，看起來(lái)就像是用現(xiàn)代設(shè)備拍攝。為了簡(jiǎn)化該過(guò)程，羅切斯特大學(xué)、東北大學(xué)和普渡大學(xué)的研究人員最近提出了一種框架，該框架可從低幀頻、低分辨率視頻生成高分辨率慢動(dòng)作視頻。

據(jù)研究團(tuán)隊(duì)表示，他們使用的“時(shí)空視頻超分辨率（STVSR）”算法不僅在圖像質(zhì)量上比現(xiàn)有方法更好，而且比以前的最新AI模型快三倍。

就某種意義上而言，這一框架的提出是繼英偉達(dá)在2018年發(fā)布的針對(duì)視頻處理AI模型后的再次提升，當(dāng)年英偉達(dá)的AI模型可以對(duì)任何視頻應(yīng)用進(jìn)行慢動(dòng)作處理。據(jù)了解，類似的高分辨率技術(shù)已經(jīng)應(yīng)用于視頻游戲領(lǐng)域。去年，《最終幻想》的用戶通過(guò)使用一款名為AI Gigapixel的軟件（售價(jià)100美元）來(lái)提高《最終幻想VII》的背景分辨率正是基于這類技術(shù)。

具體而言，STVSR同時(shí)學(xué)習(xí)時(shí)間插值（如何在原始幀之間合成不存在的中間視頻幀）和空間超分辨率（如何從相應(yīng)的參考幀及其相鄰幀中重建高分辨率幀）；與此同時(shí)，得益于伴隨的卷積長(zhǎng)短期記憶模型，它能夠利用視頻上下文和時(shí)間對(duì)齊來(lái)從聚合特征中重建幀，以此合成高分辨率慢動(dòng)作視頻。

研究人員使用來(lái)自Vimeo的60000多個(gè)7幀剪輯的數(shù)據(jù)集對(duì)STVSR進(jìn)行了培訓(xùn)，并使用單獨(dú)的評(píng)估語(yǔ)料庫(kù)將數(shù)據(jù)集劃分為快動(dòng)作、正常動(dòng)作和慢動(dòng)作集，以測(cè)量各種條件下的性能。在實(shí)驗(yàn)中，他們發(fā)現(xiàn)STVSR在快動(dòng)作的視頻上獲得了顯著的改進(jìn)，包括那些具有挑戰(zhàn)性的動(dòng)作視頻，例如籃球運(yùn)動(dòng)員在球場(chǎng)上快速移動(dòng)的視頻。據(jù)外媒報(bào)道稱，該AI模型具有更精確圖像結(jié)構(gòu)和更少模糊偽影的幀重建能力，同時(shí)又比基準(zhǔn)模型小四倍、快至少兩倍。

“通過(guò)這種單階段設(shè)計(jì)，我們的網(wǎng)絡(luò)可以很好地探索任務(wù)中時(shí)間插值與空間超分辨率之間的內(nèi)在聯(lián)系，” 預(yù)印本論文的合著者寫道?！八刮覀兊哪Ｐ湍軌蜃赃m應(yīng)地學(xué)習(xí)，以利用有用的本地和全局時(shí)間上下文來(lái)緩解大型運(yùn)動(dòng)問題。大量的實(shí)驗(yàn)表明，我們的框架比現(xiàn)有AI模型更有效、效率更高，并且所建議的特征時(shí)間插值網(wǎng)絡(luò)和可變形模型能夠處理非常具有挑戰(zhàn)性的快速運(yùn)動(dòng)視頻。”

據(jù)外媒報(bào)道稱，該項(xiàng)目研究人員打算在今年夏天對(duì)外公布源代碼。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

via：venturebeat

原文鏈接：https://venturebeat.com/2020/02/27/researchers-propose-ai-that-improves-the-quality-of-any-video/

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。