0
雷鋒網(wǎng)按：本文作者Slyvia&Trista，由ARinChina(微信ID：arinchina)編譯自 Facebook Code的《 360 video stabilization: A new algorithm for smoother 360 video viewing》 。
本文主要介紹了1）Facebook視頻穩(wěn)定技術(shù)的新算法結(jié)構(gòu)；2）其工作原理；3）其表現(xiàn)性能；4）延時(shí)攝影算法。
從專業(yè)相機(jī)到消費(fèi)者手持?jǐn)z像機(jī)，目前市面上已有數(shù)十款可以拍攝 360 度視頻的相機(jī)，規(guī)格和質(zhì)量也各有千秋。隨著這些相機(jī)的普及，360 度視頻內(nèi)容的范圍和容量也在不斷擴(kuò)大，人們開始在各種場(chǎng)合和環(huán)境中拍攝 360 度視頻。
然而，拍攝時(shí)卻很難避免晃動(dòng)、保持相機(jī)穩(wěn)定，特別是用手持相機(jī)拍攝運(yùn)動(dòng)對(duì)象（如騎山地自行車和徒步旅行）的時(shí)候。到目前為止，大多數(shù)視頻穩(wěn)定技術(shù)都是為窄視場(chǎng)視頻設(shè)計(jì)的，如用手機(jī)拍攝的傳統(tǒng)視頻，但這些技術(shù)在拍攝 360 度視頻時(shí)卻不怎么好用。
因此，F(xiàn)acebook 決定為拍攝 360 度視頻，開發(fā)一項(xiàng)新的視頻穩(wěn)定技術(shù)。目前，這項(xiàng)技術(shù)已在測(cè)試中，預(yù)計(jì)將支持 Facebook 和 Oculus 平臺(tái)。
Facebook 將這項(xiàng)新技術(shù)命名為「變形旋轉(zhuǎn)」運(yùn)動(dòng)模型，混合 3D-2D 技術(shù)用于優(yōu)化模型參數(shù)，讓 360 度視頻更流暢。在視頻質(zhì)量相同的情況下，它能減少 10%~20% 的比特率，有效提高效率。在通信和計(jì)算機(jī)術(shù)語中，比特率表示在單位時(shí)間內(nèi)可以傳輸多少數(shù)據(jù)。
在標(biāo)準(zhǔn)機(jī)器上，這項(xiàng)新技術(shù)能以每幀小于 22 毫秒的速度穩(wěn)定 360 度視頻。事實(shí)上，這個(gè)穩(wěn)定速度比用正常播放視頻的速度更快。
除此之外，F(xiàn)acebook 的新技術(shù)還讓 360 度視頻也能快進(jìn)，把一段冗長(zhǎng)的視頻（如長(zhǎng)時(shí)間騎車）用更快、更好玩的方式播放。
為了達(dá)成這一功能，F(xiàn)acebook 在主體穩(wěn)定算法之外，又開發(fā)了一個(gè) 360 度延時(shí)攝影算法。隨著時(shí)間的推移，它改變了視頻幀時(shí)間戳的定時(shí)，以平衡攝像機(jī)的速率。
目前的視頻穩(wěn)定算法大多使用相同的結(jié)構(gòu)：跟蹤視頻中的運(yùn)動(dòng)，尋找適配的運(yùn)動(dòng)模型，使運(yùn)動(dòng)變得更平穩(wěn)，產(chǎn)生穩(wěn)定的輸出幀。算法之間主要的區(qū)別在于——如何為視頻中運(yùn)動(dòng)建模。
大多數(shù)算法都是為窄視場(chǎng)視頻設(shè)計(jì)的，用的是單一參數(shù)化二維運(yùn)動(dòng)模型，如全畫幅視角（單應(yīng)）扭曲。全畫幅指的是相機(jī)里的感光元件的尺寸，跟原來的一張膠片大小一樣，為 36X24mm。
雖然這些方法簡(jiǎn)單有效，但過于簡(jiǎn)單的模型無法描述復(fù)雜的運(yùn)動(dòng)，例如前景和背景的視差和抖動(dòng)。
更先進(jìn)的算法則采用更靈活的運(yùn)動(dòng)模式，但還只存在于學(xué)術(shù)出版物中。而這些先進(jìn)算法，雖然能處理更復(fù)雜的運(yùn)動(dòng)，但又限制了視頻拍攝的靈活性，以避免產(chǎn)生可見的幾何變形。
另一類算法在三維環(huán)境下操作。通過重建攝像軌跡和場(chǎng)景的幾何模型，并在三維環(huán)境中推理出穩(wěn)定視頻。因?yàn)椴捎昧烁鼫?zhǔn)確的模型，這些算法具有更高的平穩(wěn)能力。但三維重建方法操作起來比較慢，而且不穩(wěn)定。
因此，F(xiàn)acebook 這次的混合 3D-2D 穩(wěn)定架構(gòu)，正式結(jié)合以上兩類算法的優(yōu)點(diǎn)。該架構(gòu)只在關(guān)鍵幀的幾秒間隔之內(nèi)，使用三維分析，并不是完全重建，只估算相對(duì)運(yùn)動(dòng)，因而更容易解決操作穩(wěn)定性問題。
三維算法的用處體現(xiàn)在，它能夠分辨出被拍攝的物體，究竟是在做旋轉(zhuǎn)運(yùn)動(dòng)，還是平移運(yùn)動(dòng)。
對(duì)于內(nèi)部幀（關(guān)鍵幀之間的剩余幀），F(xiàn)acebook 采用二維方法優(yōu)化，采用了一種新的「變形旋轉(zhuǎn)」模式，讓視頻運(yùn)動(dòng)盡可能的平穩(wěn)。
「變形旋轉(zhuǎn)」模式類似于一個(gè)全局循環(huán)，但允許輕微局部變形。Facebook 優(yōu)化了模型參數(shù)，使其可以處理并撤消一定程度的平移抖動(dòng)（如拿著相機(jī)走動(dòng)時(shí)帶來的上下擺動(dòng)）、滾動(dòng)快門偽影（rolling shutter artifacts）、快門變形（lens deformations）和拼接贗像（stitching artifacts）。
因此，來認(rèn)識(shí)下混合 3D-2D 結(jié)構(gòu)的優(yōu)勢(shì)：
精度：比純粹的二維方法更準(zhǔn)確，因?yàn)槭褂昧烁鼜?qiáng)大的三維分析以穩(wěn)定關(guān)鍵幀。
魯棒性：比純?nèi)S方法更穩(wěn)定，因?yàn)?Facebook 采用三維分析估算相對(duì)旋轉(zhuǎn)，而無需完全重建。所謂「魯棒性」，是指控制系統(tǒng)在一定（結(jié)構(gòu)，大?。┑膮?shù)攝動(dòng)下，維持某些其它性能的特性。
正則化：固定關(guān)鍵幀為內(nèi)幀二維優(yōu)化提供了一個(gè)正則參數(shù)，可以限制變形旋轉(zhuǎn)運(yùn)動(dòng)模型，避免擺動(dòng)偽影。
速度：混合架構(gòu)的性能比單純進(jìn)行三維分析或二維優(yōu)化速度更快。
與現(xiàn)有的穩(wěn)定算法類似，F(xiàn)acebook 也從視頻中的運(yùn)動(dòng)特征點(diǎn)開始追蹤。特征點(diǎn)既是一個(gè)點(diǎn)的位置辨識(shí)，同時(shí)也說明它的局部鄰域具有一定的模式特征。
由于 Facebook 輸入的視頻采用的是等量矩形投影，因而畫面兩端高度扭曲，于是把幀數(shù)轉(zhuǎn)換成不那么扭曲的立方體貼圖（采用 256x256 分辨率），讓運(yùn)動(dòng)跟蹤能夠順利進(jìn)行。
由于追蹤產(chǎn)生的灰度圖像質(zhì)量很高，F(xiàn)acebook 得以在視頻亮度平面上直接執(zhí)行，避免因從 YUV 到 RGB 轉(zhuǎn)換而浪費(fèi)時(shí)間（YUV 和 RGB 為色彩編碼方法）。
Facebook 采用 KLT 跟蹤算法追蹤關(guān)鍵點(diǎn)，并采用了一個(gè)重要概念——關(guān)鍵幀。關(guān)鍵幀非常重要，可以用來估計(jì)被拍攝物體的相對(duì)旋轉(zhuǎn)，為二維優(yōu)化提供正則參數(shù)。關(guān)鍵幀散布在視頻的不同位置，有些地方更密集，有些則較少一些。
然后，F(xiàn)acebook 采用五點(diǎn)算法估計(jì)連續(xù)關(guān)鍵幀之間的相對(duì)轉(zhuǎn)動(dòng)，來估算兩個(gè)攝像機(jī)之間的相對(duì)旋轉(zhuǎn)和平移。五點(diǎn)算法是指，當(dāng)攝像機(jī)在兩幅圖像之間的運(yùn)動(dòng)為純平移運(yùn)動(dòng)時(shí)，給定 5 對(duì)圖像對(duì)應(yīng)點(diǎn)，則可以線性確定本質(zhì)矩陣。
用 3D 感知算法來估計(jì)旋轉(zhuǎn)的優(yōu)勢(shì)在于，它能夠區(qū)分平移運(yùn)動(dòng)和旋轉(zhuǎn)運(yùn)動(dòng)。完成對(duì)所有關(guān)鍵幀旋轉(zhuǎn)的預(yù)估后，把它進(jìn)行逆變換，與視頻的第一幀對(duì)齊。
現(xiàn)在，所有的關(guān)鍵幀已經(jīng)穩(wěn)定下來，就把它們鎖定，而后把注意力放到中間幀的旋轉(zhuǎn)上。
正如前文所述，對(duì)中間幀采用的是二維優(yōu)化的方法，而不是三維分析法。優(yōu)化的目的是讓非關(guān)鍵幀的軌跡盡可能的平穩(wěn)。由于中間幀的旋轉(zhuǎn)已經(jīng)固定了，提供的正則參數(shù)可以用來收斂非關(guān)鍵幀的軌跡。
在解決相機(jī)抖動(dòng)問題的時(shí)候，往往會(huì)殘余一定量的抖動(dòng)，如前文提及的少量平移、滾動(dòng)快門、次優(yōu)鏡頭校正和拼接贗像。Facebook 的目的是增加一些靈活的運(yùn)動(dòng)模型，用來適應(yīng)和撤銷輕微的圖像變形。
在「變形旋轉(zhuǎn)」模型中，F(xiàn)acebook 用 6 個(gè)散落在不同位置的局部旋轉(zhuǎn)代替全局單旋轉(zhuǎn)，讓局部低頻偏差從純旋轉(zhuǎn)變成數(shù)據(jù)。
這一點(diǎn)至關(guān)重要，因?yàn)榭梢苑乐挂蜻\(yùn)動(dòng)模型太靈活而造成的漂移。Facebook 希望解決問題用的是引入更多數(shù)據(jù)，而非單純的刪除偽影。
Facebook 開發(fā)這一新算法的目的，是讓用戶可以觀看流暢穩(wěn)定的 360 度視頻，畢竟用戶也不想把時(shí)間浪費(fèi)在等待視頻上傳。因此，即便這一算法適用于 GPU，F(xiàn)acebook 也希望能在 CPU 上運(yùn)行。
所以，F(xiàn)acebook 的做法是：選取一個(gè) 8*8 像素區(qū)域，用傳統(tǒng)的包圍盒算法計(jì)算其坐標(biāo)，其他區(qū)域用雙線性差值運(yùn)算。
這種新算法比包圍盒算法運(yùn)算速度更快，與單純用包圍算法進(jìn)行計(jì)算相比，顯示效果差不多，但大大提高的運(yùn)算效率。包圍盒算法是用一個(gè)簡(jiǎn)單的圖形代替復(fù)雜形狀的算法。
下圖總結(jié)了各算法階段的性能，測(cè)量的是單個(gè)幀輸入 / 輸出 1080p 分辨率和時(shí)間。
事實(shí)上，F(xiàn)acebook 新算法的穩(wěn)定速度，是比正常播放一段視頻要快的：
播放視頻的時(shí)候，顯示每一幀大約需要 30 毫秒，而穩(wěn)定一幀只需 20 毫秒。通過改進(jìn)算法，F(xiàn)acebook 可以讓直播的 360 度視頻每一幀都不發(fā)生抖動(dòng)。
除了速度之外，F(xiàn)acebook 還對(duì)效率進(jìn)行了優(yōu)化。
因?yàn)?360 度視頻并不裁剪任何拍攝到的畫面，所以可以被還原到最初的版本，所以穩(wěn)定算法可以提高 360 度視頻的比特率（比特率越高，傳送數(shù)據(jù)速度越快）。但對(duì)于視頻播放不會(huì)有任何影響，因?yàn)轶w驗(yàn)過 360 度視頻的人大多已經(jīng)習(xí)慣了旋轉(zhuǎn)的視圖。
穩(wěn)定算法能夠有效節(jié)省比特率，下圖分析了通 x264 庫（一個(gè)免費(fèi)的軟件庫）把視頻編碼為 H.264/MPEG-4 AVC 格式時(shí)比特率的消耗，橙色代表滑雪，藍(lán)色代表停下來休息。
如圖所示，比特率的節(jié)省概率在 10%~20% 之間，取決于編碼器的設(shè)置。
由于 Facebook 的新算法讓 360 度視頻看起來非常平滑，所以可以用來創(chuàng)建加速延時(shí)視頻。創(chuàng)建一個(gè)延時(shí)攝影 360 度視頻只需刪掉一些內(nèi)容，但每幀序列都應(yīng)該能連接起來。
然而，延時(shí)攝影拍攝的一個(gè)共同點(diǎn)是平穩(wěn)的平衡相機(jī)速率。例如，在拍攝一個(gè)滑雪視頻時(shí)，滑雪者時(shí)而加快速度，時(shí)而停下休息，相機(jī)速率也在不斷變化。
為了模擬一個(gè)不斷移動(dòng)的延時(shí)攝影鏡頭，需要暫時(shí)地平衡速度，并跳過休息的部分。
要做到這一點(diǎn)，首先用二維近似和平均運(yùn)動(dòng)矢量，估計(jì)每一幀的相機(jī)速率。然后，用時(shí)間中位數(shù)和低通濾波器把視頻二次處理一下。低通濾波器是容許低于截止頻率的信號(hào)通過、但高于截止頻率的信號(hào)就不能通過的電子濾波裝置。
通過相機(jī)預(yù)估速率，就可以改變?cè)曨l的時(shí)間戳。這樣一來，就可以創(chuàng)建加速視頻，把冗長(zhǎng)的視頻縮短。
下一步Facebook 表示，這項(xiàng)新算法還在測(cè)試當(dāng)中，希望能夠得到用戶的反饋。用戶現(xiàn)在可以試著上傳 360 度視頻，把高質(zhì)量，且觀感更舒適的視頻與朋友們分享。
接下來，F(xiàn)acebook 將致力于改進(jìn)延時(shí)攝影算法，希望在不久的將來，能用到實(shí)時(shí) 360 度視頻中。
雷鋒網(wǎng)注：本文由ARC增強(qiáng)現(xiàn)實(shí)（微信ID：arinchina）授權(quán)發(fā)布雷鋒網(wǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系授權(quán)并注明作者和出處，不得刪減內(nèi)容。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
