0
雷鋒網(wǎng) AI 科技評(píng)論按：本文發(fā)布于 Google AI Blog，介紹了 Google 一項(xiàng)最新研究成果——自監(jiān)督學(xué)習(xí)下的視頻著色模型，還可以直接用于視頻目標(biāo)跟蹤和人體姿態(tài)估計(jì)。雷鋒網(wǎng) AI 科技評(píng)論根據(jù)原文進(jìn)行了編譯。
跟蹤視頻中的運(yùn)動(dòng)對(duì)象是計(jì)算機(jī)視覺中的一個(gè)基本問題，這對(duì)于動(dòng)作識(shí)別（Activity recognition）、對(duì)象交互（Object interaction）或者是視頻風(fēng)格轉(zhuǎn)化（Video Stylization）等應(yīng)用的研究而言尤為重要。但是，由于教會(huì)機(jī)器以可視化的方式去跟蹤視頻中的主體，需要數(shù)量巨大且具有標(biāo)簽的數(shù)據(jù)（大規(guī)模標(biāo)注視頻數(shù)據(jù)不具有可行性）用來訓(xùn)練，所以這項(xiàng)任務(wù)也非常具有挑戰(zhàn)性。
在論文《Tracking Emerges by Colorizing Videos》中，谷歌的研究人員們構(gòu)思了一種卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以從單個(gè)參考幀中復(fù)制顏色，然后對(duì)灰度視頻中的內(nèi)容上色。通過這種做法，網(wǎng)絡(luò)學(xué)會(huì)了在沒有監(jiān)督信息輔助的情況下，自動(dòng)地可視化跟蹤視頻中的主體。重要的是，盡管該模型從未顯式地進(jìn)行過「目標(biāo)跟蹤任務(wù)」的訓(xùn)練，但是它卻能夠同時(shí)跟蹤多個(gè)對(duì)象，甚至在遇到遮擋或者變形的情況下依然保持健壯性（Robust），這一切的實(shí)現(xiàn)都不需要用到任何標(biāo)簽數(shù)據(jù)。
目標(biāo)跟蹤預(yù)測(cè)結(jié)果樣例展示，這些樣例來自于公開的學(xué)術(shù)數(shù)據(jù)集 DAVIS 2017。在模型學(xué)會(huì)了給視頻著色之后，目標(biāo)跟蹤機(jī)制會(huì)在沒有提供任何監(jiān)督信息的情況下自動(dòng)被模型掌握。研究人員們會(huì)在第一幀中為模型指定感興趣的區(qū)域（通過不同的顏色表示），然后模型在沒有進(jìn)行任何額外的學(xué)習(xí)或者提供監(jiān)督信息的情況下，自動(dòng)為后續(xù)幀中的目標(biāo)進(jìn)行著色。
谷歌的研究人員們提出了一個(gè)假設(shè)，顏色的時(shí)間域一致性（Temporal coherency）為教導(dǎo)機(jī)器跟蹤視頻中特定區(qū)域提供了極好的大規(guī)模訓(xùn)練數(shù)據(jù)。顯然，當(dāng)顏色在時(shí)間域上不連貫時(shí)（例如燈光突然亮起）會(huì)有例外情況，但是通常情況下，隨著時(shí)間的推移視頻中的顏色都能夠保持穩(wěn)定。此外，大多數(shù)視頻都是彩色的，為模型的訓(xùn)練提供了規(guī)?？勺兊淖晕冶O(jiān)督學(xué)習(xí)信號(hào)。他們將彩色視頻轉(zhuǎn)換為灰度視頻，然后再添加著色步驟，因?yàn)橐粋€(gè)視頻中可能存在有多個(gè)物體具有相同的顏色，但是通過著色操作，他們可以教會(huì)機(jī)器去跟蹤特定的目標(biāo)或區(qū)域。
為了訓(xùn)練該系統(tǒng)，谷歌的研究人員們使用了來自 Kinetics 數(shù)據(jù)集的視頻，這是一個(gè)大型且公開的視頻數(shù)據(jù)集，里邊的視頻主要與日常活動(dòng)有關(guān)。他們將除了第一幀之外的所有視頻幀轉(zhuǎn)換為灰度格式，然后訓(xùn)練神經(jīng)網(wǎng)絡(luò)以預(yù)測(cè)的方式還原后續(xù)幀中的圖像色彩。為了能夠準(zhǔn)確地還原視頻中的色彩，我們希望模型能夠?qū)W會(huì)跟蹤圖像中的特定區(qū)域。他們通過觀察實(shí)驗(yàn)結(jié)果得出的主要結(jié)論是，為了還原色彩而讓模型學(xué)會(huì)跟蹤圖像中的特定區(qū)域，也會(huì)促使模型自動(dòng)習(xí)得物體跟蹤的能力。
使用來自 DAVIS 2017 數(shù)據(jù)集的視頻來說明視頻再著色任務(wù)。該模型接收單幀彩色視頻幀和一個(gè)灰度格式視頻作為輸入，然后預(yù)測(cè)還原出視頻中其它幀的顏色。該模型學(xué)會(huì)了從給出的參考幀中復(fù)制所需的顏色，這個(gè)能力也讓模型在沒有人工監(jiān)督的情況下學(xué)會(huì)了目標(biāo)跟蹤的能力。
要模型學(xué)會(huì)從給出的單幀參考圖像中復(fù)制到正確顏色，這就要求模型能夠隱式地學(xué)會(huì)圖像幀之間的區(qū)域映射關(guān)系。這迫使模型習(xí)得可用于目標(biāo)跟蹤的顯式機(jī)制。為了幫助讀者們更好地理解視頻再著色算法的機(jī)制，我們?cè)谙旅嬲故玖艘恍╊A(yù)測(cè)著色的結(jié)果，這些視頻來自于 Kinetics 數(shù)據(jù)集。
通過提供的參考幀預(yù)測(cè)還原剩余幀的圖像色彩，輸入視頻來自于公開的 Kinetics 數(shù)據(jù)集
雖然網(wǎng)絡(luò)是在沒有標(biāo)注數(shù)據(jù)（Ground-truth）的情況下進(jìn)行訓(xùn)練的，但我們的模型學(xué)會(huì)了跟蹤視頻第一幀中指定的任意視覺區(qū)域。模型可以跟蹤輪廓中的對(duì)象或是視頻中的單個(gè)像素點(diǎn)。所需要做的唯一改變就是，現(xiàn)在在整個(gè)視頻中傳播的是代表感興趣區(qū)域的標(biāo)簽，而不是顏色。
由于模型是針對(duì)大量未標(biāo)記的視頻進(jìn)行訓(xùn)練的，因此谷歌的研究人員們希望能夠深入了解模型學(xué)到的內(nèi)容。下面的視頻顯示了一個(gè)標(biāo)準(zhǔn)技巧，即通過使用主成分分析法（PCA）將模型學(xué)到的嵌入向量（Embeddings）投影到 RGB 顏色空間，從而實(shí)現(xiàn)嵌入向量的可視化。結(jié)果表明，在模型學(xué)習(xí)到的嵌入向量空間中，最近鄰傾向于等價(jià)為同一對(duì)象主體，即便是存在變形和視點(diǎn)變化的情況下也是如此。
第一行展示了來自于 DAVIS 2017 數(shù)據(jù)集的視頻。第二行可視化了來自著色模型的內(nèi)部嵌入向量。圖中相似的嵌入向量在可視化之后會(huì)呈現(xiàn)出相近的顏色。這表明了學(xué)習(xí)到的嵌入向量是按照對(duì)象主體來劃分圖像中的像素點(diǎn)。
谷歌的研究人員們發(fā)現(xiàn)該模型還可以在初始幀給定了人體關(guān)鍵點(diǎn)之后，跟蹤人體姿態(tài)。他們?cè)诠_的學(xué)術(shù)數(shù)據(jù)集 JHMDB 上做了可視化，展示了人體姿態(tài)估計(jì)跟蹤。
該樣例展示了使用著色模型實(shí)現(xiàn)人體骨骼點(diǎn)跟蹤。在這種情況下，輸入的第一幀是人體姿態(tài)，接著后續(xù)的姿態(tài)運(yùn)動(dòng)將被自動(dòng)跟蹤。該模型可以實(shí)現(xiàn)跟蹤人體姿態(tài)，即便是從未被顯示地針對(duì)這項(xiàng)任務(wù)訓(xùn)練過。
雖然著色模型的精確度還不能超過監(jiān)督學(xué)習(xí)模型，但是它很好地學(xué)會(huì)了跟蹤視頻對(duì)象（Video segments）和人體姿態(tài)（Human pose），并且性能要好于最新的基于光流的模型方法（https://arxiv.org/abs/1612.01925）。對(duì)于不同運(yùn)動(dòng)類型的追蹤性能測(cè)試表明，對(duì)于許多自然復(fù)雜性（例如動(dòng)態(tài)背景、快速運(yùn)動(dòng)和遮擋）場(chǎng)景，他們的模型要優(yōu)于光流模型。請(qǐng)閱讀論文以獲得更多的詳情。
谷歌的結(jié)果表明，視頻著色提供了一種信號(hào)，可以用于在沒有監(jiān)督信息的情況下學(xué)習(xí)跟蹤視頻中的對(duì)象。此外，他們還發(fā)現(xiàn)我們模型系統(tǒng)的失敗與視頻著色的失敗有關(guān)，這表明要進(jìn)一步改進(jìn)視頻著色模型可以從推進(jìn)自監(jiān)督跟蹤研究入手。
Via ai.googleblog.com，雷鋒網(wǎng) AI 科技評(píng)論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
