本文由汽車之家 王磊向雷鋒網(wǎng)AI科技評論投稿，未經(jīng)允許禁止轉(zhuǎn)載。

作者 | 王磊

本文介紹了汽車之家團隊在ICCV 2019一篇關(guān)于視頻理解論文相關(guān)的工作。針對視頻多標(biāo)簽分類的問題，論文提出了將視頻多標(biāo)簽之間相關(guān)性特征加入到網(wǎng)絡(luò)之中，結(jié)果證明該方法可以顯著的提高視頻多標(biāo)簽分類效果。

一、背景介紹

隨著視頻應(yīng)用的不斷普及，視頻內(nèi)容理解與分析成為計算機視覺領(lǐng)域的一個熱門研究方向。2017年，Google開源了其大規(guī)模視頻內(nèi)容數(shù)據(jù)集Youtube8M，鼓勵研究者通過該數(shù)據(jù)集利用深度學(xué)習(xí)技術(shù)進行視頻理解的研究。

最新的Youtube-8M數(shù)據(jù)集包括兩部分，第一部分為video-level（視頻層級）的標(biāo)注，該部分總計包含610萬個已標(biāo)注的視頻，3862個分類，平均每個視頻標(biāo)注了3個標(biāo)簽；第二部分為segment-level（視頻片段標(biāo)注），該部分挑選了1000個分類，對視頻中隨機抽取的5秒片段進行標(biāo)注，該部分總共有23.7萬個標(biāo)注數(shù)據(jù)；值得注意的是，segment-level的數(shù)據(jù)標(biāo)注僅標(biāo)注了抽取的5秒視頻片段是否屬于某一特定標(biāo)簽，并沒有標(biāo)識該視頻片段的所有標(biāo)簽。

二、標(biāo)簽相關(guān)性

近年來，視頻理解成為計算機視覺領(lǐng)域的一個熱點方向。相比較圖像內(nèi)容，視頻內(nèi)容更為復(fù)雜多樣，因此對于視頻內(nèi)容而言，單個標(biāo)簽很難完整的表征視頻的內(nèi)容，對于視頻內(nèi)容理解分析大多為多標(biāo)簽的分類問題。

在視頻標(biāo)簽中，很多標(biāo)簽之間會有一定的相關(guān)性并成對出現(xiàn)；如圖一所示（標(biāo)簽從Youtube8M數(shù)據(jù)集中選取），當(dāng)寶馬（BMW）、發(fā)動機（Engine）的標(biāo)簽出現(xiàn)時，汽車（Car）的標(biāo)簽大概率也會出現(xiàn)；但是當(dāng)汽車的標(biāo)簽出現(xiàn)時，寶馬標(biāo)簽出現(xiàn)的可能性則非常低。

圖1.標(biāo)簽有向圖示例

通過對Youtube8M數(shù)據(jù)集的部分標(biāo)簽數(shù)據(jù)進行分析，可以得到一個圖來表征各個標(biāo)簽之間的關(guān)系，如圖二所示。圖二中每個不同顏色的節(jié)點代表一個獨立的標(biāo)簽類別，不同節(jié)點之間的連線代表著兩個節(jié)點之間是否有相關(guān)性，節(jié)點之間連線上的數(shù)值則代表了不同的標(biāo)簽之間聯(lián)系的緊密程度，數(shù)值越大，則聯(lián)系越高；沒有聯(lián)系的節(jié)點之間則不會有線連接。

通過對視頻的多標(biāo)簽之間的相關(guān)性進行建模分析，并通過圖神經(jīng)網(wǎng)絡(luò)將標(biāo)簽類別映射為對應(yīng)類別分類器加入到最終的視頻多標(biāo)簽分類網(wǎng)絡(luò)之中，可以提升整體模型的學(xué)習(xí)分類能力。

圖2.標(biāo)簽相關(guān)性Wighted-Graph表示

三、圖卷積神經(jīng)網(wǎng)絡(luò)

如何有效獲取目標(biāo)標(biāo)簽之間的相關(guān)性？如何利用這些標(biāo)簽相關(guān)性提升網(wǎng)絡(luò)的特征學(xué)習(xí)以及分類表現(xiàn)？這是視頻多標(biāo)簽分類的兩個重要問題。由于圖的特點可以很好的表征各個標(biāo)簽之間的相互依賴性，因此我們選擇基于圖神經(jīng)網(wǎng)絡(luò)進行建模學(xué)習(xí)，并用于最終視頻分類網(wǎng)絡(luò)中。一個圖神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖三所示：

圖3.圖神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

Input輸入有兩個，一個為特征描述矩陣H（n*d），另一個為相關(guān)系數(shù)矩陣A（n*n），其中n為節(jié)點個數(shù)，即所有標(biāo)簽的個數(shù)，d為特征的維度，特征維度根據(jù)采用的CNN結(jié)構(gòu)決定。

相關(guān)系數(shù)矩陣是GCN網(wǎng)絡(luò)中表征標(biāo)簽關(guān)系的一個矩陣，因此如何構(gòu)建相關(guān)系數(shù)矩陣 A 就成了GCN 模型中一個非常重要的問題。由于Youtube8M數(shù)據(jù)集有超過600萬的video-level的視頻標(biāo)注數(shù)據(jù)，因此我們可以通過挖掘標(biāo)簽在數(shù)據(jù)集中的共現(xiàn)情況來初始化相關(guān)系數(shù)矩陣A。 為標(biāo)簽i在數(shù)據(jù)中出現(xiàn)的次數(shù)，  為標(biāo)簽i和標(biāo)簽j兩個標(biāo)簽一起出現(xiàn)的概率，兩者相除便可以得到不同標(biāo)簽之間的條件概率矩陣P。

考慮到標(biāo)注數(shù)據(jù)中可能存在不準(zhǔn)確的情況以及標(biāo)簽在訓(xùn)練和測試集中共現(xiàn)的次數(shù)可能會相差比較大，因此我們設(shè)置了一個閾值剔除相關(guān)性比較弱的噪聲的影響。對于上面得到的矩陣P，只有其值大于某特定值（論文中為0.5）的時候才會考慮，否則矩陣中這兩個標(biāo)簽的相關(guān)度會設(shè)置為0,因此優(yōu)化后的條件概率矩陣如下所示：

Hidden Layer用來學(xué)習(xí)節(jié)點之間的相關(guān)信息并更新節(jié)點表示，每一個Hidden Layer都可以用一個非線性函數(shù)表示：

Hidden Layer可以有多層，堆疊多個 GCN 層來對節(jié)點之間交織的復(fù)雜關(guān)系進行建模。在本論文中Hidden Layer為兩層，通過訓(xùn)練學(xué)習(xí)便可以得到優(yōu)化后的表征標(biāo)簽相關(guān)性的矩陣Output，并用于幫助視頻標(biāo)簽分類。

四、整體網(wǎng)絡(luò)

最終的完整網(wǎng)絡(luò)結(jié)構(gòu)如圖四所示，我們使用InceptionV3來提取輸入視頻的特征；NeXtVLAD網(wǎng)絡(luò)是第二屆Youtube8M比賽單模型冠軍網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以很好的視頻的多維度特征進行聚合，并且在降低特征維度的同時還能很好的保證模型性能；在網(wǎng)絡(luò)的下半部分，我們用一個雙層的GCN網(wǎng)絡(luò)來幫助進行最后的視頻標(biāo)簽分類。最終的對比實驗中，加入GCN后的視頻多標(biāo)簽分類網(wǎng)絡(luò)MAP（Mean-Average-Precision）提高了接近一個百分點，GCN網(wǎng)絡(luò)的加入顯著性顯著的提高了視頻多標(biāo)簽的分類能力；也證明了對于多標(biāo)簽分類任務(wù)，通過研究多標(biāo)簽之間的相關(guān)依賴關(guān)系提升網(wǎng)絡(luò)分類能力是一個很好的方向。

圖四.整體網(wǎng)絡(luò)結(jié)構(gòu)

五、結(jié)論

視頻理解與分析是計算機視覺領(lǐng)域的一個熱門問題，針對視頻的特征提取以及特征聚合全世界的研究已經(jīng)做了大量的工作。本文提出了從多標(biāo)簽相關(guān)性的視角來提升視頻的多標(biāo)簽分類能力并進行了有效的實驗驗證。通過對視頻的圖像特征、時序特征、標(biāo)簽相關(guān)性特征進行融合的分類網(wǎng)絡(luò)可以很好的增強神經(jīng)網(wǎng)絡(luò)的視頻理解能力。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。