0
| 本文作者： 叢末 | 2019-03-13 12:33 | 專題：CVPR 2019 |
雷鋒網(wǎng)AI 科技評論按：計(jì)算機(jī)視覺頂會 CVPR 2019 即將于 6 月在美國長灘召開，今年大會共收到超過 5165 篇論文投稿，最終收錄的論文為 1299 篇。隨著會議臨近，無論是學(xué)術(shù)界還是業(yè)界都迎來了一波 CVPR 2019 入選論文解讀熱潮。
今年的 CVPR 2019，盧志武博士領(lǐng)導(dǎo)的中國人民大學(xué)信息學(xué)院機(jī)器學(xué)習(xí)（ML）組共有 3 篇論文被錄用，論文主題涵蓋視頻識別、小樣本學(xué)習(xí)、視覺對話等熱點(diǎn)問題，本文中要解讀的論文便是其中關(guān)于視頻識別的一篇：《面向視頻測謊的聚焦人臉的跨幀雙流網(wǎng)絡(luò)》「Face-Focused Cross-Stream Network for Deception Detection in Videos」。
該論文提出了一種新穎的視頻測謊算法，這種算法只需要少量的視頻數(shù)據(jù)進(jìn)行訓(xùn)練，并在訓(xùn)練后對短視頻進(jìn)行測試。實(shí)驗(yàn)結(jié)果顯示，該測謊算法的準(zhǔn)確率高達(dá) 90% 以上，同時(shí)在結(jié)合語音和 word2vec 信息后，這一準(zhǔn)確率可以進(jìn)一步提高至 95% 以上。
視頻測謊，即是檢測視頻中的人物對象是否說謊。目前，視頻測謊問題還面臨著兩大挑戰(zhàn)：(1) 如何有效地融合面部和動作信息來判斷視頻中人物對象是否說謊；(2) 真實(shí)的視頻數(shù)據(jù)集規(guī)模很小，如何將深度學(xué)習(xí)應(yīng)用在數(shù)量有限的訓(xùn)練數(shù)據(jù)上。為了解決這兩個(gè)問題，本文提出了 face-focused cross-stream network（FFCSN）模型（如圖 1）。
圖 1：視頻測謊深度學(xué)習(xí)模型 FFCSN
不同于常見的雙流網(wǎng)絡(luò)模型（two-stream network）利用空間流捕捉視頻幀整體靜態(tài)空間特征以及利用時(shí)間流捕捉視頻光流動態(tài)特征的做法，F(xiàn)FCSN 模型考慮將人臉檢測用于空間流來捕捉面部特征，并在整個(gè)網(wǎng)絡(luò)中利用相關(guān)學(xué)習(xí)來融合時(shí)空特征進(jìn)行聯(lián)合訓(xùn)練。
同時(shí)，論文作者結(jié)合心理學(xué)知識（即說謊者由于緊張, 其面部表情和身體姿勢往往會不一致），發(fā)現(xiàn)雙流法中的圖像特征和光流特征逐幀對應(yīng)匹配并不是視頻測謊的最優(yōu)解決方案。因此，作者提出了跨幀的雙流網(wǎng)絡(luò) (cross-stream network)——這種網(wǎng)絡(luò)可以捕捉面部表情和身體姿勢不一致的關(guān)系。利用這種網(wǎng)絡(luò)，視頻中的每一個(gè)面部表情幀都隔一定間距匹配五個(gè)光流幀，并讓模型自動學(xué)出這五幀之間的權(quán)重關(guān)系。此外，論文作者還將時(shí)間流 ResNet 的 block3 使用全局池化層將其變?yōu)橄蛄?，使得模型?jīng)過兩組全連接和一個(gè) softmax 層后，能夠?qū)W習(xí)到五個(gè)動作幀之間的權(quán)重關(guān)系。通過學(xué)習(xí)這個(gè)模塊，模型具有了對不同的動作幀賦予不同權(quán)重的能力。
跨幀匹配模型的具體網(wǎng)絡(luò)結(jié)構(gòu)如下:
圖 2：cross-stream network
具體來說，該方法將每個(gè)視頻分成 K 個(gè)片段
，對于每一個(gè)片段，隨機(jī)抽樣一幀表情幀
和五個(gè)動作幀 
（見圖一橙色框處）。這樣，對于每一個(gè)片段，可以得到如下數(shù)據(jù)：
其中
代表這五個(gè)動作幀之間的權(quán)重， 的總和為 1。令
代表模型對
的分類概率以及 
代表對一個(gè)視頻所有片段的平均分類概率，那么損失函數(shù)定義如下:
此外，F(xiàn)FCSN 模型還引入了元學(xué)習(xí)（meta learning）和對抗學(xué)習(xí)（adversarial learning）來解決訓(xùn)練數(shù)據(jù)量小的問題。元學(xué)習(xí)使用了 relation 的思想, 通過學(xué)習(xí)數(shù)據(jù)之間的關(guān)系來提高模型的泛化能力，而對抗學(xué)習(xí)在訓(xùn)練時(shí)使用生成的「假」特征向量攻擊模型分類器來達(dá)到擴(kuò)充數(shù)據(jù)量的目的。
圖 3：relation 結(jié)構(gòu)圖示
元學(xué)習(xí)模塊的網(wǎng)絡(luò)結(jié)構(gòu)具體如圖 3 所示。容易看出，模型從每個(gè) mini-batch 中選出了兩對六元組，每一對六元組中有兩個(gè)樣本來自同一類別，另外四個(gè)樣本則來自不同類別。取相同類別的兩個(gè)樣本其中的一個(gè)作為 anchor，讓它與另外五個(gè)配對組成五對數(shù)據(jù)，因此這樣得出的結(jié)構(gòu)就有一對類別相同的樣本和四對類別不同的樣本，接著在訓(xùn)練后，再由卷積和全連接層后對這五對數(shù)據(jù)進(jìn)行分類，使模型能夠選出類別相同的一對。結(jié)果證明，這種度量學(xué)習(xí)的思想對于小數(shù)據(jù)集上的增益十分明顯。
對抗學(xué)習(xí)模塊見圖 1 紫色框的部分，此處是用 G（Generator）生成虛擬的 feature vector，之后用 D（Discriminator）進(jìn)行判別以增強(qiáng)模型的魯棒性，從而解決小樣本的問題。損失函數(shù)和 GAN 類似，如下式所示：
由于模型由前面介紹的三個(gè)子模塊組成，總的損失函數(shù)即為這三部分的加和。論文作者將這三部分聯(lián)合訓(xùn)練，取得了不錯的實(shí)驗(yàn)結(jié)果。
FFCSN 模型在公開的真實(shí)庭審視頻數(shù)據(jù)集上取得了當(dāng)前最好的結(jié)果，驗(yàn)證了該模型在視頻測謊中非常有效, 實(shí)驗(yàn)結(jié)果也說明了說謊者在表情和動作上很容易出現(xiàn)不一致的問題。如圖 4，說謊者在面部表情和第二幀光流匹配時(shí)有明顯的下降，這種波動為模型判斷說謊提供了依據(jù)。
圖 4 說謊者在表情和動作上的不同步
為了驗(yàn)證模型的不同模塊均是有效的，論文作者進(jìn)行多組消融實(shí)驗(yàn)。從表 1 可以看出，與只使用 face 或者只使用 motion 相比，同時(shí)利用面部和動作兩個(gè)信息的模型所取得的效果有較大的提升。而在加入了 cross-stream 的匹配 (CL) 之后, 模型精度有了進(jìn)一步的提升。此外，為了克服數(shù)據(jù)量過小的問題,，作者在模型中加入了元學(xué)習(xí) (ML) 和對抗學(xué)習(xí) (AL) 模塊, 這些都對提高模型的魯棒性有很大的幫助。
表 1：模型不同模塊效果
為了驗(yàn)證模型的擴(kuò)展性，作者也在表情識別數(shù)據(jù)集上做了實(shí)驗(yàn),，并在 youtube-8 數(shù)據(jù)集上取得了目前最高的精度。youtube-8 dataset 包括 1101 個(gè)視頻，分為 8 種表情。從表 2 的實(shí)驗(yàn)結(jié)果可知，雖然作者只使用了 visual 單模態(tài)，但仍取得了準(zhǔn)確率比其他使用更多模態(tài) (語音和屬性) 的方法高 5% 的好成績。
表 2：微表情識別結(jié)果
中國人民大學(xué)信息學(xué)院機(jī)器學(xué)習(xí)（ML）組由盧志武博士，以及 20 名博士生與碩士生組成，隸屬于文繼榮教授的大數(shù)據(jù)分析團(tuán)隊(duì)。目前，人大 ML 組已經(jīng)在 TPAMI、IJCV、NIPS、CVPR 等國際頂級期刊/會議上發(fā)表 40 余篇論文，主持了 NSFC、KJW 等多個(gè)國家科研項(xiàng)目，還曾獲人工智能國際權(quán)威評測 ImageNet 2015 視頻檢測任務(wù)亞軍。
參考文獻(xiàn)：
M. Ding, A. Zhao, Z. Lu, T. Xiang, and J.-R. Wen, Face-Focused Cross-Stream Network for Deception Detection in Videos, CVPR 2019
論文下載網(wǎng)址：https://arxiv.org/abs/1812.04429
特別鳴謝盧志武博士為雷鋒網(wǎng) AI 科技評論提供相關(guān)資料。
最后，歡迎大家進(jìn)入雷鋒網(wǎng) AI 研習(xí)社的 CVPR 小組（https://ai.yanxishe.com/page/meeting/44）討論更多相關(guān)話題。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
