0
| 本文作者： 貝爽 | 2020-10-30 16:07 |
Deepfake真是讓人又愛又恨。
眾所周知，基于深度學(xué)習(xí)模型的Deepfake軟件，可以制造虛假的人臉視頻或圖像。它在影視、娛樂等行業(yè)有著廣泛的應(yīng)用場景。
但自2017年起，Deepfake也開始被不良分子用來制造色情視頻——神奇女俠下海事件。據(jù)統(tǒng)計(jì)，社交網(wǎng)絡(luò)中的Deepfake視頻，96%涉及色情內(nèi)容，觀看用戶數(shù)量已超過了1.3億。
此外，Deepfake也開始涉足政治領(lǐng)域，被用來偽造虛假政客言論，相關(guān)數(shù)據(jù)也在逐年增長。
奧巴馬發(fā)表著與自己不相關(guān)的言論
更重要的是，隨著Deepfake技術(shù)的不斷升級(jí)，這些偽造視頻越來越難以分辨真假，對(duì)社會(huì)穩(wěn)定構(gòu)成了極大的威脅。
而近日，一篇刊登在IEEE PAMI（模式分析與機(jī)器智能匯刊）的論文聲稱，有新的方法能夠識(shí)別Deepfake視頻，準(zhǔn)確率高達(dá)97.29%，而且還能夠發(fā)現(xiàn)制造Deepfake背后的生成模型。
更有意思的是，不同于常規(guī)檢測法，該論文強(qiáng)調(diào)其利用的是生物信號(hào)——心跳。
這篇論文來自賓漢姆頓大學(xué)（Binghamton University）與英特爾（Intel）公司聯(lián)合組成的研究團(tuán)隊(duì)。該團(tuán)隊(duì)稱，這款A(yù)I工具名為FakeCatcher，它可以通過檢測心跳在面部產(chǎn)生的細(xì)微差別來區(qū)分視頻真假。
我們知道，血管遍布人體全身，包括面部。當(dāng)心臟跳動(dòng)時(shí)會(huì)帶動(dòng)全身的血液流動(dòng)，流動(dòng)的血液會(huì)在人臉表面產(chǎn)生細(xì)微的變化，而這種變化正是研究人員區(qū)分真假視頻的關(guān)鍵。
研究人員把區(qū)分這種變化的方法稱為光體積變化描計(jì)法（Photoplethysmography，簡稱PPG）。簡單來說，就是利用光率的脈動(dòng)變化，折算成電信號(hào)，從而對(duì)應(yīng)成心率。
這一原理與醫(yī)學(xué)脈搏血氧儀，蘋果手表以及可穿戴健身跟蹤設(shè)備檢測運(yùn)動(dòng)狀態(tài)時(shí)的心跳信號(hào)類似。
該項(xiàng)研究的前提假設(shè)是：生物信號(hào)是區(qū)分真假人臉的重要標(biāo)識(shí)。也就是說，假視頻中顯示的“人”不會(huì)表現(xiàn)出與真實(shí)視頻中的人相似的心跳模式。
基于此，研究人員經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，Deepfake人臉無法正常還原因血液流動(dòng)造成的微弱變化。
英特爾公司的資深研究科學(xué)家伊爾克·德米爾（Ilke Demir）介紹稱，
我們從臉部的不同部位提取幾個(gè)PPG信號(hào)，并觀察了這些信號(hào)在空間維度和時(shí)間維度上的一致性。
在這里空間維度指的是面部區(qū)域，時(shí)間維度指的是心跳頻率。Demir的意思是，通過讀取PPG信號(hào)和增強(qiáng)技術(shù)，還原并放大其在面部所產(chǎn)生的微弱變化，以此判斷視頻的真假。
如果是Deepfake視頻，所產(chǎn)生的面部效果會(huì)非常不自然。如下圖：
具體來說，F(xiàn)akeCatcher完整的檢測過程如下：1）識(shí)別關(guān)鍵的人臉區(qū)域；2）提取生物信號(hào)（PPG）；3）利用信號(hào)轉(zhuǎn)換計(jì)算空間維度和時(shí)間維度的相關(guān)性，并在特征集和PPG映射中捕獲信號(hào)特征并訓(xùn)練概率；4）根據(jù)真實(shí)性概率對(duì)視頻真假進(jìn)行分類。
研究人員介紹稱，在這一過程中主要取得三個(gè)方面的進(jìn)步：
通過信號(hào)轉(zhuǎn)換公式和實(shí)驗(yàn)，驗(yàn)證了利用生物信號(hào)的空間一致性和時(shí)間一致性檢驗(yàn)視頻真假的可行性。
提出了一種新型通用的Deepfake檢測器。
提出了一種新的生物信號(hào)構(gòu)造圖，可用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行真實(shí)性分類。
構(gòu)建了一個(gè)多樣化的人像視頻數(shù)據(jù)集，為虛假內(nèi)容檢測提供了一個(gè)試驗(yàn)臺(tái)。
在實(shí)驗(yàn)之前，為了更加精準(zhǔn)地評(píng)估FakeCatcher模型，研究人員自建一個(gè)Deepfake數(shù)據(jù)集，該數(shù)據(jù)集來自媒體網(wǎng)絡(luò)、新聞文章和研究報(bào)告等，因此，視頻在生成模型、分辨率、壓縮、照明、縱橫比、幀速率、運(yùn)動(dòng)、姿勢(shì)、遮擋、內(nèi)容等方面的問題都是真實(shí)存在的。
該數(shù)據(jù)集包含了142個(gè)視頻，有30 GB大小。從下圖分類結(jié)果來看，F(xiàn)akeCatcher對(duì)低分辨率、壓縮、運(yùn)動(dòng)、照明、遮擋等問題的表現(xiàn)都是魯棒性的。
上半部分為真實(shí)視頻，下半部分為Deepfake視頻
接下來，研究人員主要進(jìn)行了兩項(xiàng)實(shí)驗(yàn)驗(yàn)證。一是與當(dāng)前的深度學(xué)習(xí)解決方案和其他Deepfake檢測器進(jìn)行比較。實(shí)驗(yàn)結(jié)果如下：
其中，F(xiàn)rame和Face表示分段精度，可以看出FakeCatcher最高，達(dá)到了87.62%；Video表示視頻精確度。FakeCatcher比最好的架構(gòu)還要高出8.85%。
需要說明的是，表中所有實(shí)驗(yàn)都是在自建數(shù)據(jù)集DF（60%訓(xùn)練和40%的測試的分割）中進(jìn)行的。
二是進(jìn)行交叉數(shù)據(jù)集驗(yàn)證，分別包括DF、Celeb DF、FF、FF++和UADFV數(shù)據(jù)集。
第一列為訓(xùn)練數(shù)據(jù)集，第二列為測試數(shù)據(jù)集
從第5行和第6行來看，F(xiàn)akeCatcher在小而多樣的數(shù)據(jù)集中的學(xué)習(xí)效果要比在大型且單一的數(shù)據(jù)集上更好。一方面是，DF訓(xùn)練和FF測試比反過來的測試精度高出了18.73%。另一方面是，DF數(shù)據(jù)集大約只有FF數(shù)據(jù)集的5%。從第3行和第6行來看，可以發(fā)現(xiàn)從FF到FF++增加分集，DF的準(zhǔn)確率提高了16.9%。
在交叉數(shù)據(jù)集FF++中，每個(gè)原始視頻包含四個(gè)合成視頻，其中每個(gè)視頻都使用不同的生成模型生成。研究人員將FF++的原始視頻分割為60%訓(xùn)練，40%測試。然后創(chuàng)建這些集合的四個(gè)副本，并從每個(gè)集合中刪除特定模型生成的所有樣本。
表中第1列，每個(gè)集合包含三個(gè)模型的600個(gè)真實(shí)視頻和1800個(gè)假視頻，以及一個(gè)模型的400個(gè)真實(shí)視頻和400個(gè)假視頻進(jìn)行測試。
從跨模型評(píng)估結(jié)果來看，除了NeuralTextures，其他均得到了非常精確的預(yù)測。而NeuralTextures本質(zhì)上就是不同的生成模型。
由此，論文最后得出結(jié)論稱，基于生物信號(hào)的Deepfake視頻檢測器FakeCatcher，證明了生物信號(hào)的空間維度和時(shí)間維度的一致性在GAN-Rated內(nèi)容中并沒有得到很好的保持。
此外，通過人臉取證實(shí)驗(yàn)并引入自建DF數(shù)據(jù)集中，對(duì)視頻片段、視頻的成對(duì)分離以及真實(shí)性分類方法進(jìn)行評(píng)估，分別得到了99.39%，96%以及91.07%準(zhǔn)確率。這些結(jié)果再次驗(yàn)證了FakeCatcher可以高精度地檢測假內(nèi)容，而不依賴視頻的生成器、內(nèi)容、分辨率以及質(zhì)量等指標(biāo)。
更多論文內(nèi)容，請(qǐng)參見：https://arxiv.org/pdf/1901.02212.pdf
引用鏈接：
https://ieeexplore.ieee.org/document/9141516
https://techxplore.com/news/2020-10-deepfake-videos-pulse.html
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
