雷鋒網(wǎng) AI 科技評(píng)論按：本文為兔子老大為雷鋒網(wǎng) AI 科技評(píng)論撰寫的獨(dú)家稿件，未經(jīng)許可禁止轉(zhuǎn)載。

最近關(guān)于生成模型有兩件事情得到廣泛的討論，其一是 Nvidia 的基于風(fēng)格的 Style GAN 生成足以以假亂真的人臉高清圖（1024x1024)[1]，另一件就是一篇論文 DeepFakes: a New Threat to Face Recognition? Assessment and Detection[2] 表明了 DeepFakes 生成的假臉足以欺騙大都數(shù)較為前沿人臉識(shí)別和檢測(cè)系統(tǒng)。借著這兩件事，誕生于 2017 年末的，后又被封禁 Reddit 討論區(qū)的 deepfakes 再度進(jìn)入我們的視野中，那么時(shí)隔一年，deepfakes 此刻又取得了什么進(jìn)展?

除了 Deepfakes 外，另外一個(gè)熱點(diǎn)話題就是關(guān)于深度學(xué)習(xí)在工程上的落地問(wèn)題。

本文希望通過(guò) deepfakes 從初版到現(xiàn)在版本的演變，來(lái)思考一下深度學(xué)習(xí)的落地和發(fā)論文之間，存在著什么差異。

什么是 Deepfakes，原理是什么?

在 Rethink Deepfakes 前，先回答一個(gè)可能初次接觸 Deepfakes 都可能會(huì)有的問(wèn)題，為什么要這樣設(shè)計(jì)，而不是使用 Cycle GAN?

看一幅圖（圖一）：

此圖為 Cycle GAN 在同樣數(shù)據(jù)集（Trump，Cage）上的實(shí)現(xiàn)效果，其中第一列和第三列為輸入，第二列和第四列為相對(duì)應(yīng)的輸出。

對(duì)于 successful example，生成圖像清晰，轉(zhuǎn)換是全局的轉(zhuǎn)換（Deepfakes 是局部的轉(zhuǎn)換，這一點(diǎn)后文會(huì)說(shuō)），而對(duì)于 failed example 則問(wèn)題比較多：

首先顯著的一點(diǎn)是表情不能一一對(duì)應(yīng)，其二是出現(xiàn)混雜無(wú)意義的像素。

對(duì)于第二點(diǎn)，其實(shí) Deepfakes 也會(huì)有，Deepfakes 作為一個(gè)工程項(xiàng)目有一定的手段來(lái)應(yīng)對(duì)這一點(diǎn)，但第一點(diǎn)是一個(gè) fatal error，如果表情神態(tài)都無(wú)法保證對(duì)應(yīng)，輸出再清晰也毫無(wú)意義。

至于為什么會(huì)造成這個(gè)原因，在介紹 DeepFakes 后會(huì)給出我的解釋。

我們得知 CycleGAN 在這里的局限，CycleGAN 保證了語(yǔ)義上的轉(zhuǎn)變，卻沒法保證一些細(xì)節(jié)問(wèn)題，接下來(lái)介紹 Deepfakes 的初始結(jié)構(gòu)。

首先，DeepFakes 的整體架構(gòu)是 denoise autoencoder，作者做出了一個(gè)假設(shè)：對(duì)于任意人臉 A，經(jīng)過(guò)仿射變換后得到 WA ，其中 WA 等價(jià)于任意一張臉，即任意一張臉都是 A 扭曲而來(lái)的，所以如果網(wǎng)絡(luò)能學(xué)會(huì)從 WA 去噪修復(fù)至 A，那么網(wǎng)絡(luò)就能將任意一張臉轉(zhuǎn)換成 A。

而在網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)上，作者也應(yīng)該花了一番心思。其在編碼器中采用全鏈接層破壞了之前卷積層提取的特征內(nèi)的空間關(guān)系，讓每一個(gè)像素之間都充分運(yùn)算，而在解碼器中采用 PixelShuffler 結(jié)構(gòu)亦是如此考慮，在 [3] 中，有知乎用戶提出，如果省略這些結(jié)構(gòu)，該模型會(huì)退化成 AutoEncoder，得不到想要的結(jié)果。

整體網(wǎng)絡(luò)共用一個(gè)編碼器，分用兩個(gè)解碼器的目的是讓編碼器學(xué)習(xí)到更豐富的臉部特征，把不同的人臉都編碼在同一個(gè)隱空間上，再通過(guò)不同的解碼器用不同的方式“重構(gòu)”回來(lái)。

圖片來(lái)自[4]

不過(guò)有趣的是，乍一眼看過(guò)去，無(wú)論是假設(shè)和設(shè)計(jì)都獨(dú)出心裁，但在 2017 年末設(shè)計(jì)的模型竟然沒有用到一些在 CV 領(lǐng)域內(nèi)常見的設(shè)置，比如殘差結(jié)構(gòu)，甚至是連 norm layer 都沒有使用，也沒有把圖像縮放到[-1，1]，而是[0，1]，有相關(guān)文獻(xiàn)提出，殘差和 norm 都能起到平滑 loss 曲面的作用，后續(xù)的改進(jìn)更改了這三點(diǎn)，有助于模型的收斂。

原版 DeepFakes 的輸出效果如圖所示：

 

第一列和第四列為原圖，第二和第五列為重構(gòu)結(jié)果，第三和第六列為換臉結(jié)果，可以觀察到，deepfake 原版轉(zhuǎn)換中人臉的表情細(xì)節(jié)得到了保留，但比 GAN 生成的結(jié)果要模糊。

成因分析

1. 對(duì)于 CycleGAN 的結(jié)果，我們可以分析其 loss，CycleGAN 是如何衡量 A 轉(zhuǎn)換到 B 的？沒錯(cuò)，對(duì)抗損失。無(wú)論是 KL 散度，JS 散度……都是衡量?jī)蓚€(gè)分布之間的距離。由基本的概率論知識(shí)我們可知，當(dāng) X,Y 同分布的時(shí)候，我們指 X,Y 在概率上具有相同性質(zhì)，如 EX=EY，但不能得到 X=Y，這就說(shuō)明了 GAN 具有很強(qiáng)大的”創(chuàng)造力“。同時(shí)，當(dāng)數(shù)據(jù)量不夠時(shí)，GAN 的訓(xùn)練是有問(wèn)題的（因?yàn)閿?shù)據(jù)不能很好的代表分布，容易發(fā)生崩塌到生成某個(gè)特例上）。在數(shù)據(jù)集中，cage 具有較少側(cè)臉數(shù)據(jù)，而 trump 則相反，故 trump 側(cè)臉轉(zhuǎn)換時(shí)基本都是失敗。如圖一第三行，第一二列。

同樣的問(wèn)題，在 cyclegan 應(yīng)用于馬和斑馬的轉(zhuǎn)換的過(guò)程中，也可以觀察到。

而這些問(wèn)題，在使用 MSE 和 MAE 這種逐像素誤差作為優(yōu)化目標(biāo)時(shí)，可以得到緩解。

2. DeepFakes 也并非完美，其一是因?yàn)槭褂?MAE 作為 loss 具有均值性，會(huì)導(dǎo)致圖片模糊。其二，WA=任意一張臉，這個(gè)假設(shè)是有局限的。

第一點(diǎn)，將男臉 A 換成女臉 B，比女臉 A 換成女臉 B 先天要困難。

第二點(diǎn)，這個(gè)假設(shè)局限了只能在五官周圍一部分進(jìn)行轉(zhuǎn)換，且人臉對(duì)齊與否，仿射變換的參數(shù)都會(huì)對(duì)結(jié)果造成影響。改進(jìn)版的 DeepFakes 每一個(gè)模型插件都對(duì)應(yīng)不同的仿射變換參數(shù)，且花費(fèi)了大量的功夫?qū)θ四樳M(jìn)行預(yù)處理。而 cyclegan 對(duì)預(yù)處理的要求沒有這么高。正是因?yàn)橹荒茉诰植窟M(jìn)行變換，且原模型的生成圖片大小固定在 64x64，因此生成后幾乎必然還要做一次 resize，原本模糊的人臉會(huì)進(jìn)一步模糊。

第三點(diǎn)，這一點(diǎn)則完全是對(duì)數(shù)據(jù)的理解能力了。在美圖橫行的時(shí)代，若只考慮五官數(shù)據(jù)，部分女星的人臉數(shù)據(jù)五官部分區(qū)分度極低，造成效果令人不滿。

改進(jìn)

在分析問(wèn)題后，首要也是最為容易解決的問(wèn)題就是清晰度問(wèn)題。

對(duì)于生成圖片的清晰度問(wèn)題是因?yàn)?MAE 的均值性，這一點(diǎn)我們可以通過(guò)引入 GAN 來(lái)進(jìn)行解決，目前在 [4] 作者引入兩個(gè) Discriminator，分別對(duì)應(yīng)于 AB 圖片，如同 cycleGAN，甚至引入了 cycle consistant loss，而在官方的項(xiàng)目中，作者像在 pix2pix 中，一樣引入了 conditionGAN，除了判別真假，還能判別是否配對(duì)。

 

而在我的實(shí)驗(yàn)中，因?yàn)橐呀?jīng)判定 deepfakes 是一種 denoise autoencoder 的思路，所以只需引入一個(gè) Discriminator，用于補(bǔ)充生成圖片的細(xì)節(jié)，而不考慮 A 與 B 的差異。如同其他 SR 和 denoise 的任務(wù)一樣。 這樣得出的結(jié)果在視覺上是相仿的，一來(lái)可以省點(diǎn)參數(shù)，二來(lái)如果 A 和 B 任一個(gè)的數(shù)據(jù)量不大時(shí)，其實(shí)這樣會(huì)使訓(xùn)練更穩(wěn)定。 其中特別指出的，gan 雖然會(huì)使得圖像變清晰，但并不能保證細(xì)節(jié)和原圖一致，這就涉及兩種應(yīng)用場(chǎng)景。更注重視覺效果還是更注重細(xì)節(jié)恢復(fù)，顯然 Deepfakes 是前者，所以引入對(duì)抗，是可以接受的。

可以看見 GAN 得到的結(jié)果要比沒有 GAN 的結(jié)果更為清晰，但同時(shí)亦有另外一個(gè)問(wèn)題，當(dāng) A 沒有胡子時(shí)，B 的訓(xùn)練樣本具有胡子時(shí)，GAN 會(huì)抓取到 B 具有胡子的特征，在 A 轉(zhuǎn)換 B 時(shí)，會(huì)自動(dòng)加上胡子。如果 AB 任一方具有眼鏡，而另一方?jīng)]有，那么轉(zhuǎn)換效果亦然。

為什么要提這一點(diǎn)，因?yàn)殡m然從常識(shí)理解，GAN 這種"添油加醋"是不正確的，但事實(shí)上，我們不妨從人類自身出發(fā)，以人類感知來(lái)說(shuō)，我們是如何判別 A 是 A?

很簡(jiǎn)單，相比五官，這個(gè)人是否有胡子，眼鏡，發(fā)型也同樣重要，其實(shí)五官單拿出來(lái)，對(duì)人來(lái)說(shuō)辨識(shí)率其實(shí)不高。如果是全身照，身體的體態(tài)也同樣重要，那么如果一個(gè)常年以有胡子的形象示人的人，你看到他沒胡子的形象，反而感覺違和了。所以 GAN 從數(shù)據(jù)中抓取主要特征，導(dǎo)致多了胡子，其實(shí)不是什么主要問(wèn)題，更重要的是解決視頻轉(zhuǎn)換中，胡子這種特征會(huì)在某一幀中突然丟失，產(chǎn)生的違和感要更重一些。

為了解決這點(diǎn)問(wèn)題，在 [4] 中以及 DeepFakes 的官方更新中，都采用了 Mask 機(jī)制。Mask 網(wǎng)絡(luò)和生成網(wǎng)絡(luò)共享編碼器和解碼器除最后一層外的其他所有層，最后一層生成一個(gè)數(shù)值范圍 0~1 的 Mask，假設(shè)生成的圖片記為 G，原圖為 S，那么最后采用的圖片為

通過(guò)這個(gè)方法，讓模型自己學(xué)習(xí)圖像需要轉(zhuǎn)換的部分。

圖片來(lái)自于 [4] 的項(xiàng)目主頁(yè)

關(guān)于 GAN 的架構(gòu)再談多幾點(diǎn)，曾經(jīng)我也有過(guò)疑惑，目前這么多圖像轉(zhuǎn)換或圖像編輯中，為什么更多的是用 StandardGAN 的 loss，而其他無(wú)論理論和結(jié)果都很漂亮的 GAN（如 WGAN-GP，SAGAN）卻很少用到。而經(jīng)過(guò)一番討論后得到的結(jié)果便是，這些 GAN 帶來(lái)的差別，不如在論文中貼一張好看的圖。結(jié)果令人無(wú)語(yǔ)，但很現(xiàn)實(shí)。

這一現(xiàn)實(shí)可能有以下幾點(diǎn)原因:

1.任務(wù)類型不同，目前發(fā)現(xiàn)驚人成果的 GAN，多是在隨機(jī)分布生成圖片，而圖片轉(zhuǎn)換多是在 encoder-decoder 的結(jié)構(gòu)下改進(jìn)，后者比前者多了一個(gè) encoder 對(duì)圖像進(jìn)行編碼，額外的先驗(yàn)信息可能降低了對(duì)生成器的結(jié)構(gòu)的依賴。

2.GAN 評(píng)價(jià)本身存在局限。

在知乎中有知友在 [5] 和 [6] 中指出了 IS 和 FID 兩種評(píng)價(jià)的不足，GAN 作者本人亦提出新的評(píng)價(jià) GAN 的方法，但并沒有引起多大反響。

在我看來(lái)，不同的 GAN 肯定是有差別的，但至少在圖片視覺效果上沒有到非應(yīng)用另一種 GAN 不可。

在 [4] 中作者引入了 self-attention 機(jī)制，即 SAGAN，且 self-attention 的層數(shù)比 SAGAN 要多，而在官方的改進(jìn)版中，并沒有引入這一點(diǎn)，我按照 SAGAN 的結(jié)構(gòu)，加入 self-attention，得出如下的生成結(jié)果:

 

可見，相比引入 self-attention 和 SpectralNorm 帶來(lái)額外的計(jì)算量，SAGAN 并沒有給 Deepfakes 帶來(lái)足夠的優(yōu)勢(shì)。

在探討完 loss function 對(duì)清晰度的影響外，來(lái)談?wù)動(dòng)绊懬逦鹊牧硗庖粋€(gè)因素，尺寸問(wèn)題。

尺寸的問(wèn)題很簡(jiǎn)單，現(xiàn)在生成模型連 1024 的圖像都能生成，高清人臉不是問(wèn)題。但在這里想大家思考一個(gè)問(wèn)題，DeepFakes 真的需要生成一張高清人臉嗎？或者是什么時(shí)候需要？

在前面簡(jiǎn)述 Deepfakes 的原理時(shí)，我們提到，最好不要除去全連接層，那么此時(shí)增加圖像尺寸，必然會(huì)導(dǎo)致全連接層的參數(shù)暴增，導(dǎo)致延遲用戶在自己數(shù)據(jù)集上遷移的時(shí)間。

我們需要準(zhǔn)確認(rèn)識(shí)到尺寸在 DeepFakes 對(duì)應(yīng)用場(chǎng)景上的影響，市面上換臉的場(chǎng)景大概可以分為兩種，第一種是如之前“軍裝照”，這屬于單張照片的換臉，另一種是合成視頻影像。

前者，人臉多占圖像的絕大多數(shù)部分，這時(shí)產(chǎn)生高質(zhì)量的人臉是重要的。后者中，人多是以半身照出現(xiàn)，人臉的分辨率對(duì)感知影響不大，而此時(shí)產(chǎn)生高分辨率圖像后，還需 resize 會(huì)低分辨率，同樣會(huì)造成細(xì)節(jié)的損失。

數(shù)據(jù)質(zhì)量對(duì) DeepFake 的影響

在數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域，有一句話特別被強(qiáng)調(diào)，即 Garbage In,Garbage Out.數(shù)據(jù)質(zhì)量決定了模型的上限，這一個(gè)特點(diǎn)，在 DeepFake 中體現(xiàn)得淋漓盡致。

前文提及 DeepFake 的關(guān)鍵假設(shè)在于認(rèn)為 Wrap face = any face，從而采用了 denoiseGAN 的結(jié)構(gòu)，那么不難想到，除了使用仿射變換制造噪音臉部外，是否有其他方法？答案是有的。在 [4] 中，作者使用了 probrandomcolor_match，交換兩張不同人臉顏色的均值和方差來(lái)制作噪音，以及 motion blurs，運(yùn)動(dòng)模糊來(lái)?yè)p壞原臉，同時(shí)這兩種處理方法亦可視作是一種數(shù)據(jù)強(qiáng)化的手段。

除此之外，為了讓模型更好的訓(xùn)練，使用了 eye-aware（做了眼部對(duì)齊），edge loss 以及上文提及的 Mask 機(jī)制，更改了官方原有的 Dlib，改為 MTCNN 來(lái)做人臉的定位和關(guān)鍵點(diǎn)定位，以及人臉對(duì)齊等操作，獲得更好、更靈活的數(shù)據(jù)。因?yàn)?Dlib 在側(cè)臉和有遮擋的情況下表現(xiàn)比 MTCNN 要差。

對(duì)于數(shù)據(jù)的干擾不僅僅包括數(shù)據(jù)的預(yù)處理，也包括其后處理。

在獲取模型輸出后，需要映射回去，這時(shí)需要用到圖像融合的手段，如高斯模糊，泊松融合這些傳統(tǒng)圖像處理的方法也得以施展拳腳。

我們不難得知，不論是 [4] 還是官方的項(xiàng)目，在第一版的 DeepFakes 后進(jìn)行的改進(jìn)中，在模型的 layer 上只是采取了場(chǎng)景的 NormLayer 和 ResBlock 等常見的手段，而并不是重新發(fā)明一個(gè)更厲害的網(wǎng)絡(luò)結(jié)構(gòu)或者用上一些高大上的 layer 和理論，而是把心思放在數(shù)據(jù)的干預(yù)上和對(duì)問(wèn)題建模的重新思考。

論文和工程區(qū)別

在回顧完 DeepFakes 的發(fā)展歷程，不難得出一些和我們平常寫論文時(shí)思路的區(qū)別。首先明顯特點(diǎn)就是在論文中，我們更注重論文的可發(fā)性。比如論文的工作是否潮流，理論是否漂亮。比如深度學(xué)習(xí)火了后，各種領(lǐng)域都用上了深度學(xué)習(xí)，有些是突破，有些就是為了吸引眼球了。而在 GAN 火了后，又紛紛涌入 GAN。而在工程上，很大程度要拋棄這種新潮模型==效果好的態(tài)度，在知乎問(wèn)題 [7] 上有對(duì)這個(gè)問(wèn)題的更廣泛的討論。在上文中亦體現(xiàn)了 SAGAN 相比使用 LSGAN 來(lái)說(shuō)，在 DeepFakes 上沒有帶來(lái)足夠的優(yōu)勢(shì)。

其次一點(diǎn)是要理解論文的一些套路。很多東西，比如一些對(duì)實(shí)驗(yàn)結(jié)果的統(tǒng)計(jì)陷阱，或者對(duì)結(jié)果的展示的挑選，都會(huì)對(duì)讀者造成迷惑。比如連 BigGAN 這種級(jí)別的網(wǎng)絡(luò)的都會(huì)產(chǎn)生無(wú)意義的輸出，其余 GAN 的就不太可能全部像論文展示的那么穩(wěn)定。而且線上應(yīng)用有時(shí)對(duì)錯(cuò)誤要敏感得多，不像論文一樣把失敗的樣本掩蓋掉就行。當(dāng)然，事物發(fā)展需要過(guò)程，要是太嚴(yán)格，那很多論文可能都要斃掉。

對(duì)模型影響最大的反而是數(shù)據(jù)，GIGO 原則其實(shí)大家都知道，但是因?yàn)榇蠹覍懻撐亩际窃诠_數(shù)據(jù)集上做測(cè)試，而公開數(shù)據(jù)集一般比較干凈，久而久之倒是可能忘記和習(xí)慣無(wú)視了。而一旦經(jīng)歷過(guò)線上項(xiàng)目或者個(gè)人項(xiàng)目，需要自己去收集數(shù)據(jù)或清洗數(shù)據(jù)時(shí)，就能感知到當(dāng)中的滋味。有 70% 的時(shí)間都是和數(shù)據(jù)本身打交道，并不是危言聳聽。

在論文 [8] 中，比較了幾種常見的 data augmentation 對(duì)模型性能影響。可見，在公開數(shù)據(jù)集上使用不同的數(shù)據(jù)處理方案亦會(huì)對(duì)模型性能產(chǎn)生影響，但只做數(shù)據(jù)預(yù)處理的文章很難發(fā)表，除非諸如 mixup 這種取得驚艷效果的新手段。

還有對(duì)業(yè)務(wù)場(chǎng)景的理解，這點(diǎn)也經(jīng)常聽到，但新人會(huì)很疑惑，什么樣才叫對(duì)業(yè)務(wù)場(chǎng)景的理解？回顧上文，關(guān)于視頻單幀和大頭照人臉尺寸的思考，怎么提出更合適的假設(shè)，關(guān)于遮擋物是否影響人對(duì)”臉“和其身份的感知，這些就是對(duì)應(yīng)用場(chǎng)景的思考。只有理解了業(yè)務(wù)場(chǎng)景，才能做出合適的模型架構(gòu)，數(shù)據(jù)的預(yù)處理和后處理。比如一些場(chǎng)景上需要先做關(guān)鍵點(diǎn)對(duì)齊，亦是這個(gè)原因。總的來(lái)說(shuō)，Deep Learning 的潛力很大，但前提是用在合適的地方。

另一點(diǎn)，相比論文開源出來(lái)的訓(xùn)練腳本，如果有更為成熟的工業(yè)庫(kù)，其實(shí)更值得學(xué)習(xí)。因?yàn)樵诠こ添?xiàng)目上，當(dāng)數(shù)據(jù)規(guī)模達(dá)到一定程度，在分布式的環(huán)境上，有些模型的實(shí)現(xiàn)是有多種變體的。比如在 [9] 中提到的跨卡同步的 BN。有興趣的同學(xué)可以讀一些偏工程驅(qū)動(dòng)的論文，如 YouTuBe 的推薦系統(tǒng)的那篇，比如阿里的魯班，和美團(tuán)的一個(gè)相似的智能海報(bào)技術(shù)。雖然是”生成“海報(bào)，但實(shí)際上 GAN 只是其中一個(gè)部件，而且很巧妙的把這個(gè)看著很像 image generate 這樣目前還是黑盒的問(wèn)題換成了要比較好控制和干預(yù)的 Seq2Seq 問(wèn)題。

后話

關(guān)于上文對(duì)論文和工程的區(qū)別，可能大家在很多場(chǎng)合都常見，有些是顯然的結(jié)論，但如果你找身邊的人抓著某一個(gè)點(diǎn)去問(wèn)，往往言之無(wú)物。本文接著 DeepFakes 的發(fā)展路程，加上個(gè)人見解，分析了當(dāng)我們預(yù)著這么一個(gè)問(wèn)題時(shí)，可以從那些方面分析和改進(jìn)。

至于為什么選 DeepFakes，雖然不是什么大型項(xiàng)目，但 DeepFakes 一開始就往著 app 上走，而不是 script 上發(fā)展，相對(duì)應(yīng)的，DeepFakes 的設(shè)計(jì)和考慮的細(xì)節(jié)，總歸是偏向工程一些，還是有參考價(jià)值的。

參考

[1] https://arxiv.org/pdf/1812.04948.pdf

[2] https://arxiv.org/pdf/1812.08685.pdf 

[3]https://zhuanlan.zhihu.com/p/34042498

[4]https://github.com/shaoanlu/faceswap-GAN

[5]https://zhuanlan.zhihu.com/p/54146307

[6]https://zhuanlan.zhihu.com/p/54213305

[7]https://www.zhihu.com/question/304599202/answer/546354846

[8]https://zhuanlan.zhihu.com/p/51870052

[9]https://zhuanlan.zhihu.com/p/40496177

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。