作者 | 邱海波

編輯 | 王曄

本文是對發(fā)表于計算機視覺領(lǐng)域頂級會議ICCV 2021的論文“SynFace: Face Recognition with Synthetic Data” （基于生成數(shù)據(jù)的人臉識別）的解讀。

該論文由于京東探索研究院聯(lián)合悉尼大學以及騰訊數(shù)據(jù)平臺部完成，針對當前用來訓練人臉識別模型的真實人臉數(shù)據(jù)存在隱私權(quán)限、標簽噪聲和長尾分布等問題，提出利用生成仿真的人臉數(shù)據(jù)來代替真實數(shù)據(jù)去對人臉模型進行訓練。文中通過引入Identity Mixup以及Domain Mixup極大地縮小了生成數(shù)據(jù)訓練得到的模型與真實數(shù)據(jù)得到模型的準確率差距，并且系統(tǒng)性的分析了訓練數(shù)據(jù)中各種特性對識別準確率的影響。

論文鏈接：https://arxiv.org/abs/2108.07960

1

研究背景

近年來，人臉識別任務(wù)取得了巨大進展，其中大規(guī)模人臉訓練數(shù)據(jù)集扮演了非常重要的角色。但是由于近期來越發(fā)被重視的隱私問題，即人臉訓練數(shù)據(jù)集的使用需要得到該數(shù)據(jù)集所包含的所有人的授權(quán)同意，部分大規(guī)模的數(shù)據(jù)集[1]已經(jīng)從其官網(wǎng)下架，無法再訪問。另外這類從互聯(lián)網(wǎng)上收集而來的數(shù)據(jù)集，還存在標簽噪聲以及長尾分布（即各個類別所包含的樣本數(shù)量差距很大）等問題，如若沒有妥善地去設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)或者損失函數(shù)，那么必然帶來識別準確率的下降。再者這些數(shù)據(jù)沒有人臉具體特性的標注（如表情，姿態(tài)，光照條件等），故而使得我們無法去系統(tǒng)性地分析這些因素在人臉識別里面的具體影響。

2

探索分析

為了解決上述問題，我們準備引入生成數(shù)據(jù)代替真實數(shù)據(jù)來進行人臉識別模型的訓練。近些年來，基于GAN[2]的生成模型發(fā)展十分迅猛，其生成得到的人臉圖片在某些場景下已經(jīng)可以做到以假亂真的效果，參見圖1。

圖1：第一行為真實人臉，第二行則是生成人臉

為了能進一步控制生成人臉的各種特性（如身份，表情，姿態(tài)和光照條件），我們采用了DiscoFaceGAN[3]作為基本的生成模型，先與真實數(shù)據(jù)訓練得到的模型進行對比分析。RealFace和SynFace分別代表利用真實和生成數(shù)據(jù)訓練所得到的模型，然后在真實以及生成的測試集上進行評估，結(jié)果參見表1。

表1：對真實以及生成數(shù)據(jù)訓練得到模型進行交叉領(lǐng)域的評估結(jié)果

由實驗結(jié)果我們可以發(fā)現(xiàn)，兩者之間識別準確率的差距是由于真實數(shù)據(jù)與生成數(shù)據(jù)兩種不同領(lǐng)域的差異造成。通過進一步觀察生成的人臉，我們發(fā)現(xiàn)同一類（即同一個人）中的樣本人臉差異性較小，即類內(nèi)距離較小。我們利用MDS[4]可視化了真實數(shù)據(jù)與生成數(shù)據(jù)的深度特征，參見圖2中綠色五邊形以及青色三角形。顯而易見，生成數(shù)據(jù)的類內(nèi)距離明顯小于真實數(shù)據(jù)。

圖2：真實數(shù)據(jù)以及三類不同生成數(shù)據(jù)的深度特征可視化

3

方法介紹

Identity Mixup （身份混合）

為了增大生成數(shù)據(jù)的類內(nèi)距離，受到Mixup[5]的啟發(fā)，我們在生成人臉模型的身份系數(shù)空間引入mixup，即Identity Mixup (IM)，得到Mixup Face Generator。對于兩個身份系數(shù)和，我們得到其中間態(tài)（內(nèi)插值）作為一個新身份系數(shù)，其對應(yīng)的標簽也隨之線性改變，參見公式1。另外我們通過可視化發(fā)現(xiàn)，如此得到的新身份系數(shù)同樣能夠生成高質(zhì)量的人臉圖片，而且其身份信息隨著權(quán)重系數(shù)的變化，逐漸從一個身份變化到另一個身份，參見圖3。

公式1：身份系數(shù)空間的mixup

圖3：身份隨著Identity Mixup的權(quán)重的改變而平滑過渡

為了驗證IM能夠增大生成人臉數(shù)據(jù)的類內(nèi)距離，我們可視化了三種不同程度（通過系數(shù)調(diào)節(jié)）IM后生成人臉的特征（參見圖2）。我們可以看到從青色三角形到藍色正方形，再到紅色圓圈，它們的類內(nèi)距離是逐漸增大的，相應(yīng)的準確率也從88.75到89.47再到90.95，充分說明了IM能夠增大類內(nèi)距離從而來提高識別準確率。另外從表2也可以看到，加入IM后，識別準確率從88.98大幅度提升至91.97。后續(xù)的圖5圖6以及表3的實驗結(jié)果也同樣證明了IM的有效性。

Domain Mixup （領(lǐng)域混合）

為了進一步縮小用生成數(shù)據(jù)訓練得到模型與真實數(shù)據(jù)得到模型之間的準確率差距，我們引入了Domain Mixup（DM）作為一種通用的domain adaptation（領(lǐng)域適應(yīng)）的方法來緩解。具體來說，我們僅利用一小部分帶有標注的真實數(shù)據(jù)加上大規(guī)模的生成數(shù)據(jù)，通過DM的方式來訓練模型，DM具體數(shù)學形式參見公式2，和分別代表生成和真實的人臉圖片，其對應(yīng)的標簽也隨之線性改變。

公式2：領(lǐng)域空間的mixup

于是我們利用DM來混合真實與生成數(shù)據(jù)來進行模型訓練，與只用真實數(shù)據(jù)訓練模型得到的對比結(jié)果如表2. 可以觀察得到，我們引入的DM能夠極大且穩(wěn)定地提升在各種不同設(shè)置下的準確率。

表2：利用真實數(shù)據(jù)以及混合數(shù)據(jù)訓練得到模型的準確率

比如最后一組實驗中，95.78相較于91.22的提升非常大。我們推測這是由于混合小部分真實數(shù)據(jù)能夠給生成數(shù)據(jù)帶來真實世界的外觀信息比如模糊和光照等，如此一來縮小了兩個領(lǐng)域的差異，進而提升了準確率。如果我們繼續(xù)增加真實數(shù)據(jù)到2K_20，那么準確率可以從95.78進一步提升至97.65。整體流程圖包括Identity Mixup以及Domain Mixup可參見圖4.

圖4：整個框架流程圖

4

實驗分析

利用我們得到的Mixup Face Generator，我們可以控制生成人臉的數(shù)量，身份，表情，姿態(tài)以及光照，故而接下來我們來系統(tǒng)性地分析這些因素在人臉識別任務(wù)中的具體影響。

首先我們來分析長尾分布的問題，由于真實人臉數(shù)據(jù)基本都是從互聯(lián)網(wǎng)上收集而來，導致某些類（人）擁有大量樣本，某些類則只有少數(shù)幾個樣本，這樣不平衡的分布訓練得到的模型性能較差。我們控制生成數(shù)據(jù)每個類別樣本數(shù)量來模擬這一問題，如圖5, 2K_UB1到2K_UB2再到2K_50，它們的分布越來越平衡，可以看出它們對應(yīng)的準確率也是逐步上升。通過控制生成數(shù)據(jù)的類別樣本數(shù)量，我們可以天然地避免長尾分布帶來的問題。此外通過引入Identity Mixup （IM），所有的設(shè)置都得到了大幅度的提升。

圖5：長尾分布問題

然后我們再來探索生成數(shù)據(jù)集的寬度（即類別數(shù)量）和深度（即類內(nèi)樣本數(shù)量）對識別準確率的影響，參見表3. 可以看到隨著深度和寬度的增加，準確率都是逐步上升的。但是深度在達到20之后，準確率就開始出現(xiàn)飽和。另外我們通過觀察(a)(e)可以看到，它們具有相同數(shù)量的總樣本（50K），但是(a)極大地超過了(e)，差距為4.37，說明了寬度相比深度承擔了更重要的角色。另外通過引入Identity Mixup （IM），我們可以看到所有的設(shè)置都得到了很大地提升，再次說明了IM的有效性。

表3：生成數(shù)據(jù)集的寬度以及深度探索

最后我們分析了生成人臉各個特性（即表情，姿態(tài)和光照）的影響，我們通過保持其他特性不變，只改變當前探索的特性。比如Expression就是該類內(nèi)保持其他姿態(tài)和光照等不變，只變化表情得到的生成數(shù)據(jù)，它們訓練得到的模型準確率參見圖6. 可以看到什么都不變（Non）和只變表情取得了最差的結(jié)果，這是因為這里生成的表情種類十分有限，基本上是微笑，故而可以等價成什么都不變。改變姿態(tài)和光照取得了巨大提升，這可能是因為測試數(shù)據(jù)集中的姿態(tài)和光照變化非常大的緣故。同樣地，引入IM帶來了穩(wěn)定的提升，并且都達到了相似的準確率。潛在的原因是IM可以被視作為一種很強的數(shù)據(jù)增強，減少了各個特性對最終準確率的影響。

圖6：生成人臉不同特性的對比實驗

5

結(jié)語

在本文中我們探索了如何利用生成仿真的人臉數(shù)據(jù)來有效地訓練人臉識別模型。通過相關(guān)實驗結(jié)果對比分析，我們提出Identity Mixup來增加生成數(shù)據(jù)的類內(nèi)距離，并引入Domain Mixup進一步縮小生成數(shù)據(jù)與真實數(shù)據(jù)的領(lǐng)域差異，兩者皆大幅度地提升了識別準確率，極大地縮小了與真實數(shù)據(jù)訓練所得到模型的差距。此外我們對于人臉的不同特性進行了系統(tǒng)性分析，揭示了訓練數(shù)據(jù)集的深度與寬度對于最終識別率都有很大影響，隨著兩者的增加，識別率也會隨之上升，但是飽和情況會先出現(xiàn)在深度維度，即說明寬度更為重要。再者就是豐富姿態(tài)和光照的變化能使得生成數(shù)據(jù)更加接近真實數(shù)據(jù)，從而大幅度提升識別率。更多實驗結(jié)果分析還請參見原論文。

參考文獻

[1] Yandong Guo, Lei Zhang, Yuxiao Hu, Xiaodong He, and Jianfeng Gao. Ms-celeb-1m: A dataset and benchmark for large-scale face recognition. ECCV 2016.

[2] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, DavidWarde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. NeurIPS 2014.

[3] Yu Deng, Jiaolong Yang, Dong Chen, Fang Wen, and Xin Tong. Disentangled and controllable face image generation via 3d imitative-contrastive learning. CVPR 2020

[4] Ingwer Borg and Patrick JF Groenen. Modern multidimensional scaling: Theory and applications. Springer Science & Business Media, 2005.

[5] Hongyi Zhang, Moustapha Cisse, Yann N Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. arXiv preprint arXiv:1710.09412, 2017.

掃碼添加小助手微信（AIyanxishe3），備注ICCV2021拉你進群。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。