0
| 本文作者： 貝爽 | 2020-10-20 18:30 |
從“換臉”到“生成漫畫臉”，AI在圖像合成方面的技術(shù)已經(jīng)非常成熟了。
因為支持一鍵切換，而且效果逼真，之前抖音的一款「變身漫畫」特效還登上微博了熱搜，從明星到路人，近千萬用戶參與。國外也有一款「秒變迪士尼公主」工具網(wǎng)站，上線當天就因為訪問量過大而被迫下線。
它的火爆程度可以從這張效果圖來感受下。
從發(fā)型、面部輪廓到五官，妥妥地定制化動漫臉，感覺都不用后期處理就可以直接出演電影了。
不過，這件事也引起了一位AI藝術(shù)家Nathan Shipley的好奇心，AI生成漫畫臉如此逼真，那么反過來，將動漫角色轉(zhuǎn)化為「真人」效果會怎么樣？剛好最近國外研究團隊推出了一款通用版AI模型——Pixel2Style2Pixel（pSp）。
因此，Shipley便利用這款AI模型，嘗試將《超級總動員》《飛屋環(huán)游記》等電影中的經(jīng)典動漫角色進行了轉(zhuǎn)換，結(jié)果也因效果太贊登上了Reddit熱榜。
這張《超級總動員》中的“飛毛腿”巴小飛，「真人版」形象也太有喜感了。
仔細看，它的頭發(fā)絲、眉毛等細節(jié)可以說轉(zhuǎn)化的相當不錯了。
還有彈力女超人—巴荷莉，超能先生—巴鮑伯，除了鮑伯夸張的動漫臉型，這些角色似乎可以在現(xiàn)實世界中找到替代演員了。
不過，到了《飛屋環(huán)游記》的小羅這里是不是出現(xiàn)了什么差錯？？五官是沒毛病了，但這個發(fā)型......
其實是AI把小羅的帽子當做頭發(fā)識別了，結(jié)果就出現(xiàn)了這個亞子。有網(wǎng)友們調(diào)侃稱，這個"貓王發(fā)型”也是很酷了！
另外，不僅是動漫角色的真人化，這款通用AI模型還可以用在畫作上。如果說動漫角色真人化還有些卡通風，那么迭戈·里維拉（Diego Rivera）這兩幅畫像的還原效果，可以說是非常高質(zhì)量了。
那么，這項技術(shù)是如何實現(xiàn)的呢？
Pixel2Style2Pixel (pSp)，是一個圖像到圖像的轉(zhuǎn)換框架，由Penta-AI 和以色列特拉維夫大學的Elad Richardson、Yuval Alaluf等人在一篇名為《Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation》的論文中提出的。
具體來說， pSp 框架基于一種新的編碼器網(wǎng)絡，該網(wǎng)絡可直接生成一系列樣式矢量，這些矢量被送入預訓練的 StyleGAN 生成器中，從而形成可擴展的W+潛在空間。
pSp 是一個簡單的架構(gòu)，它通過特征金字塔擴展了三個級別的特征映射，中間網(wǎng)絡map2style負責從輸入端提取樣式，然后將樣式按照一定比例傳送到生成器（SttyleGAN Generator）中，最后生成輸出圖像。值得注意的是，這個過程中完成像素轉(zhuǎn)換的“中間樣式表示”帶來了不依賴局部像素到像素對應的全局方法，而且該方法通過風格重采樣支持多模態(tài)合成。
總的來說，相較于傳統(tǒng)的StyleGAN模型，pSp新型編碼器架構(gòu)在圖像合成方面取得了兩項進步，一是它能夠?qū)⒄鎸嵜娌繄D像直接編碼到 W + 潛在域中；二是它能夠解決端到端的通用任務。
為了評估 pSp 框架在圖像到圖像轉(zhuǎn)換任務中的有效性，研究人員對常見的圖像處理任務，如面部正面化、條件面合成和超分辨率進行了測試。
該任務的目標是在潛在域中查找真實圖像的潛在代碼。研究人員將pSp與 ALAE 和 IDInvert 架構(gòu)中的編碼器進行比較。其中，ALAE 基于 StyleGAN 的自動編碼器，與生成器一起訓練以生成潛在代碼。 IDInvert 是將真實圖像嵌入到預先訓練的 StyleGAN 的潛在域中，然后將圖像編碼為 W+，再對生成的潛在圖像進行優(yōu)化。
從實驗結(jié)果來看，ALAE 在 W 域中的操作無法準確重建輸入圖像，而 IDInvert雖然稍好保留了圖像的原始屬性，但顯然它在更細節(jié)的處理上步入PsP模型。
由于缺少高質(zhì)量且完整的人臉數(shù)據(jù)集，人臉正面化對圖像轉(zhuǎn)換框架來說是一項艱難的挑戰(zhàn)。在確保訓練和編碼器一致的情況下，pSp在處理這項任務時，從兩個方面進行了優(yōu)化。一是目標增強，而削弱背景。
目標增強：pSp會隨機翻轉(zhuǎn)目標圖像，并生成一個與輸入圖像不一致的姿態(tài)。如果沒有這個圖像增強過程，模型將只會簡單地學習輸入圖像的編碼來匹配其姿態(tài)。
削弱背景：為了降低背景圖像對人臉的干擾，pSp降低了損失目標中的權(quán)值（如降低LPIPS和L2損失函數(shù)）
實驗結(jié)果如下：
在使用相同數(shù)據(jù)進行訓練時，pix2pixHD方法不能收斂到令人滿意的結(jié)果，因為它更多地依賴于輸入和輸出對之間的對應關(guān)系。相反，PsP能夠成功地在保持身份的同時生成逼真的正面臉。另外，在轉(zhuǎn)化過程中采用 3D 對齊的方法也有不錯的表現(xiàn)。
這表明，即使在無數(shù)據(jù)標記的情況下，基于風格的轉(zhuǎn)換機制能夠克服人臉正面化的挑戰(zhàn)。
它的目標是在指定輸入圖像下生成具真實感的圖像。比如從簡筆草圖中生成高質(zhì)量人臉，條件圖像合成是一個單體映射，而理想的映射框架應該能夠為給定輸入生成多個不同的輸出，因此，pSp在其中采用了一種多模態(tài)的綜合方法。
另外，在草圖生成人臉的實驗中，常用方法要求輸入草圖與生成圖像之間的像素一一對應，以產(chǎn)生與輸入對齊的輸出。如果輸入不完整時，可能無法有效地完成草圖到圖像的轉(zhuǎn)化任務，如pix2pixHD。
從實驗結(jié)果來看，pix2pixHD處理抽象草圖的視角效果很差。對此，Psp提供一個專門的映射網(wǎng)絡。
與pix2pixHD相比，F(xiàn)aceDrawing繪制獲得了更滿意的效果，但它的多樣性仍然受到限制，相反Psp具有不同輸出的能力，而且更好地保留了細節(jié)（如毛發(fā)）。
該任務的目標是基于低分辨率（LR）輸入圖像轉(zhuǎn)化為高分辨率人臉圖像。常用方法是采用脈沖（PULSE）無監(jiān)督的方式。具體而言，對于給定的LR輸入圖像，脈沖遍歷HR圖像流，以搜索縮小到原始LR圖像的HR圖像。
但不同的是，在這里研究人員重點研究了有監(jiān)督方式下，應用pSp的解決效果。從實驗對比結(jié)果來看，pix2pixHD在16 X16的向下采樣，以及PULSE在8 X 8采樣時，在視覺上均存在明顯失真。而PsP均能在原始圖像的基礎上，獲得更有真實感的圖像。
另外，研究人員在論文中還展示了pSp模型在局部編輯、圖像修復和人臉圖像插值等應用中的效果，關(guān)于更多論文中的內(nèi)容可參見：https://arxiv.org/pdf/2008.00951.pdf
最后這款AI模型已經(jīng)在Github對外開源。
Github地址：https://github.com/eladrich/pixel2style2pixel
感興趣的朋友可以速戳鏈接體驗一下，看看你喜歡的動漫角色真人化后會是什么亞子~
引用鏈接：
https://twitter.com/CitizenPlain
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
