0
| 本文作者： 貝爽 | 2020-10-20 18:30 |
從“換臉”到“生成漫畫臉”，AI在圖像合成方面的技術(shù)已經(jīng)非常成熟了。
因?yàn)橹С忠绘I切換，而且效果逼真，之前抖音的一款「變身漫畫」特效還登上微博了熱搜，從明星到路人，近千萬用戶參與。國外也有一款「秒變迪士尼公主」工具網(wǎng)站，上線當(dāng)天就因?yàn)樵L問量過大而被迫下線。
它的火爆程度可以從這張效果圖來感受下。
從發(fā)型、面部輪廓到五官，妥妥地定制化動(dòng)漫臉，感覺都不用后期處理就可以直接出演電影了。
不過，這件事也引起了一位AI藝術(shù)家Nathan Shipley的好奇心，AI生成漫畫臉如此逼真，那么反過來，將動(dòng)漫角色轉(zhuǎn)化為「真人」效果會(huì)怎么樣？剛好最近國外研究團(tuán)隊(duì)推出了一款通用版AI模型——Pixel2Style2Pixel（pSp）。
因此，Shipley便利用這款A(yù)I模型，嘗試將《超級(jí)總動(dòng)員》《飛屋環(huán)游記》等電影中的經(jīng)典動(dòng)漫角色進(jìn)行了轉(zhuǎn)換，結(jié)果也因效果太贊登上了Reddit熱榜。
這張《超級(jí)總動(dòng)員》中的“飛毛腿”巴小飛，「真人版」形象也太有喜感了。
仔細(xì)看，它的頭發(fā)絲、眉毛等細(xì)節(jié)可以說轉(zhuǎn)化的相當(dāng)不錯(cuò)了。
還有彈力女超人—巴荷莉，超能先生—巴鮑伯，除了鮑伯夸張的動(dòng)漫臉型，這些角色似乎可以在現(xiàn)實(shí)世界中找到替代演員了。
不過，到了《飛屋環(huán)游記》的小羅這里是不是出現(xiàn)了什么差錯(cuò)？？五官是沒毛病了，但這個(gè)發(fā)型......
其實(shí)是AI把小羅的帽子當(dāng)做頭發(fā)識(shí)別了，結(jié)果就出現(xiàn)了這個(gè)亞子。有網(wǎng)友們調(diào)侃稱，這個(gè)"貓王發(fā)型”也是很酷了！
另外，不僅是動(dòng)漫角色的真人化，這款通用AI模型還可以用在畫作上。如果說動(dòng)漫角色真人化還有些卡通風(fēng)，那么迭戈·里維拉（Diego Rivera）這兩幅畫像的還原效果，可以說是非常高質(zhì)量了。
那么，這項(xiàng)技術(shù)是如何實(shí)現(xiàn)的呢？
Pixel2Style2Pixel (pSp)，是一個(gè)圖像到圖像的轉(zhuǎn)換框架，由Penta-AI 和以色列特拉維夫大學(xué)的Elad Richardson、Yuval Alaluf等人在一篇名為《Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation》的論文中提出的。
具體來說， pSp 框架基于一種新的編碼器網(wǎng)絡(luò)，該網(wǎng)絡(luò)可直接生成一系列樣式矢量，這些矢量被送入預(yù)訓(xùn)練的 StyleGAN 生成器中，從而形成可擴(kuò)展的W+潛在空間。
pSp 是一個(gè)簡單的架構(gòu)，它通過特征金字塔擴(kuò)展了三個(gè)級(jí)別的特征映射，中間網(wǎng)絡(luò)map2style負(fù)責(zé)從輸入端提取樣式，然后將樣式按照一定比例傳送到生成器（SttyleGAN Generator）中，最后生成輸出圖像。值得注意的是，這個(gè)過程中完成像素轉(zhuǎn)換的“中間樣式表示”帶來了不依賴局部像素到像素對(duì)應(yīng)的全局方法，而且該方法通過風(fēng)格重采樣支持多模態(tài)合成。
總的來說，相較于傳統(tǒng)的StyleGAN模型，pSp新型編碼器架構(gòu)在圖像合成方面取得了兩項(xiàng)進(jìn)步，一是它能夠?qū)⒄鎸?shí)面部圖像直接編碼到 W + 潛在域中；二是它能夠解決端到端的通用任務(wù)。
為了評(píng)估 pSp 框架在圖像到圖像轉(zhuǎn)換任務(wù)中的有效性，研究人員對(duì)常見的圖像處理任務(wù)，如面部正面化、條件面合成和超分辨率進(jìn)行了測試。
該任務(wù)的目標(biāo)是在潛在域中查找真實(shí)圖像的潛在代碼。研究人員將pSp與 ALAE 和 IDInvert 架構(gòu)中的編碼器進(jìn)行比較。其中，ALAE 基于 StyleGAN 的自動(dòng)編碼器，與生成器一起訓(xùn)練以生成潛在代碼。 IDInvert 是將真實(shí)圖像嵌入到預(yù)先訓(xùn)練的 StyleGAN 的潛在域中，然后將圖像編碼為 W+，再對(duì)生成的潛在圖像進(jìn)行優(yōu)化。
從實(shí)驗(yàn)結(jié)果來看，ALAE 在 W 域中的操作無法準(zhǔn)確重建輸入圖像，而 IDInvert雖然稍好保留了圖像的原始屬性，但顯然它在更細(xì)節(jié)的處理上步入PsP模型。
由于缺少高質(zhì)量且完整的人臉數(shù)據(jù)集，人臉正面化對(duì)圖像轉(zhuǎn)換框架來說是一項(xiàng)艱難的挑戰(zhàn)。在確保訓(xùn)練和編碼器一致的情況下，pSp在處理這項(xiàng)任務(wù)時(shí)，從兩個(gè)方面進(jìn)行了優(yōu)化。一是目標(biāo)增強(qiáng)，而削弱背景。
目標(biāo)增強(qiáng)：pSp會(huì)隨機(jī)翻轉(zhuǎn)目標(biāo)圖像，并生成一個(gè)與輸入圖像不一致的姿態(tài)。如果沒有這個(gè)圖像增強(qiáng)過程，模型將只會(huì)簡單地學(xué)習(xí)輸入圖像的編碼來匹配其姿態(tài)。
削弱背景：為了降低背景圖像對(duì)人臉的干擾，pSp降低了損失目標(biāo)中的權(quán)值（如降低LPIPS和L2損失函數(shù)）
實(shí)驗(yàn)結(jié)果如下：
在使用相同數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，pix2pixHD方法不能收斂到令人滿意的結(jié)果，因?yàn)樗嗟匾蕾囉谳斎牒洼敵鰧?duì)之間的對(duì)應(yīng)關(guān)系。相反，PsP能夠成功地在保持身份的同時(shí)生成逼真的正面臉。另外，在轉(zhuǎn)化過程中采用 3D 對(duì)齊的方法也有不錯(cuò)的表現(xiàn)。
這表明，即使在無數(shù)據(jù)標(biāo)記的情況下，基于風(fēng)格的轉(zhuǎn)換機(jī)制能夠克服人臉正面化的挑戰(zhàn)。
它的目標(biāo)是在指定輸入圖像下生成具真實(shí)感的圖像。比如從簡筆草圖中生成高質(zhì)量人臉，條件圖像合成是一個(gè)單體映射，而理想的映射框架應(yīng)該能夠?yàn)榻o定輸入生成多個(gè)不同的輸出，因此，pSp在其中采用了一種多模態(tài)的綜合方法。
另外，在草圖生成人臉的實(shí)驗(yàn)中，常用方法要求輸入草圖與生成圖像之間的像素一一對(duì)應(yīng)，以產(chǎn)生與輸入對(duì)齊的輸出。如果輸入不完整時(shí)，可能無法有效地完成草圖到圖像的轉(zhuǎn)化任務(wù)，如pix2pixHD。
從實(shí)驗(yàn)結(jié)果來看，pix2pixHD處理抽象草圖的視角效果很差。對(duì)此，Psp提供一個(gè)專門的映射網(wǎng)絡(luò)。
與pix2pixHD相比，F(xiàn)aceDrawing繪制獲得了更滿意的效果，但它的多樣性仍然受到限制，相反Psp具有不同輸出的能力，而且更好地保留了細(xì)節(jié)（如毛發(fā)）。
該任務(wù)的目標(biāo)是基于低分辨率（LR）輸入圖像轉(zhuǎn)化為高分辨率人臉圖像。常用方法是采用脈沖（PULSE）無監(jiān)督的方式。具體而言，對(duì)于給定的LR輸入圖像，脈沖遍歷HR圖像流，以搜索縮小到原始LR圖像的HR圖像。
但不同的是，在這里研究人員重點(diǎn)研究了有監(jiān)督方式下，應(yīng)用pSp的解決效果。從實(shí)驗(yàn)對(duì)比結(jié)果來看，pix2pixHD在16 X16的向下采樣，以及PULSE在8 X 8采樣時(shí)，在視覺上均存在明顯失真。而PsP均能在原始圖像的基礎(chǔ)上，獲得更有真實(shí)感的圖像。
另外，研究人員在論文中還展示了pSp模型在局部編輯、圖像修復(fù)和人臉圖像插值等應(yīng)用中的效果，關(guān)于更多論文中的內(nèi)容可參見：https://arxiv.org/pdf/2008.00951.pdf
最后這款A(yù)I模型已經(jīng)在Github對(duì)外開源。
Github地址：https://github.com/eladrich/pixel2style2pixel
感興趣的朋友可以速戳鏈接體驗(yàn)一下，看看你喜歡的動(dòng)漫角色真人化后會(huì)是什么亞子~
引用鏈接：
https://twitter.com/CitizenPlain
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
