0
| 本文作者： 貝爽 | 2020-09-21 21:34 |
上傳一張照片，就可以擁有自己的動(dòng)漫形象？
現(xiàn)在一個(gè)名為“Toonify yourself”的AI工具就可以辦到，而且效果非常逼真。
最近，熱映的真人版《花木蘭》，在國(guó)外又掀起了一股動(dòng)漫風(fēng)！各種名人漫畫形象頻頻刷屏，比如這張宮崎駿老爺爺，可可愛(ài)愛(ài)的形象完全可以出演動(dòng)漫電影了。
還有這張演員楊紫瓊的動(dòng)漫形象，大眼、瘦臉完全具備了動(dòng)漫角色的典型特征。
更重要的是幾乎復(fù)刻了真人的原始狀態(tài)，包括頭發(fā)、面部表情、神態(tài)，妥妥地定制化動(dòng)漫形象。
這些動(dòng)漫形象全部出自一個(gè)名為“Toonify yourself”的AI工具。它不僅呈現(xiàn)出效果逼真，操作起來(lái)還非常簡(jiǎn)單，只需在模型中上傳一張照片即可！
據(jù)了解，這款工具剛剛發(fā)布就完成了25萬(wàn)次服務(wù)，非常受用戶歡迎，還有網(wǎng)友評(píng)論稱：研發(fā)者可以考慮考慮商業(yè)化的問(wèn)題了。
那么，這款工具是如何實(shí)現(xiàn)的呢？
據(jù)它的創(chuàng)建者之一Doron Adler介紹稱，該工具主要利用了混合網(wǎng)絡(luò)（Blended Network），這是一個(gè)復(fù)雜的網(wǎng)絡(luò)機(jī)制，主要由于兩部分模型來(lái)完成：StyleGAN Model和Blended Model。
其中，StyleGAN Model負(fù)責(zé)對(duì)初始照片進(jìn)行預(yù)訓(xùn)練，其目的是節(jié)省訓(xùn)練的時(shí)間和成本，因?yàn)閷?duì)于個(gè)人而言，并不是每個(gè)人都有足夠的CPU或者數(shù)周的時(shí)間進(jìn)行數(shù)據(jù)訓(xùn)練，這個(gè)過(guò)程也被成為“轉(zhuǎn)移學(xué)習(xí)（Transfer learning）“。
重要的是，通過(guò)預(yù)訓(xùn)練模型，可以得到更高質(zhì)量的圖像。
Doron介紹稱，為了達(dá)到更好的動(dòng)漫效果，他們收集了迪士尼/皮克斯/夢(mèng)工廠等大約300張動(dòng)漫圖像作為數(shù)據(jù)集。
通過(guò)對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練來(lái)學(xué)習(xí)動(dòng)漫角色的典型特征。從以下輸出結(jié)果來(lái)看，效果還是非常不錯(cuò)的。
盡管對(duì)數(shù)據(jù)集進(jìn)行了少量的訓(xùn)練，但大眼、瘦臉等典型特征都能很好的捕捉到。其中部分圖像比較模糊，是因?yàn)樵紙D像的分辨率比較低，而且有些是手繪圖像造成的。
接下來(lái)，經(jīng)過(guò)人臉微調(diào)的圖像會(huì)進(jìn)入Blend Model的處理階段。
在這里，由于StyleGAN 的結(jié)構(gòu)，模型中的不同層以不同的方式影響生成人物的外觀。低分辨率層決定頭部姿態(tài)和人臉形狀，高分辨率層則控制光線和紋理等細(xì)節(jié)。
Doron 使用的 Layer Swapping 腳本從原始模型中提取了高分辨率層，從StyleGAN Model微調(diào)模型中提取低分辨率層，因此，最終得到了具有卡通人臉結(jié)構(gòu)且具備照片級(jí)逼真渲染效果的混合模型。
可以看到，使用原始的面孔模型和混合卡通模型生成圖像，兩者之間存在著明顯的聯(lián)系，保持了人物的原始面貌，同時(shí)也實(shí)現(xiàn)了動(dòng)漫化。（需要強(qiáng)調(diào)的是，如何需要高分辨率的卡通形象，則需要輸入高像素的原始圖像，一般不得低于1024x1024像素）。
StyleGAN模型可以產(chǎn)生大量人臉圖像，在其中可以找到任何一張人臉的圖像。比如通過(guò)該模型輸入一張需要處理的圖像示例，模型會(huì)通過(guò)“代碼”（也稱為潛在向量），輸出一個(gè)與示例完全匹配的人臉圖像，如下圖左邊為原圖在左邊，右邊邊為生成圖。
然后將具有特定“代碼”的人臉圖像輸入混合模型，結(jié)果就可以得到一個(gè)卡通化人臉。
這一過(guò)程，輸入示例大致經(jīng)歷了三步處理過(guò)程：
提取面步特征，并自動(dòng)對(duì)齊圖像。
找到潛在代碼，復(fù)制圖像。
使用卡通模型的潛在代碼,對(duì)圖像進(jìn)行處理。
基于這一原理，用戶只需要在系統(tǒng)中上傳照片即可。不過(guò)可惜的是，由于用戶訪問(wèn)量過(guò)大，考慮到服務(wù)器的運(yùn)行成本，Doron暫時(shí)關(guān)閉了這一系統(tǒng)的使用入口，并表示重新規(guī)劃成本效益后，會(huì)再次對(duì)外開放。
Justin Pinkney是該工具另一創(chuàng)建者。與Doron一樣，Justin對(duì)生成藝術(shù)和機(jī)器學(xué)習(xí)非常感興趣。
從他的個(gè)人主頁(yè)上了解到，Justin曾是一名物理學(xué)家，現(xiàn)在英國(guó)MathWorks擔(dān)任軟件顧問(wèn)，負(fù)責(zé)算法開發(fā)、模型訓(xùn)練以及組織軟件開發(fā)實(shí)踐。
Justin利用StyleGAN模型做過(guò)多項(xiàng)研究。比如他通過(guò)StyleGAN Network Blend讓壁畫上的浮雕秒變?nèi)四槇D像。
該項(xiàng)研究同樣是基于“圖層交換（Layer Swapping）”的概念，將基礎(chǔ)模型與使用轉(zhuǎn)移學(xué)習(xí)的模型（即微調(diào)模型）融合在一起達(dá)到最終的效果。
此外，還有利用神經(jīng)網(wǎng)絡(luò)生成各類虛假蛋糕等。
此類研究的詳細(xì)技術(shù)過(guò)程，Justin在其博客中給出了詳細(xì)說(shuō)明，感興趣的朋友可以參加：（https://www.justinpinkney.com/stylegan-network-blending/）。
引用鏈接：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
https://www.justinpinkney.com/toonify-yourself/
https://www.reddit.com/r/MachineLearning/comments/ivualz/d_layer_swapping_on_ai_models_to_generate/
https://colab.research.google.com/drive/1s2XPNMwf6HDhrJ1FMwlW1jl-eQ2-_tlk?usp=sharing#scrollTo=3IppG8Z8O19R
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
