0
會畫畫的AI有多可怕？
你是否想象過把螞蟻和豬、螃蟹和鯨魚，或者100種生物的任意兩個組合起來會是什么神奇的亞子？
現(xiàn)在，AI可以把這些天馬行空的想象全部變成現(xiàn)實！
而只需要我們點點鼠標隨便涂個鴉，像這樣：
犀牛的犄角，老鷹的翅膀，恐龍的尾巴，組合起來就可以變成這樣：
妥妥地一幅專業(yè)創(chuàng)意作品，對繪畫小白簡直不要太友好。
更重要的是，它或許還能激發(fā)你的創(chuàng)意靈感，而這也是Google研究團隊推出這款工具的目的之一。
這款AI繪畫神器名為Chimera Painter，它是一個Web工具，其功能是基于動物簡圖生成高度逼真的“小怪獸”。
完成涂鴉后，只要點擊「轉(zhuǎn)換」按鈕，它就會自動生成3D效果的「怪獸」。
有意思的是，Googel研究團隊還把Chimera Painter創(chuàng)作的怪獸形象用來搭建了一個數(shù)字紙牌游戲。
圖中每張紙牌的攻擊值由上面的怪獸決定，這些怪獸的技能由他們所組合的兩種物種決定。
據(jù)了解，這款AI工具的研發(fā)靈感就來自我們平時在游戲中看到的「怪獸」。Googel研究人員認為，這些怪獸的創(chuàng)作往往需要游戲美術師有高度的藝術創(chuàng)造力和技術知識，而AI可以充當畫筆，幫助他們節(jié)省藝術創(chuàng)作的時間，比如一鍵完成3D渲染，甚至還可以增強他們的創(chuàng)造力。
假如游戲中有100種動物，每種動物都可以相互融合，那么它會給任何藝術家?guī)砗艽蟮墓ぷ髁?，但這對于機器學習來說，是很輕松的事。
那么，它是如何做到的呢？
Chimera Painter，是一種機器學習（ML）模型。為了可以生成高質(zhì)量且任意組合的怪獸形象，研究團隊向模型提供數(shù)千張生物圖像，并標記了如爪，腿，腿，眼睛等特殊部位，以供模型進行訓練。
該模型的訓練過程利用的仍然是生成式對抗網(wǎng)絡（GAN）,GAN我們已經(jīng)非常熟悉，它可以基于兩個卷積神經(jīng)網(wǎng)絡：生成器和判別器生成高清且逼真的新圖像。其工作原理是，生成器用來創(chuàng)建新圖像，鑒別器用來確定這些圖像是否來自訓練數(shù)據(jù)集。
不過，在這里研究人員提出了一種被稱為條件GAN的變體，其中生成器采用單獨的輸入來指導圖像生成過程。有趣的是，這種方法與其他GAN的工作完全不同，因為后者通常側(cè)重于照片真實性，而該工具的目的是融合不同的物種生成一種嵌合體。
為了訓練 GAN，研究團隊創(chuàng)建了一個全彩色圖像數(shù)據(jù)集，其中包含單種生物的輪廓，這些輪廓改編自3D 生物模型。這種生物的輪廓描述了每種生物的形狀和大小，并提供了一張分割地圖來識別身體的各個部分。 
訓練后的模型，可以基于藝術家提供的輪廓，生成表現(xiàn)最好的多物種嵌合體并嵌入到 Chimera Painter中。
使用GAN生成新物種時會遇到一個問題，即在繪制圖像細節(jié)或低對比度部分時，可能會失去空間的連貫性，包括眼睛、手指，甚至是具有相似紋理的重疊身體部位之間的區(qū)分。
因此，它對訓練數(shù)據(jù)集提出了一定的要求?，F(xiàn)有的插圖庫不適合用作訓練ML模型的數(shù)據(jù)集，原因是它們可能具有沖突樣式，或者缺少多樣性。生成嵌合體的數(shù)據(jù)集需要具備獨特性，如戲劇性的視角、構(gòu)圖和燈光等。
為了解決這個問題，研究人員開發(fā)了一種用戶主導的半自動方法，即從3D生物模型中創(chuàng)建ML訓練數(shù)據(jù)集。在這個過程中，用戶們將創(chuàng)建并獲得一組3D生物模型。
具體來說，他們將用虛幻引擎制作兩組紋理，并疊加在3D模型上——一組具有全彩色紋理（左圖），另一組顯示身體每個部位（如頭，耳朵，脖子等），稱為分割圖（右圖）。
其中，圖二身體細分部分會提交給模型進行訓練，以確保GAN了解各種生物身體部位的特定結(jié)構(gòu)、形狀、紋理和比例。
三維生物模型都被放置在一個3D場景中，并同樣使用虛幻引擎。一組自動化腳本將采用這個3D場景，并在不同的姿勢、視點和每個3D生物模型的縮放級別之間進行插值，創(chuàng)建全彩色圖像和分割地圖，形成 GAN的訓練數(shù)據(jù)集。
使用這種方法，研究人員為每個3D生物模型生成10000多個圖像+分割圖對，與手動創(chuàng)建這些數(shù)據(jù)相比，用戶每張圖像可以節(jié)省大約20分鐘。
GAN的超參數(shù)大小會影響模型輸出圖像的質(zhì)量。為了驗證該模型哪個版本的性能最佳，研究團隊收集并分析了模型生成不同生物類型的樣本，并從中提取了一些顯著特征，如深度感，有關生物紋理的樣式，以及面部、眼睛的真實感等。
這些信息不僅將用于訓練模型的新版本，而且能在模型生成成千上萬的生物圖像之后，從每種生物類別（例如瞪羚，山貓，大猩猩等）中選擇最佳的圖像。
具體來說，研究團隊通過感知損失（ Perceptual Loss）對GAN進行了優(yōu)化。該損失函數(shù)組件使用從單獨的卷積神經(jīng)網(wǎng)絡（CNN）提取的特征來計算兩幅圖像之間的差異，該卷積神經(jīng)網(wǎng)絡之前已經(jīng)對ImageNet數(shù)據(jù)集中的數(shù)百萬張照片進行了訓練。
從CNN的不同層提取特征，并對每個特征施加權重，這會影響特征對最終損耗值的貢獻，這些權重對于確定最終生成的圖像的外觀至關重要。
下面是來自不同感知損失權重訓練GANs的結(jié)果。
圖片中的顏色變化主要是數(shù)據(jù)集導致的，其原因是數(shù)據(jù)集中的一個生物往往包含多種紋理（比如蝙蝠的紅色版和灰色版），不過，忽略顏色變化，許多差異也直接與感知損失值的變化有關。
研究人員發(fā)現(xiàn)，特定值會產(chǎn)生更清晰的面部特征，使生成的生物更具真實感。
下面是一些由GAN生成的生物，它們使用了不同的感知損失權重進行訓練，展示了模型可以處理一小部分輸出和姿勢。
總之，對于藝術創(chuàng)作者或者繪畫愛好者來說，Chimera Painter只需調(diào)整生物的局部形狀、類型或者位置，就可輕松創(chuàng)建大量圖像，而不是從頭繪制幾十種類似的生物。同時，該模型還允許使用外部程序（如Photoshop）創(chuàng)建的生物輪廓。
谷歌團隊在博客中表示，希望這些GAN模型和Chimera Painter演示工具可以激發(fā)人們新的藝術創(chuàng)作思路。
那么，使用機器學習作為畫筆時，你想創(chuàng)建什么呢？（點擊鏈接即可體驗~）
https://storage.googleapis.com/chimera-painter/index.html
引用鏈接：
https://techcrunch.com/2020/11/17/google-has-created-an-ai-powered-nightmare-creature-generator/
https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
