0
| 本文作者： AI研習(xí)社-譯站 | 2018-02-12 11:45 |
本文為雷鋒字幕組編譯的技術(shù)博客，原標(biāo)題Creating Intricate Art with Neural Style Transfer，作者為Kalai Ramea。
翻譯 | 陳俊雅 校對(duì) | 凡江
自從Gatys發(fā)表了神經(jīng)風(fēng)格遷移算法，我們見證了海量的圖片搖身一變成了藝術(shù)品。
算法用了一個(gè)前饋網(wǎng)絡(luò)把給定圖片的風(fēng)格輸入網(wǎng)絡(luò)。我們還看到了超厲害的“非藝術(shù)氣質(zhì)的風(fēng)格遷移算法”，“非藝術(shù)畫”或者日常用品都可以鋪開來構(gòu)成風(fēng)格圖片來創(chuàng)造藝術(shù)。后來這個(gè)領(lǐng)域有了進(jìn)展，由Johnson等人發(fā)展出了一個(gè)快速風(fēng)格遷移方法。這個(gè)方法就為手機(jī)應(yīng)用市場鋪平了道路，其中一個(gè)著名的就是Prisma，用戶可以在幾秒內(nèi)把手機(jī)拍攝的照片打造成藝術(shù)作品。
然而，利用這個(gè)算法生成的大部分藝術(shù)品主要內(nèi)容是來自于內(nèi)容圖片。
這篇文章介紹了一種新穎的方式：以輪廓剪影為內(nèi)容，以涂鴉風(fēng)格來生產(chǎn)（設(shè)計(jì)）復(fù)雜藝術(shù)。
三大最流行的 AI 文章
繁復(fù)畫作思想的起源
我是一個(gè)手繪“禪繞畫”藝術(shù)家的超級(jí)粉絲。這種藝術(shù)品把復(fù)雜的圖案或者涂鴉鑲嵌進(jìn)長方形或任何其他形狀，看起來繁復(fù)而優(yōu)美。
手繪禪繞畫
它們最近用于中年少男少女的涂色繪本?？梢韵胍姡L制這類藝術(shù)品需要很好的耐心。
缺乏耐心的那種人（包括我）仍然希望能夠繪制一些復(fù)雜的藝術(shù)大作，那么我們就需要借助深度學(xué)習(xí)來拯救自己尚未泯滅的童心了。
復(fù)雜風(fēng)格遷移的框架
這個(gè)框架是在Gatys的風(fēng)格遷移算法為基礎(chǔ)做一些小改動(dòng)。我們的做法是，內(nèi)容圖片是一張剪影，風(fēng)格圖片可以是任何圖案（從簡單的黑白涂鴉到更復(fù)雜的色彩鑲嵌）。這段代碼包含了轉(zhuǎn)換圖案和創(chuàng)建基于內(nèi)容圖片的掩模，它們最終都會(huì)被用到生成圖案中。
這個(gè)應(yīng)用的權(quán)重是來源于預(yù)訓(xùn)練網(wǎng)絡(luò)（VGGNET）。前面的特征層視為圖片風(fēng)格服務(wù)的，后面的特征層視為內(nèi)容圖片服務(wù)的。Gram陣度量了風(fēng)格損失和內(nèi)容損失，每次迭代需要極小化這個(gè)聯(lián)合損失。
復(fù)雜藝術(shù)的神經(jīng)風(fēng)格遷移框架
生成了融合的圖片以后利用掩模遷移并保存為輸出。這個(gè)代碼用以tensorflow為后端的keras編寫的。詳細(xì)代碼可以點(diǎn)擊這里的Github鏈接查看。
按照機(jī)器學(xué)習(xí)的實(shí)際應(yīng)用的傳統(tǒng)，算法一開始放在一只貓的剪影上進(jìn)行了測試。
由貓剪影生成的復(fù)雜藝術(shù)品
不算太差吧。這幅畫的風(fēng)格來自于一組簡單的涂鴉堆積在一起。
我們來嘗試一下更復(fù)雜的色彩圖案作為風(fēng)格輸入吧！這些大概需要100到250次迭代。如果迭代次數(shù)不夠多，輸出圖片就會(huì)還留有一部分的剪影黑底。
輸入風(fēng)格（左）與生成的藝術(shù)品（右）
我們把給定的幾何圖案作為風(fēng)格輸入，就生成了極其有趣的，彩色玻璃效果的藝術(shù)品。
幾何圖案藝術(shù)品作為風(fēng)格（左）與生成的藝術(shù)品（右）
這個(gè)代碼還可以選擇指定背景圖片或背景色彩。
由文字剪影生成的藝術(shù)品
圖案已經(jīng)用光了？拍一張外婆被子的照片吧！
被子圖案（左）與Darth Vader被子藝術(shù)（右）
現(xiàn)在Darth Vader和你外婆有的好聊啦～
為什么用剪影
為什么我們偏要來生成剪影輪廓？不能直接從已有的圖案上面摳圖么？或者就用白噪聲來生成一種新的圖案然后摳圖安到任何圖形上不好么？為什么偏偏想不開要用剪影呢？
把剪影用作內(nèi)容圖片當(dāng)然有它的好處。以樓下三個(gè)生成的藝術(shù)作品為例。(X) 就是從原始圖案直接摳圖到舞者形狀里的。(Y)是由白噪音加到內(nèi)容圖片上生成圖案，然后摳圖到舞者形狀上，構(gòu)成了最后的圖片。(Z)是把剪影作為內(nèi)容然后用掩模遷移來剪出最后的圖片的。
前面兩個(gè)圖片(X)和(Y)，我們看到圖案（不管是不是生成的）都不能填充滿整個(gè)舞者。(Y)我們雖然有了新的圖案，但和形狀配不起來。然而(Z)看起來圖案放在這個(gè)圖形里宛如天生般的適合。
沿著邊邊卡準(zhǔn)的圖案（左）和沿著邊邊的被子針腳（右）。
用被子圖案生成的藝術(shù)品(見上方的Darth Vader)有著沿著邊邊的針腳，就好像布特地剪切好做出來的！用白噪聲和內(nèi)容圖片生成圖案或者直接從圖案上剪切下來的時(shí)候就不會(huì)產(chǎn)生這樣的情形。
另外，剪影不一定要全部都是黑色的。其實(shí)各種顏色就像種子(生成隨機(jī)數(shù)的種子)一樣可以生成不同種類的藝術(shù)品。我們想要把哪種顏色作為主色來選擇剪影顏色（注意：黑色就像一個(gè)分界顏色——它是中性的）。
由同一風(fēng)格生成的不同剪影的藝術(shù)品
應(yīng)用
任何圖案設(shè)計(jì)（例如:logo, 符號(hào), 海報(bào)）
客戶服裝設(shè)計(jì)（有自己個(gè)性的或者印有自己喜歡的名言的Ｔ恤，或者設(shè)計(jì)一件抽象款的衣服）
印刷設(shè)計(jì)（就把圖案塞到文字輪廓里）
設(shè)計(jì)涂色繪本
注意
本項(xiàng)工作原為Self-Organizing Conference on Machine Learning, 2017的海報(bào)。
參考文獻(xiàn)
Leon A. Gatys, Alexander S. Ecker, Matthias Bethge. A Neural Algorithm of Artistic Style. 2015. https://arxiv.org/abs/1508.06576
Roman Novak and Yaroslav Nikulin. Improving the Neural Algorithm of Artistic Style. 2016. https://arxiv.org/abs/1605.04603
Some of the code is developed based on Somshubra Majumdar’s implementation of neural style transfer: https://github.com/titu1994/Neural-Style-Transfer
Geometric patterns are obtained from artist Rebecca Blair: http://rebeccablairart.tumblr.com/
鳴謝
本項(xiàng)工作的完成離不開Palo Alto Research Center為我們提供的GPU，和 PARC研究員為我們提供寶貴的意見。
博客原址 https://becominghuman.ai/creating-intricate-art-with-neural-style-transfer-e5fee5f89481
更多文章，關(guān)注雷鋒網(wǎng)，添加雷鋒字幕組微信號(hào)（leiphonefansub）為好友 （雷鋒網(wǎng)雷鋒網(wǎng)）
備注「我要加入」，To be a AI Volunteer ！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
