0
| 本文作者： AI研習社-譯站 | 2018-02-12 11:45 |
本文為雷鋒字幕組編譯的技術(shù)博客，原標題Creating Intricate Art with Neural Style Transfer，作者為Kalai Ramea。
翻譯 | 陳俊雅 校對 | 凡江
自從Gatys發(fā)表了神經(jīng)風格遷移算法，我們見證了海量的圖片搖身一變成了藝術(shù)品。
算法用了一個前饋網(wǎng)絡(luò)把給定圖片的風格輸入網(wǎng)絡(luò)。我們還看到了超厲害的“非藝術(shù)氣質(zhì)的風格遷移算法”，“非藝術(shù)畫”或者日常用品都可以鋪開來構(gòu)成風格圖片來創(chuàng)造藝術(shù)。后來這個領(lǐng)域有了進展，由Johnson等人發(fā)展出了一個快速風格遷移方法。這個方法就為手機應(yīng)用市場鋪平了道路，其中一個著名的就是Prisma，用戶可以在幾秒內(nèi)把手機拍攝的照片打造成藝術(shù)作品。
然而，利用這個算法生成的大部分藝術(shù)品主要內(nèi)容是來自于內(nèi)容圖片。
這篇文章介紹了一種新穎的方式：以輪廓剪影為內(nèi)容，以涂鴉風格來生產(chǎn)（設(shè)計）復雜藝術(shù)。
三大最流行的 AI 文章
繁復畫作思想的起源
我是一個手繪“禪繞畫”藝術(shù)家的超級粉絲。這種藝術(shù)品把復雜的圖案或者涂鴉鑲嵌進長方形或任何其他形狀，看起來繁復而優(yōu)美。
手繪禪繞畫
它們最近用于中年少男少女的涂色繪本。可以想見，繪制這類藝術(shù)品需要很好的耐心。
缺乏耐心的那種人（包括我）仍然希望能夠繪制一些復雜的藝術(shù)大作，那么我們就需要借助深度學習來拯救自己尚未泯滅的童心了。
復雜風格遷移的框架
這個框架是在Gatys的風格遷移算法為基礎(chǔ)做一些小改動。我們的做法是，內(nèi)容圖片是一張剪影，風格圖片可以是任何圖案（從簡單的黑白涂鴉到更復雜的色彩鑲嵌）。這段代碼包含了轉(zhuǎn)換圖案和創(chuàng)建基于內(nèi)容圖片的掩模，它們最終都會被用到生成圖案中。
這個應(yīng)用的權(quán)重是來源于預訓練網(wǎng)絡(luò)（VGGNET）。前面的特征層視為圖片風格服務(wù)的，后面的特征層視為內(nèi)容圖片服務(wù)的。Gram陣度量了風格損失和內(nèi)容損失，每次迭代需要極小化這個聯(lián)合損失。
復雜藝術(shù)的神經(jīng)風格遷移框架
生成了融合的圖片以后利用掩模遷移并保存為輸出。這個代碼用以tensorflow為后端的keras編寫的。詳細代碼可以點擊這里的Github鏈接查看。
按照機器學習的實際應(yīng)用的傳統(tǒng)，算法一開始放在一只貓的剪影上進行了測試。
由貓剪影生成的復雜藝術(shù)品
不算太差吧。這幅畫的風格來自于一組簡單的涂鴉堆積在一起。
我們來嘗試一下更復雜的色彩圖案作為風格輸入吧！這些大概需要100到250次迭代。如果迭代次數(shù)不夠多，輸出圖片就會還留有一部分的剪影黑底。
輸入風格（左）與生成的藝術(shù)品（右）
我們把給定的幾何圖案作為風格輸入，就生成了極其有趣的，彩色玻璃效果的藝術(shù)品。
幾何圖案藝術(shù)品作為風格（左）與生成的藝術(shù)品（右）
這個代碼還可以選擇指定背景圖片或背景色彩。
由文字剪影生成的藝術(shù)品
圖案已經(jīng)用光了？拍一張外婆被子的照片吧！
被子圖案（左）與Darth Vader被子藝術(shù)（右）
現(xiàn)在Darth Vader和你外婆有的好聊啦～
為什么用剪影
為什么我們偏要來生成剪影輪廓？不能直接從已有的圖案上面摳圖么？或者就用白噪聲來生成一種新的圖案然后摳圖安到任何圖形上不好么？為什么偏偏想不開要用剪影呢？
把剪影用作內(nèi)容圖片當然有它的好處。以樓下三個生成的藝術(shù)作品為例。(X) 就是從原始圖案直接摳圖到舞者形狀里的。(Y)是由白噪音加到內(nèi)容圖片上生成圖案，然后摳圖到舞者形狀上，構(gòu)成了最后的圖片。(Z)是把剪影作為內(nèi)容然后用掩模遷移來剪出最后的圖片的。
前面兩個圖片(X)和(Y)，我們看到圖案（不管是不是生成的）都不能填充滿整個舞者。(Y)我們雖然有了新的圖案，但和形狀配不起來。然而(Z)看起來圖案放在這個圖形里宛如天生般的適合。
沿著邊邊卡準的圖案（左）和沿著邊邊的被子針腳（右）。
用被子圖案生成的藝術(shù)品(見上方的Darth Vader)有著沿著邊邊的針腳，就好像布特地剪切好做出來的！用白噪聲和內(nèi)容圖片生成圖案或者直接從圖案上剪切下來的時候就不會產(chǎn)生這樣的情形。
另外，剪影不一定要全部都是黑色的。其實各種顏色就像種子(生成隨機數(shù)的種子)一樣可以生成不同種類的藝術(shù)品。我們想要把哪種顏色作為主色來選擇剪影顏色（注意：黑色就像一個分界顏色——它是中性的）。
由同一風格生成的不同剪影的藝術(shù)品
應(yīng)用
任何圖案設(shè)計（例如:logo, 符號, 海報）
客戶服裝設(shè)計（有自己個性的或者印有自己喜歡的名言的Ｔ恤，或者設(shè)計一件抽象款的衣服）
印刷設(shè)計（就把圖案塞到文字輪廓里）
設(shè)計涂色繪本
注意
本項工作原為Self-Organizing Conference on Machine Learning, 2017的海報。
參考文獻
Leon A. Gatys, Alexander S. Ecker, Matthias Bethge. A Neural Algorithm of Artistic Style. 2015. https://arxiv.org/abs/1508.06576
Roman Novak and Yaroslav Nikulin. Improving the Neural Algorithm of Artistic Style. 2016. https://arxiv.org/abs/1605.04603
Some of the code is developed based on Somshubra Majumdar’s implementation of neural style transfer: https://github.com/titu1994/Neural-Style-Transfer
Geometric patterns are obtained from artist Rebecca Blair: http://rebeccablairart.tumblr.com/
鳴謝
本項工作的完成離不開Palo Alto Research Center為我們提供的GPU，和 PARC研究員為我們提供寶貴的意見。
博客原址 https://becominghuman.ai/creating-intricate-art-with-neural-style-transfer-e5fee5f89481
更多文章，關(guān)注雷鋒網(wǎng)，添加雷鋒字幕組微信號（leiphonefansub）為好友 （雷鋒網(wǎng)雷鋒網(wǎng)）
備注「我要加入」，To be a AI Volunteer ！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
