雷鋒網(wǎng) AI科技評論按：本文作者一秒一喵，原文載于其知乎主頁，雷鋒網(wǎng) AI科技評論獲其授權(quán)發(fā)布。

預(yù)覽視頻：

視頻鏈接（https://www.bilibili.com/video/av14443094/）

項(xiàng)目主頁：

lllyasviel/style2paints（https://github.com/lllyasviel/style2paints）

這里做一個(gè)簡單的示范，為了防止線稿的主觀挑選，我先貼一下現(xiàn)在的時(shí)間：

然后就在這個(gè)時(shí)間，我上谷歌圖片搜索關(guān)鍵詞“Anime Sketch”（動漫線稿），結(jié)果在這里：

然后我直接下載第一個(gè)結(jié)果，不含挑選的成分，這個(gè)圖片下載下來是這樣的：

然后我們的AI需要用戶輸入一些風(fēng)格圖片，不限制內(nèi)容，只要顏色比較好看，色域比較寬泛即可。我在桌面上新建了一個(gè)文件夾，里面從我的個(gè)人收藏中隨便選了9張色彩各不相同的圖片給AI參考，截個(gè)圖：

然后我直接把這九個(gè)圖片和上面那個(gè)線稿丟到AI里面，一共點(diǎn)擊9次上傳按鈕，9次上色按鈕，大約10分鐘后，我有了9張線稿的不同色彩構(gòu)圖。

這九個(gè)結(jié)果和我上面那個(gè)文件夾里面的九個(gè)參照圖片一一對應(yīng)，有興趣可以來回翻看?？纯碅I遷移了哪些信息。

因?yàn)槭窃谥跎厦姘l(fā)帖子，所以這里多說一些學(xué)術(shù)上的突破，具體效果在上面那個(gè)視頻里面，請一定要看視頻，看視頻，看視頻。

1. 我們成功實(shí)現(xiàn)了基于語義信息遷移的顏色提示，這個(gè)技術(shù)使得上色的色彩變得很和諧。這個(gè)技術(shù)最早是2017年1月左右早稻田和UCB都有相關(guān)研究的一個(gè)應(yīng)用于黑白照片上色的trick。但是anime線稿上色是非常非常嚴(yán)酷的挑戰(zhàn)，很多機(jī)構(gòu)都有所嘗試，包括今年六月的DWANGO（niconico的母公司）,東大在內(nèi)的一些機(jī)構(gòu)都嘗試了遷移式上色，但是都停留在了從結(jié)果里面精挑細(xì)選的程度，并不能直接運(yùn)用起來。我們實(shí)驗(yàn)室研究了很久嘗試了幾乎全部生成模型，最后終于組織了一種可以駕馭這個(gè)訓(xùn)練的對抗游戲，具體的內(nèi)容會在后續(xù)的論文里面詳細(xì)說明。

2. 基于語義信息遷移的顏色提示對于anime線稿上色有很重要的意義。一方面解決了“用戶的提示越多，結(jié)果越難看”以及“我調(diào)了半天結(jié)果還沒有一開始的結(jié)果好看”的問題，另一方面大大提高了產(chǎn)率。目前我們可以做到在短時(shí)間內(nèi)針對同一個(gè)線稿生成大量各不相同的，合理的色彩構(gòu)圖，這將有利于那些把神經(jīng)網(wǎng)絡(luò)作為一個(gè)構(gòu)圖工具或者顏色草稿的畫師。詳情可以看上面那個(gè)視頻。

3. 我們的正式APP會在一段時(shí)間后（由于我們比較窮租不起超級貴超級貴的GPU服務(wù)器，可能是一段很長的時(shí)間后）上線，但是如果你是reseacher，你可以直接在我們的項(xiàng)目主頁里面獲取代碼來一睹為快。另外我們還有擴(kuò)大數(shù)據(jù)集的計(jì)劃，所以商業(yè)APP可能需要等待了。但是這僅僅是財(cái)政問題，我們的學(xué)術(shù)代碼，模型等資料完全公開，如果你有興趣贊助或者你有GPU服務(wù)器空閑準(zhǔn)備低價(jià)外租，請務(wù)必聯(lián)系我們，加視屏最后的那個(gè)群就好了。

4. 如果您在看完視屏或者了解了我們的項(xiàng)目之后立刻就想要獲得paper，有一篇paper介紹了我們在今年6月份之前的所有技術(shù)，收錄在ACPR2017，詳情可以到github上面找到。但我們更希望向外界介紹一些近期的新研究發(fā)現(xiàn)，新的論文成文后會發(fā)到github上面。論文：Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN；地址：https://arxiv.org/abs/1706.03319

5. 我們有自信認(rèn)為我們是目前是所有開源的anime上色模型里面的非常優(yōu)異的（paintschainer已經(jīng)閉源了模型數(shù)據(jù)；傳統(tǒng)方案不在我們的比較范圍內(nèi)）。并且我們認(rèn)為我們最新的模型對于paintschainer的最新模型也是可以一比的，尤其是我們在遷移順利的時(shí)候效果是比以前的模型有很大提升的。

-------------------第二天來更新-------------------

贊超過兩百了，謝謝大家的贊，我再發(fā)一點(diǎn)我今天的畫作吧。

首先這是找到的線稿：

這是我用到的風(fēng)格圖：

這是結(jié)果：

評論里面有問起當(dāng)輸入或者輸出非常復(fù)雜的情況會怎么樣，情況是這樣的，隨著線稿和風(fēng)格圖變得復(fù)雜，成功上色的概率會逐漸降低，如果線稿或者風(fēng)格圖片復(fù)雜到人眼都看不清那里是臉哪里是手，就會非常難以上色，我們的github里面有一個(gè)issue就是專門針對上色失敗問題的，等程序上線之后，您也可以幫助我們收集，來改善我們的模型。

-------------------第三天來更新-------------------

說一點(diǎn)技術(shù)上的事情：

不知道是什么時(shí)候開始的，關(guān)于圖像處理出現(xiàn)了一個(gè)套路，就是用ResNet堆砌網(wǎng)絡(luò)深度，然后就可以量產(chǎn)出論文，最近有很多類似的文章。我們的模型里面沒有ResBlock。我們使用的是特別適合線稿上色的，一種變種Inception。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。