1
| 本文作者： 李尊 | 2016-10-28 18:42 |
Google最新發(fā)布了一種新的遷移網(wǎng)絡(luò)（來自其論文《A Learned Representation for Artistic Style》）同時(shí)學(xué)習(xí)多種風(fēng)格的簡單方法，可以簡單地讓單個(gè)深度卷積風(fēng)格遷移網(wǎng)絡(luò)（Deep Convolutional style Transfer Network）同時(shí)學(xué)習(xí)多種藝術(shù)風(fēng)格。
這種方法能實(shí)現(xiàn)實(shí)時(shí)的風(fēng)格插補(bǔ)（Style Interpolation），其不僅可以應(yīng)用于靜態(tài)圖像，還可應(yīng)用于視頻中。
如上圖所示，在實(shí)際使用中用戶可使用13種不同的繪畫風(fēng)格，通過滑塊調(diào)整這些風(fēng)格的相對(duì)強(qiáng)度。多種風(fēng)格實(shí)時(shí)結(jié)合到一起，最后得到一個(gè)輸出。
下圖是 4 種風(fēng)格按不同比例結(jié)合的成果：
與之前快速遷移風(fēng)格的方法不同，這種同時(shí)建模多種風(fēng)格的方法讓用戶能實(shí)時(shí)與風(fēng)格遷移算法進(jìn)行交互，而且可以基于多個(gè)風(fēng)格的混合進(jìn)行自由創(chuàng)造。
這讓我們想起了之前紅極一時(shí)的圖片應(yīng)用Prisma，Google所推出的這種遷移網(wǎng)絡(luò)方法與之有哪些異同點(diǎn)呢？
Prisma應(yīng)用基于論文《A Neural Algorithm of Artistic Style》中一種使用深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）分類器的方法開發(fā)而來，其系統(tǒng)核心是利用神經(jīng)表征來進(jìn)行分離，再組合隨機(jī)圖片的內(nèi)容和風(fēng)格，以此來實(shí)現(xiàn)一個(gè)可用來描繪藝術(shù)圖像的算法。
該算法利用一個(gè)多層的卷積神經(jīng)網(wǎng)絡(luò)（CNN）抽象出給定繪畫作品里一些高級(jí)的隱藏特征用來模仿繪畫風(fēng)格，并把這個(gè)繪畫風(fēng)格應(yīng)用到一個(gè)新的圖片上。此外，該算法會(huì)尋找一張給出該 CNN 的底層中同種類型激活（activation）的圖像，這些底層會(huì)獲取風(fēng)格的輸入（寬筆觸和立體美感等等）。另外，該算法還會(huì)在更高層產(chǎn)生激活。
這項(xiàng)成果——《A Neural Algorithm of Artistic Style》首次提供了基于神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移的概念證明，但是這種為單張圖像施加風(fēng)格的方法對(duì)計(jì)算的要求很高。
Prisma 的CEO Alexei Moiseyenkov也曾提到，他們打算把應(yīng)用從靜態(tài)圖片擴(kuò)展到視頻領(lǐng)域，但這種拓展將主要有兩個(gè)挑戰(zhàn)：
視頻的數(shù)據(jù)處理量比圖片更大，對(duì)計(jì)算能力的要求將顯著提升。
如何保持幀圖像在時(shí)間軸上的信息一致性，而不是單獨(dú)處理每一幀圖像。
目前最新版本的Prisma也能實(shí)現(xiàn)對(duì)視頻進(jìn)行處理，但是由于手機(jī)計(jì)算能力的限制，其目前無法做到實(shí)時(shí)處理的效果。
對(duì)于這個(gè)問題，我們有請(qǐng)教華南理工大學(xué)在讀博士研究生蔡博倫（主要研究方向是：機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、圖像處理等）他表示：
Prisma是約束兩張圖片在cnn的中間層具有相同的表示，然后再反向傳導(dǎo)回去，是一個(gè)迭代收斂過程。
Google提出的遷移網(wǎng)絡(luò)是直接訓(xùn)練一個(gè)Artistic Style network，它是一個(gè)end-to-end的網(wǎng)絡(luò)，只需前向、不需迭代，所以其可以做到實(shí)時(shí)的風(fēng)格遷移。Prisma則是用了imagenet預(yù)先訓(xùn)練好了的網(wǎng)絡(luò)（也是end-to-end的）。
另外，Prisma的技術(shù)屬于生成網(wǎng)絡(luò)的一種，是從Science 那篇BPL《Human-level concept learning through probabilistic program induction》）開始火起來的一個(gè)深度學(xué)習(xí)方向。Google的方法是工業(yè)上的好方法，Prisma的方法則在學(xué)術(shù)研究上會(huì)更有趣。
另外來自圖普科技的工程師認(rèn)為：
Google此項(xiàng)技術(shù)所利用的網(wǎng)絡(luò)結(jié)構(gòu)和Prisma所利用到的網(wǎng)絡(luò)結(jié)構(gòu)幾乎是一樣的（卷積神經(jīng)網(wǎng)絡(luò)）。最大的不同就是這個(gè)網(wǎng)絡(luò)用了一個(gè)叫"Conditional Instance Normalization"的層來代替原網(wǎng)絡(luò)的"Batch Normalization"。
這篇文章的猜想是，其實(shí)把一張圖片轉(zhuǎn)變成多種風(fēng)格，在計(jì)算上有很多相似的地方，而卷積層起到的作用是提取圖片的風(fēng)格基本元素，而Normalization層的scale & shift參數(shù)對(duì)不同風(fēng)格的轉(zhuǎn)換起著決定性的作用。所以N種風(fēng)格轉(zhuǎn)換的卷積網(wǎng)絡(luò)，它們的卷積核是完全一樣的，唯一的不同就是Normalization層的scale & shift參數(shù)。
Google這篇文章雖然展示了不錯(cuò)的結(jié)果，但是對(duì)背后原理的解釋還停留在猜想階段。
之前版本的Prisma將他們的模型放在云端，所以除了風(fēng)格轉(zhuǎn)換的實(shí)際時(shí)間，還有網(wǎng)絡(luò)傳輸?shù)臅r(shí)間（Prisma的服務(wù)器應(yīng)該在莫斯科）。最新的Prisma iOS版本可以實(shí)現(xiàn)離線風(fēng)格轉(zhuǎn)換，原理是把模型下載到手機(jī)上，然后利用CPU計(jì)算，這樣每對(duì)一張圖片進(jìn)行風(fēng)格化需要6～7秒的時(shí)間。目前現(xiàn)有的技術(shù)可以都可以在GPU上做到實(shí)時(shí)，但是這依然是一個(gè)計(jì)算量非常大的工作（Prisma返回的圖片都是1080P）。
視頻風(fēng)格化和圖片風(fēng)格化的原理是一樣的，因?yàn)橐曨l本質(zhì)上就是一幀幀的圖片。第一代風(fēng)格化技術(shù)很難用在視頻上的原因是因?yàn)槔眠@種方法即使是風(fēng)格化一張圖片在GPU上都要非常長的時(shí)間。
鑒于上面兩位的分析有一定的分歧，雷鋒網(wǎng)另外咨詢了圖森科技的首席科學(xué)家，他表示，
“我的理解和圖普的基本一致，之前Google也有至少兩三個(gè)style transfer工作也都是只要前向傳播不需要迭代。”（雷鋒網(wǎng)注：Google之前就有至少兩三個(gè)style transfer工作也都是只要前向傳播不需要迭代，所以這個(gè)原因很有可能不是它此次“其可以做到實(shí)時(shí)的風(fēng)格遷移?！钡年P(guān)鍵）。
另外，《我是如何用TensorFlow 做出屬于自己的Prisma的？》的作者牟中強(qiáng)則表示：
從各方的評(píng)論及反饋來看，相較于Prisma，Google最新發(fā)布的增強(qiáng)型風(fēng)格遷移算法與其相比有相同點(diǎn)，也有不同點(diǎn)。
相同點(diǎn)
都是基于論文《A Neural Algorithm of Artistic Style》改進(jìn)而來。
所利用到的網(wǎng)絡(luò)結(jié)構(gòu)幾乎是一樣的（卷積神經(jīng)網(wǎng)絡(luò)）。
視頻本質(zhì)上就是一幀幀的圖片，兩者都可以做到。
不同點(diǎn)
最大的不同就是這個(gè)網(wǎng)絡(luò)用了一個(gè)叫"Conditional Instance Normalization"的層來代替原網(wǎng)絡(luò)的"Batch Normalization"。
N種風(fēng)格轉(zhuǎn)換的卷積網(wǎng)絡(luò)，它們的卷積核是完全一樣的，唯一的不同就是Normalization層的scale & shift參數(shù)。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
