3
雷鋒網按：本文作者系圖普科技工程師。
在Prisma的應用下載評論區(qū)看到這么一句好玩的話：世界一半人在用《PokemonGO》抓精靈，另一半人在用這個軟件修圖。
圖像編輯軟件早就數不勝數，比如膠片風的VSCO，拼圖美顏的拍立得、美圖秀秀，二次元卡通的魔漫相機、臉萌，自拍美顏的PICSPLAY、美顏相機，主打濾鏡相機的Roookie Cam、MIX濾鏡大師等等，這些現象級產品在這個快速迭代的時代層出不窮， 那么Prisma憑什么在這樣的環(huán)境下殺出重圍？連俄羅斯總理梅德韋杰夫都特地“翻牌”了。
首先，Prisma不是簡單地在原圖上轉換色調或者環(huán)境風格，也不只是利用普通的濾鏡來改變圖像的光線、顏色或者重疊圖片，它會根據你提供的圖片內容和你要求的風格圖片的樣式重新“畫出”一張新的圖片，它并不一定使你變美，但它一定讓你遇見全新的自己（如下，左一為原圖）。
那么，Prisma與人工智能算法Neural art到底怎么回事？Prisma與CNN的具體結合、生成圖片的過程又是怎樣的呢？
Prisma的所做的風格轉換是機器視覺領域一直在研究的一個問題，稱為texture transfer (紋理轉換)，其目標為將源圖片的風格合成進目標圖片中同時保留目標圖片的語意內容。
本質上來說，將圖片的內容和風格分離并不一定是一個定義明確的問題 （Well-defined problem），這是因為并不能準確定義出圖片中的哪部分屬于內容，哪部分屬于風格，很有可能內容與風格是交織在一起，沒有辦法進行分離。
所以圖片的內容和風格是否可以完全分離這還是一個待解的問題，如果可以，那么用什么樣的方法呢？
Prisma背后的技術基于一篇今年CVPR oral文章 “Image Style Transfer Using Convolutional Neural Networks”。
其實早在Prisma引爆大眾市場的半年前，此方法的巧妙及其驚人效果已經引起在學術界引起了廣泛關注。眾所周知在如今的人工智能領域引起革命的深度學習技術已經將眾多任務推向了實用的水平，而Prisma用的技術也不出意外的基于深度神經網絡，它的系統(tǒng)核心是利用神經表征來分離，再組合隨機圖片的內容和風格，以此來實現一個可用來描繪藝術圖像的算法。它的基本想法是利用一個多層的卷積神經網絡（CNN）抽象出給定繪畫作品里一些高級的隱藏特征用來模仿繪畫風格，并把這個繪畫風格應用到一個新的圖片上。
而在紋理轉換領域，之前傳統(tǒng)方法之所以沒能取得這么驚人的效果，其本質原因在于之前非深度學習的方法只能獲取到目標圖片低層次的圖片特征，這導致這些方法無法獨立的對圖片的語意內容和風格的變化進行有效地建模，從而無法很好地對兩者進行解耦和合成。
而深度神經網絡之所以可以在眾多領域中取得驚人效果，正是由于其可以抽取出高層次的信息表征。Prisma所使用的方法之所以能成功，就是很巧妙地利用了深度神經網絡抽取高層圖片表達的能力，能在幾十秒內把一張普通的照片轉變成一副極具藝術特色的現代畫作或者西方名畫風格作品。
下面將采用論文中的兩個示意圖完整剖析其中的奧妙。
正如上文所說，風格轉換需要對圖片的內容和風格進行單獨地表示，上圖中的分別將源圖（風格提供方）和目標圖（內容提供方）輸入到由多層卷積層和池化層組成的深度神經網絡中。對于目標圖直接使用卷積的響應在每一層中進行重建，可視化的結果為紅色框中的結果，可以看出在低層的重建圖像幾乎和目標圖一致，而越高層網絡重建出來的圖像的一些細節(jié)的像素被丟棄而那些圖片高層次的語意內容被保留。而源圖計算每一層的卷積的特征圖（feature maps）的相關系數來重建出風格的特征表示，從綠色框的可視化結果可以看出，這種抽取風格表示的方式在不同網絡層成功提取出不同尺度的風格特征。
上圖講解了深度神經網絡如何對風格和內容表示進行單獨的建模，接下去就可以使用監(jiān)督學習的深度神經網絡進行風格的轉換了。
圖中左右兩邊的網絡用于抽取源圖的風格表示和目標圖的內容表示，而中間的網絡用于對風格進行合成，論文使用的是白噪聲圖片作為啟始圖，思想是通過左右兩個網絡提供的風格和內容表征進行監(jiān)督學習，使得輸入圖片每一層抽取出來的風格表征和高層抽取出來的內容表征和左右兩個網絡相應網絡層重建出來的表征越來越一致，如此通過標準的隨機梯度下降算法，不斷迭代使得白噪聲圖片變成最終想要的合成圖。
使用數學表達去描述上述思想就是需要構造一個損失函數（紅框所示），此損失函數是由風格損失項和內容損失項兩者線性組成，其中alpha和belta分別代表風格和內容的權重比例，若alpha/belta高則生成圖會更凸顯出內容而風格化會少一些，低則生成圖會風格化強烈但是內容被稀釋，這也是Prisma提供用戶調節(jié)的原理所在。（風格損失項和內容損失項的具體細節(jié)可以參見論文。）當有了損失函數，就可以對圖像向量求解梯度，進而使用后項傳遞算法就可以對輸入的圖像不斷進行更新從而進行風格轉換（綠框所示）。
另外，通過在提取圖像風格特征之前先改變圖像的大小，可以通過控制-style_scale參數該從圖像中提取哪種藝術特征。（三幅圖像從左到右，-style_scale＝2.0、1.0、0.5）
除此之外，Prisma還可以使用超過一種風格圖像來混合多種藝術風格。（下圖分別為："The Starry Night" + "The Scream", "The Scream" + "Composition VII"）
或者在使用多個風格圖像的時候，可以控制混合的程度來呈現不同的圖像類型。
還可以在保留顏色的前提下改變圖像風格，比如說，如果你設置參數-original_colors 1，系統(tǒng)輸出的圖片會保留原圖的顏色（如下圖）。
以上就是Prisma背后的全部技術原理，當我們剖析一下發(fā)現其實里面的原理并不復雜，對于熟悉深度學習的人來說，不出一周就可以復現出其中的算法。
但最重要的是體會到此算法成功的核心在于利用了深度學習網絡對于高層語意信息的表達能力，同時巧妙的構造出損失函數，其他的就只是順水推舟的使用深度神經網絡進行求解而已。
比如說，一定要在有網絡狀態(tài)較好、網絡較快的狀態(tài)下才可以使用順暢，因為需要在線加載繪畫風格圖像以及用戶提供的內容圖片需要發(fā)送到遠程的服務器上進行人工智能計算后再傳回來，所以，相對其他修圖軟件，它的圖片編輯速度慢很多，一般都需要等待幾十秒才可以看到預覽效果。
另外，因為所有的圖片處理都是在云端完成，所以會有少部分用戶遇到使用人數過多，服務器過載的情況。
在Prisma出現之前，也有過一款基于深度學習技術的修圖應用：deepart.io，但是deepart卻無法取得像Prisma一樣的成功。
一方面在于其處理一張圖片需要消耗大量的的GPU時間，導致了很多服務器資源開銷，如果用戶愿意承擔這部分費用，處理時間在半小時左右，如果不捐助的話，需要6個小時左右；
另一方面，deepart主要是由大學的研究員做的技術性實驗，并不會投入過多的精力，在風格圖像類型、品牌推廣和商業(yè)化應用上考慮較少。
而Prisma通過優(yōu)化了算法，相對縮短了一大部分的操作時間，并且用戶不需要到網頁提交照片、不需要注冊即可免費使用35種不同繪畫風格的濾鏡，在這個移動互聯網的時代，這樣的移動App更受大眾歡迎。
最近，Prisma推出了Android版，這無疑會帶來更大的用戶量，日活躍度有可能超越200萬人次。據透露，“視頻濾鏡”已經進入內測階段，大約在一周后會發(fā)布，此外，還有可能會推出“GIF藝術濾鏡”、“視頻直播”等功能，創(chuàng)造出“流動的油畫”。
還記得在兩年前，波蘭畫家兼導演dorota kobiela以及奧斯卡獲獎制片人hugh welchman開始籌備一部專門向梵高致敬的手繪油畫電影《loving vincent》，近百名畫師經高強度訓練并每日模仿梵高風格，目前已完成超過 5.6 萬幅繪畫作品。在這部片里，每一幅靜止的畫都是模仿梵·高繪畫風格的油畫，電影每一秒都將用到 12 幅這樣的畫，然后一系列靜止的畫組合在一起快速播放，形成動態(tài)的效果。
如果把Neural art的技術成功應用到視頻上，這部梵高的電影再不需要如此高投入，甚至還“拍攝”任意繪畫風格的電影，將電影與藝術糅合，把自己封印在藝術品里，是件很美的事，就像蒙娜麗莎，在達芬奇的畫中，她的微笑是永恒的。人對美和永恒的追求，這也許是Prisma能這樣迅速奪取人心的深層次原因。
Prisma的意義在于以藝術的名義用流行的方式把深度學習的能力展現給了大眾。雖然如今眾多的人工智能公司使用AI技術去服務大眾，但像Prisma這樣如此火熱的引爆大眾對于如今人工智能技術的驚訝還十分少見。
但我想這只是一個開始，人工智能技術正在向各個領域進發(fā)，無論是高科技領域如自動駕駛，機器人，還是一些偏門的領域，如藝術，社會公益，都會不斷看到人工智能帶來的實惠和驚喜。
也許你第一次使用Prisma的時就被其效果深深的折服。我想說的是，你的驚訝才剛剛開始。
雷鋒網注：題圖來自vishwagujarat.com。本文為雷鋒網獨家約稿文章，轉載請聯系授權并標注出處和作者，不得刪減內容。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
