雷鋒網(wǎng)AI研習(xí)社【本期論文】

Visual Attribute Transfer through Deep Image Analogy

基于深層圖像類比的視覺(jué)屬性轉(zhuǎn)移

相信不少人都用過(guò)Prisma這個(gè)修圖軟件，它內(nèi)置了20余款藝術(shù)化濾鏡風(fēng)格，能讓手殘黨拍的照片一秒變大師作品，那些藝術(shù)家們經(jīng)常提到的印象派、野獸派、浮世繪、波普、解構(gòu)主義，瞬間變成你的掌中之物。

Prisma修圖前與修圖后

今天要介紹的這篇論文，就是為大家解釋解釋，圖像的風(fēng)格遷移是怎么實(shí)現(xiàn)的。

首先，簡(jiǎn)單介紹一下“照片-風(fēng)格”方面的技術(shù)革新。這是由微軟亞洲研究院視覺(jué)計(jì)算組發(fā)明的一種新的前饋網(wǎng)絡(luò)，適用于接近實(shí)時(shí)結(jié)果的前饋式風(fēng)格轉(zhuǎn)換，可以同時(shí)學(xué)習(xí)多種藝術(shù)風(fēng)格，而訓(xùn)練和運(yùn)行時(shí)間也都有很大的提升。

在這兒，我們用兩張圖片來(lái)做個(gè)示范。圖片1輸入照片， 圖片2是期望得到的風(fēng)格。這一過(guò)程的輸出結(jié)果是將圖片1轉(zhuǎn)變?yōu)閳D片2的風(fēng)格。

照片-圖片風(fēng)格轉(zhuǎn)化

大家都知道，Prisma主要是內(nèi)容和風(fēng)格的合成。但是微軟亞洲研究院的研究員則更進(jìn)一步，將圖像識(shí)別轉(zhuǎn)換的能力進(jìn)行了增強(qiáng)。將風(fēng)格轉(zhuǎn)移問(wèn)題轉(zhuǎn)化為圖像類別問(wèn)題，并提出了Deep PatchMatch算法來(lái)查找圖片中所有像素的對(duì)應(yīng)關(guān)系（dense correspondence）。

它旨在提供創(chuàng)建出語(yǔ)義相似結(jié)果的風(fēng)格轉(zhuǎn)換方法，這意味著輸入/輸出的圖片可能在視覺(jué)上看起來(lái)完全的不同，但是存在一些相似的語(yǔ)義成分，比如阿凡達(dá)的臉和蒙娜麗莎的臉有著相似的語(yǔ)義成分。在這種情況下，學(xué)習(xí)算法識(shí)別到他們都有鼻子，在風(fēng)格傳遞過(guò)程的利用這個(gè)有效的信息。

圖片-圖片相似語(yǔ)義成分

接下來(lái)，視頻為大家分享了三個(gè)關(guān)于圖片和視頻的高科技玩法，第一種是我們熟知的普通照片-風(fēng)格轉(zhuǎn)化，第二種是照片-照片風(fēng)格互換，第三種是特定風(fēng)格化或素描化，第四種是照片-照片顏色轉(zhuǎn)移，現(xiàn)在這些玩法不僅適用在修圖軟件中，還能在視頻中使用。

? 觀看論文解讀大概需要  3  分鐘

學(xué)霸們還請(qǐng)自行閱讀論文以獲得更多細(xì)節(jié)

論文原址：https://arxiv.org/pdf/1705.01088.pdf

Github：https://github.com/msracver/Deep-Image-Analogy

雷鋒網(wǎng)AI研習(xí)社出品系列短視頻《 2 分鐘論文 》，帶大家用碎片時(shí)間閱覽前沿技術(shù)，了解 AI 領(lǐng)域的最新研究成果。歡迎關(guān)注雷鋒網(wǎng)雷鋒字幕組專欄，獲得更多AI知識(shí)~感謝志愿者對(duì)本期內(nèi)容作出貢獻(xiàn)。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。