雷鋒網(wǎng) AI科技評論按，近些年來，生成對抗網(wǎng)絡(luò)在許多圖像生成和圖像編輯任務(wù)上都獲得了很大的成功，并受到越來越多的關(guān)注。對于圖像編輯任務(wù)，現(xiàn)在面臨的兩個(gè)重要的挑戰(zhàn)分別是：如何指導(dǎo)網(wǎng)絡(luò)向目標(biāo)圖像學(xué)習(xí)（以提升圖像編輯的效果）和如何感知輸入圖像內(nèi)容（以提升圖像編輯的精度）。

悉尼科技大學(xué) FEIT 三年級博士生，優(yōu)必選悉尼AI研究院訪問學(xué)生，陶大程教授學(xué)生王超岳在雷鋒網(wǎng) AI研習(xí)社主辦的學(xué)術(shù)青年分享會(huì)上結(jié)合他的兩篇論文Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering（IJCAI 2017 Best student paper）和Perceptual Adversarial Networks for Image-to-Image Transformation（arXiv 2017），分享了對圖像編輯做出的相應(yīng)探索。

分享內(nèi)容如下：

常見的圖像編輯有圖像去雨（雪）、圖像填充、素描到照片、風(fēng)格轉(zhuǎn)換、圖像超分辨率、圖像上色、圖像旋轉(zhuǎn)、時(shí)間變換等，抽象來說就是給定一張圖像以及要求，來生成新的圖像。即讓機(jī)器理解圖像和生成圖像。

生成對抗網(wǎng)絡(luò)是由Goodfellow在2014年提出的，算是一種新的網(wǎng)絡(luò)架構(gòu)，可以做有監(jiān)督或無監(jiān)督的學(xué)習(xí)。

基于GANs的圖像編輯框架如下所示：

接下來介紹第一篇論文，用于圖像轉(zhuǎn)換任務(wù)的感知對抗網(wǎng)絡(luò)（Perceptual Adversarial Network，PAN）。

近兩年基于GANs的框架，有很多不同的優(yōu)化，下圖是對Pixel-wise loss、GANs loss和Perceptual loss的對比工作。

Pixel loss優(yōu)點(diǎn)是使用簡單、訓(xùn)練速度快、穩(wěn)定，缺點(diǎn)是輸出圖像模糊，質(zhì)量低。

GAN loss優(yōu)點(diǎn)是能提升生成圖像質(zhì)量，更加真實(shí)，銳利，缺點(diǎn)是學(xué)習(xí)整體生成分布，無法單獨(dú)使用。

Perceptual loss優(yōu)點(diǎn)是注重圖像包含的高維特征，感知效果，缺點(diǎn)是受限于預(yù)訓(xùn)練的其他網(wǎng)絡(luò)。

下面是對提升生成圖像質(zhì)量做出的一些研究，引入不同的loss來生成不同的輸出圖像。

他們希望有新的loss函數(shù)來彌補(bǔ)現(xiàn)有的問題，持續(xù)縮小生成圖像和真實(shí)圖像的差距。基于這樣的想法提出了感知對抗損失。

使用感知對抗損失的理由如下：

感知：衡量生成圖像和真實(shí)圖像的高維特征的差異，并致力于縮小他們。

對抗：當(dāng)現(xiàn)有高維特征的差異小于一定數(shù)值m ，D網(wǎng)絡(luò)被更新以尋找新的高維空間，以進(jìn)一步縮小仍存在的不同。

統(tǒng)一：所有訓(xùn)練統(tǒng)一在一個(gè)GAN框架中，無需引入其他預(yù)訓(xùn)練網(wǎng)絡(luò)，且不受任務(wù)限制。

他們引入感知對抗loss加GAN loss的結(jié)構(gòu)，在這里引入GAN loss來讓生成圖像的整體分布符合真實(shí)圖像的整體分布。

下面是針對于這個(gè)網(wǎng)絡(luò)的相關(guān)實(shí)驗(yàn)，主要有圖像的去雨、從分割后的label的圖像到街景的重現(xiàn)、衛(wèi)星圖到谷歌地圖的轉(zhuǎn)換、圖像補(bǔ)全、素描生成真實(shí)圖像的任務(wù)。

下面是對比圖像去雨雪的任務(wù)，他們的模型在色差的控制等方面都有所提升。

下面是圖像補(bǔ)全任務(wù)，對比CVPR 2016的Context Encoder，PAN能得到更加優(yōu)化的效果。

進(jìn)行Pixel2pixel實(shí)驗(yàn)時(shí)與pix2pix做了對比，也可以看到明顯提升。

解決圖像生成的質(zhì)量之后，還有一個(gè)問題：interpretable。也就是如何解開神經(jīng)網(wǎng)絡(luò)的黑箱，并幫助計(jì)算機(jī)進(jìn)一步理解圖像。

針對于如何在圖像轉(zhuǎn)換過程中理解整個(gè)網(wǎng)絡(luò)，并控制中間層信息的表征，他們提出標(biāo)簽分解生成對抗網(wǎng)絡(luò)(Tag Disentangled Generative Adversarial Networks, TDGAN)，用于進(jìn)行目標(biāo)圖像的再次渲染(Re-rendering)。

給定輸入圖像，里面會(huì)包含一系列的輸入信息，人腦看到之后很容易分理出這些信息，但之前的網(wǎng)絡(luò)很難理解這些信息，因此很難對輸入圖像進(jìn)行精細(xì)編輯，現(xiàn)在他們想要讓網(wǎng)絡(luò)能更進(jìn)一步理解這些信息。

他們提出分解表征法。

解決方案:標(biāo)簽。只要簡單的改變標(biāo)簽，就能很容易生成微笑的圖像。

基于此，他們提出TDGAN，包括下圖四個(gè)子網(wǎng)絡(luò)。

網(wǎng)絡(luò)的框架圖如下：

主要有f1、f2、f3、f4四個(gè)約束項(xiàng)：

這四個(gè)子網(wǎng)絡(luò)采用如下交替訓(xùn)練的形式：

下面是工作相應(yīng)的實(shí)驗(yàn)結(jié)果，給定單張椅子，給定一些想要的角度，可以生成不同角度的效果，另外可以生成人在不同光線及表情下的效果。

下圖是他們在兩個(gè)數(shù)據(jù)集下做的一些任務(wù)?？梢酝ㄟ^給定單張椅子照片，生成不同角度的椅子；也可以控制輸入人臉圖像的多種性質(zhì)，如改變其角度，光照，表情等。

總結(jié)如下：現(xiàn)有的很多方法都是在GANs的框架下，希望提升現(xiàn)有的圖像編輯效果和提升圖像編輯的精度，他們做了以下嘗試，去讓任務(wù)表現(xiàn)更好。

第一是從學(xué)習(xí)的層面，不再只是從像素層面或固定高維空間上去縮小真實(shí)圖像和轉(zhuǎn)換圖像之間的不同，而是利用對抗學(xué)習(xí)的思想去持續(xù)尋找并縮小真實(shí)圖像和轉(zhuǎn)換圖像之間尚存的差異。另一方面，他們希望算法可以更深入的理解圖像，并幫助計(jì)算機(jī)能更加智能，通過提取和分解圖像中包含的各種信息，讓算法可以更精確的編輯圖像，從而得到想要的結(jié)果。

Perceptual Adversarial Networks for Image-to-Image Transformation

論文地址：https://arxiv.org/abs/1706.09138

Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering

論文地址：https://www.ijcai.org/proceedings/2017/0404.pdf

本次分享的視頻如下：

雷鋒網(wǎng) AI科技評論整理編輯。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。