雷鋒網(wǎng)按：本文作者何之源，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)碩士在讀，研究人工智能計(jì)算機(jī)視覺方向。本文由雷鋒網(wǎng)獨(dú)家首發(fā)。

一、一個(gè)神奇的網(wǎng)站

前些日子在Qiita上看到了一篇神奇的帖子：Girl Friend Factory 機(jī)械學(xué)習(xí)で彼女を創(chuàng)る Qiita。帖子里面提到利用GAN，通過(guò)文字描述來(lái)生成二次元圖像。這篇文章的作者還把他的想法搭建成了一個(gè)網(wǎng)站（網(wǎng)站地址：Girl Friend Factory），大概長(zhǎng)下面這樣：

我之前也寫過(guò)一篇文章介紹了如何利用GAN生成簡(jiǎn)單的二次元人物頭像，但那只是完全的隨機(jī)生成，你無(wú)法控制生成出的人物的屬性。但這篇Qiita的帖子不一樣，我們可以指定生成人物的屬性，如發(fā)色、眼睛的顏色、發(fā)型，甚至是服裝、裝飾物，從而生成具有指定屬性的圖像。

這個(gè)網(wǎng)站提供的屬性非常多，我簡(jiǎn)單地把它們翻譯了一下：

我會(huì)在后面詳細(xì)地介紹它的實(shí)現(xiàn)原理，在那之前，我們先來(lái)試著玩一玩這個(gè)網(wǎng)站。

進(jìn)入網(wǎng)站后，首先要等待模型加載（注意：這個(gè)網(wǎng)站國(guó)內(nèi)可能出現(xiàn)連接不上的問(wèn)題，需要自行解決。另外網(wǎng)站大概會(huì)下載70M左右的模型，需要耐心等待。）加載好后，點(diǎn)擊上方的“無(wú)限ガチャ”（無(wú)限ガチャ實(shí)際上是“無(wú)限扭蛋器”的意思），就可以進(jìn)行生成了。

先生成一個(gè)金發(fā)+碧眼，多次點(diǎn)擊生成按鈕可以生成多個(gè)，效果還可以：

再生成黑發(fā)＋碧眼試試：

右擊圖像可以“注冊(cè)為喜歡”，實(shí)際上就是一個(gè)收藏的功能。收藏之后可以"生成一覧"中找到。

另外，收藏圖片后，點(diǎn)擊上方的"屬性モーフィング"還可以對(duì)屬性做微調(diào)，如這里我可以更改發(fā)色：

點(diǎn)擊上方的"合成"按鈕，你甚至可以把兩個(gè)人物合成同一個(gè)！如下圖所示：

二、基本原理

上面的網(wǎng)站的原理是什么呢？原作者也提到了，其實(shí)就源于Generative Adversarial Text to Image Synthesis這篇論文。接下來(lái)就一起看一下它是怎么做的。

我們的目標(biāo)實(shí)際上是通過(guò)“文字”生成“圖像”。為此我們需要解決以下兩個(gè)問(wèn)題：

• 如何把文字描述表示成合適的向量。

• 如何利用這個(gè)描述向量生成合適的圖片。

其中，第一個(gè)問(wèn)題是用了之前一篇論文中的技術(shù)，這里就不細(xì)講了。假設(shè)文字描述為t，我們可以通過(guò)一個(gè)函數(shù)φ將其轉(zhuǎn)換為一個(gè)向量φ(t)。

第二個(gè)問(wèn)題，如何利用向量φ(t)生成合適的圖像？這就是GAN的工作，文中GAN的結(jié)構(gòu)如下圖所示：

對(duì)比原始的GAN結(jié)構(gòu)，這里對(duì)生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D的輸入部分做了更改：

• 對(duì)于圖像生成網(wǎng)絡(luò)G，原來(lái)是接收一個(gè)無(wú)意義的噪聲z，輸出一個(gè)圖像G(z)。而這里不僅接收噪聲z，還接收文字描述向量φ(t)，用這兩部分共同生成一個(gè)圖像G(z, φ(t))。

• 對(duì)于判別網(wǎng)絡(luò)D，原來(lái)是接收?qǐng)D像x, 輸出打分D(x)，現(xiàn)在不僅接收?qǐng)D像x，還接收文字描述φ(t)。最后輸出打分D(x, φ(t))

這實(shí)際上就是一個(gè)條件GAN(conditional GAN)。只需要簡(jiǎn)單地更改一下原始GAN的結(jié)構(gòu)就可以完成。到了這里，就可以直接訓(xùn)練了，也可以完成我們文字 >圖片的生成任務(wù)。但是直接訓(xùn)練的生成圖片的質(zhì)量不是很好，對(duì)此作者又提出了兩點(diǎn)改進(jìn)。

三、改進(jìn)一：GANCLS（針對(duì)判別器Ｄ的改進(jìn)）

為什么直接訓(xùn)練的效果不好？仔細(xì)想一下，我們會(huì)發(fā)現(xiàn)，在原始的GAN中，判別網(wǎng)絡(luò)D只需要做一件事情，即判斷生成的圖片是否正常。但在這里，判別網(wǎng)絡(luò)D需要做兩件事情，一是和原始的GAN一樣，判斷圖片是否正常，二是判斷生成的圖片是否符合文字描述。

因此，我們對(duì)原來(lái)的訓(xùn)練步驟做一些改進(jìn)。不僅給D提供生成的圖片和真實(shí)的圖片兩類樣本，還給D提供真實(shí)圖片 + 虛假描述的樣本，強(qiáng)化Ｄ的訓(xùn)練效果，強(qiáng)迫D判斷生成的圖片是否真的符合文字描述。具體的訓(xùn)練步驟如下：

我們可以看到，Ｄ的梯度由三部分構(gòu)成：sr, sw, sf。sr是真實(shí)圖片＋正確文字。sw是真實(shí)圖片 + 錯(cuò)誤描述。sf是G生成的圖片 + 正確描述。這樣就可以加快Ｄ的訓(xùn)練進(jìn)程，提高訓(xùn)練效率。

四、改進(jìn)二：GANINT（針對(duì)G的改進(jìn)）

要理解這部分改進(jìn)，首先要明白，我們只使用了sf訓(xùn)練生成網(wǎng)絡(luò)G（見上面的圖片）。sf是什么呢？它只和G生成的圖片、正確的文字描述兩項(xiàng)有關(guān)系，也就是說(shuō)，sf是和真實(shí)圖片樣本無(wú)關(guān)的。因此，我們可不可以用一種方法，增加正確文字描述的樣本數(shù)呢？

答案是可以，因?yàn)槲覀冎挥玫搅宋淖置枋龅那度毽?t)，在嵌入空間中我們實(shí)際是可以做一些簡(jiǎn)單的加減運(yùn)算的。

設(shè)一個(gè)文字描述是φ(t1)，另一個(gè)文字描述是φ(t2)，我們可以得到他們的一個(gè)內(nèi)插值aφ(t1) +(1a)φ(t2)。其中0<a<1。這樣的內(nèi)插實(shí)際上是得到了兩個(gè)文字描述的某種“中間態(tài)”，為我們增加了樣本數(shù)量。

我們知道，對(duì)于深度學(xué)習(xí)，樣本數(shù)量越多，效果就會(huì)越好，因此這里的GANINT是對(duì)效果的提升有幫助的，實(shí)驗(yàn)中驗(yàn)證了這一點(diǎn)。

作者把上面的兩種改進(jìn)合在一起，就成了GANINTCLS，也是這篇文章的最終方法。

放一張論文作者實(shí)驗(yàn)的圖，他是做了花的生成，最上面一行是Ground Truth，下面依次是GAN，GANCLS，GANINT，GANINTCLS：

五、參考資料

Girl Friend Factory 機(jī)械學(xué)習(xí)で彼女を創(chuàng)る Qiita

Girl Friend Factory

Conditional Generative Adversarial Nets

Generative Adversarial Text to Image Synthesis

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。