生成對抗網(wǎng)絡(luò)（GANs ）為什么這么火？盤點(diǎn)它誕生以來的主要技術(shù)進(jìn)展

本文作者：三川

2016-12-27 22:23

導(dǎo)語：生成對抗網(wǎng)絡(luò) 2014-2016 的里程碑研究

兩年前，蒙特利爾大學(xué) Ian Goodfellow 等學(xué)者提出“生成對抗網(wǎng)絡(luò)”（Generative Adversarial Networks，GANs）的概念，并逐漸引起 AI 業(yè)內(nèi)人士的注意。其實(shí)，直到 2015 年，生成對抗網(wǎng)絡(luò)還稱不上是炙手可熱。但自今年（2016）以來，學(xué)界、業(yè)界對 GANs 的興趣出現(xiàn)“井噴”：

多篇重磅論文陸續(xù)發(fā)表；
Facebook、Open AI 等 AI 業(yè)界巨頭也加入對 GANs 的研究；
它成為今年 12 月 NIPS 大會當(dāng)之無愧的明星——在會議大綱中被提到逾 170 次；
GANs之父” Ian Goodfellow 被公推為人工智能的頂級專家；
業(yè)內(nèi)另一位大牛 Yan Lecun 也對它交口稱贊，稱其為“20 年來機(jī)器學(xué)習(xí)領(lǐng)域最酷的想法”。

現(xiàn)在，雷鋒網(wǎng)獲得消息，就連蘋果也跳上了 GANs 的彩車：蘋果有史以來第一篇公開發(fā)表的 AI 論文，講的是如何更好地利用 GANs，來訓(xùn)練 AI 圖像識別能力。這是繼蘋果本月初在 NIPS 大會上宣布“將對外公布 AI 研究成果”之后，為兌現(xiàn)諾言做出的行動(dòng)。

那么，GANs 是如何從一個(gè)原本“不溫不火”的技術(shù)，成為今天人工智能的主要課題之一？

雷鋒網(wǎng)對此進(jìn)行了梳理，歸納了 GANs 從誕生到現(xiàn)在如何一步步走向技術(shù)成熟。以下是它發(fā)展路線中的大事件（主要研究進(jìn)展）：

1. GANs 誕生

生成對抗網(wǎng)絡(luò)（GANs ）為什么這么火？盤點(diǎn)它誕生以來的主要技術(shù)進(jìn)展

Ian Goodfellow

2014 年 6 月，Ian Goodfellow 等學(xué)者發(fā)表了論文《Generative Adversarial Nets》，題目即“生成對抗網(wǎng)絡(luò)”，這標(biāo)志著 GANs 的誕生。文中，Ian Goodfellow 等作者詳細(xì)介紹了 GANs 的原理，它的優(yōu)點(diǎn)，以及在圖像生成方面的應(yīng)用。

那么，什么是 GANs？

用 Ian Goodfellow 自己的話來說：

“生成對抗網(wǎng)絡(luò)是一種生成模型（Generative Model），其背后基本思想是從訓(xùn)練庫里獲取很多訓(xùn)練樣本，從而學(xué)習(xí)這些訓(xùn)練案例生成的概率分布。

而實(shí)現(xiàn)的方法，是讓兩個(gè)網(wǎng)絡(luò)相互競爭，‘玩一個(gè)游戲’。其中一個(gè)叫做生成器網(wǎng)絡(luò)（ Generator Network），它不斷捕捉訓(xùn)練庫里真實(shí)圖片的概率分布，將輸入的隨機(jī)噪聲（Random Noise）轉(zhuǎn)變成新的樣本（也就是假數(shù)據(jù)）。另一個(gè)叫做判別器網(wǎng)絡(luò)（Discriminator Network），它可以同時(shí)觀察真實(shí)和假造的數(shù)據(jù)，判斷這個(gè)數(shù)據(jù)到底是不是真的。”

對不熟悉 GANs 的讀者，這番解釋或許有些晦澀。因此，雷鋒網(wǎng)特地找來 AI 博主 Adit Deshpande 的解釋，更加清楚直白：

“GANs 的基本原理是它有兩個(gè)模型：一個(gè)生成器，一個(gè)判別器。判別器的任務(wù)是判斷給定圖像是否看起來‘自然’，換句話說，是否像是人為（機(jī)器）生成的。而生成器的任務(wù)是，顧名思義，生成看起來‘自然’的圖像，要求與原始數(shù)據(jù)分布盡可能一致。

GANs 的運(yùn)作方式可被看作是兩名玩家之間的零和游戲。原論文的類比是，生成器就像一支造假幣的團(tuán)伙，試圖用假幣蒙混過關(guān)。而判別器就像是警察，目標(biāo)是檢查出假幣。生成器想要騙過判別器，判別器想要不上當(dāng)。當(dāng)兩組模型不斷訓(xùn)練，生成器不斷生成新的結(jié)果進(jìn)行嘗試，它們的能力互相提高，直到生成器生成的人造樣本看起來與原始樣本沒有區(qū)別?！?/p>

更多“什么是 GANs ？”的詳細(xì)解說，請參考雷鋒網(wǎng)整理的 Ian Goodfellow NIPS 大會 ppt 演講，Yan Lecun 演講，以及香港理工大學(xué)博士生李嫣然的 “GANs 最新進(jìn)展”特約稿。

早期的 GANs 模型有許多問題。Yan Lecun 指出，其中一項(xiàng)主要缺陷是：GANs 不穩(wěn)定，有時(shí)候它永遠(yuǎn)不會開始學(xué)習(xí)，或者生成我們認(rèn)為合格的輸出。這需要之后的研究一步步解決。

2. 拉普拉斯金字塔（Laplacian Pyrami）的應(yīng)用

GANs 最重要的應(yīng)用之一，是生成看起來‘自然’的圖像，這要求對生成器的充分訓(xùn)練。以下是 Ian Goodfellow 等人的 2014 年論文中，生成器輸出的樣本：

生成對抗網(wǎng)絡(luò)（GANs ）為什么這么火？盤點(diǎn)它誕生以來的主要技術(shù)進(jìn)展

可以看出，生成器在生成數(shù)字和人臉圖像方面做得不錯(cuò)。但是，使用 CIFAR-10 數(shù)據(jù)庫生成的風(fēng)景、動(dòng)物圖片十分模糊。這是 GANs 早期的主要局限之一。

2015 年 6 月 Emily Denton 等人發(fā)表的研究《Deep Generative Image Models using Lapalacian Pyramid of Adversarial Networks》（“深度圖像生成模型：在對抗網(wǎng)絡(luò)應(yīng)用拉普拉斯金字塔”）改變了這一點(diǎn)。研究人員提出，用一系列的卷積神經(jīng)網(wǎng)絡(luò)（CNN）連續(xù)生成清晰度不斷提高的圖像，能最終得到高分辨率圖像。該模型被稱為 LAPGANs 。

其中的拉普拉斯金字塔，是指同一幅圖像在不同分辨率下的一系列過濾圖片。與此前 GAN 架構(gòu)的區(qū)別是：傳統(tǒng)的 GAN 只有一個(gè) 生成器 CNN，負(fù)責(zé)生成整幅圖像；而在拉普拉斯金字塔結(jié)構(gòu)中，金字塔的每一層（某特定分辨率），都有一個(gè)關(guān)聯(lián)的 CNN。每一個(gè) CNN 都會生成比上一層 CNN 更加清晰的圖像輸出，然后把該輸出作為下一層的輸入。這樣連續(xù)對圖片進(jìn)行升采樣，每一步圖像的清晰度都有提升。

生成對抗網(wǎng)絡(luò)（GANs ）為什么這么火？盤點(diǎn)它誕生以來的主要技術(shù)進(jìn)展

拉普拉斯金字塔結(jié)構(gòu)圖像生成示意

這產(chǎn)生了一個(gè)新概念：有條件生成對抗網(wǎng)絡(luò)（conditional GAN，CGAN)，指的是它有多個(gè)輸入：低分辨率圖片和噪音矢量。該研究生成的高質(zhì)量圖片，在 40% 的情況下被真人裁判當(dāng)做真實(shí)圖像。

對該研究的意義，李嫣然評論道：它將 GAN 的學(xué)習(xí)過程變成了“序列式” 的——不要讓 GAN 一次學(xué)完全部的數(shù)據(jù)，而是讓 GAN 一步步完成這個(gè)學(xué)習(xí)過程。

3. 利用 GANs 把文字轉(zhuǎn)化為圖像

把文字轉(zhuǎn)化為圖像，比起把圖像轉(zhuǎn)為文字（讓 AI 用文字概括、描述圖像）要難得多。一方面是近乎無限的像素排列方式；另一方面，目前沒人知道如何把它分解，比如像（圖像轉(zhuǎn)為文字任務(wù)中）預(yù)測下一個(gè)詞那樣。

2016 年 6 月，論文《Generative Adversarial Text to Image Synthesis》（“GANs 文字到圖像的合成”）問世。它介紹了如何通過 GANs 進(jìn)行從文字到圖像的轉(zhuǎn)化。比方說，若神經(jīng)網(wǎng)絡(luò)的輸入是“粉色花瓣的花”，輸出就會是一個(gè)包含了這些要素的圖像。該任務(wù)包含兩個(gè)部分：1. 利用自然語言處理來理解輸入中的描述。2. 生成網(wǎng)絡(luò)輸出一個(gè)準(zhǔn)確、自然的圖像，對文字進(jìn)行表達(dá)。

為實(shí)現(xiàn)這些目標(biāo)，生成器和判別器都使用了文字編碼技術(shù)：通過循環(huán)文字編碼器（recurrent text encoder）生成的文字屬性，來作為條件對 GAN 進(jìn)行訓(xùn)練（詳情參考論文）。這使得 GAN 能夠在輸入的文字描述和輸出圖像之間建立相關(guān)性聯(lián)系。

生成對抗網(wǎng)絡(luò)（GANs ）為什么這么火？盤點(diǎn)它誕生以來的主要技術(shù)進(jìn)展

原理示意

該任務(wù)中，GAN 其實(shí)完成了兩件任務(wù)：1.生成自然、說得過去的圖像；2.圖像必須與文字描述有相關(guān)性。

生成對抗網(wǎng)絡(luò)（GANs ）為什么這么火？盤點(diǎn)它誕生以來的主要技術(shù)進(jìn)展

利用 GAN, GAN-CLS, GAN-INT,GAN-INT-CLS 生成的結(jié)果示意。GT 是真實(shí)圖像，從左到右三組圖像的任務(wù)分別是：1.全黑色的鳥，粗圓的鳥嘴；2.黃胸、棕冠、黑眉的小鳥；3. 藍(lán)冠、藍(lán)羽、黑頰的超小鳥，嘴小、踝骨小、爪小。

4. GANs 應(yīng)用于超分辨率（Super Resolution）

這是推特 Cortex 研究團(tuán)隊(duì)進(jìn)行的一項(xiàng)研究，在今年 9 月發(fā)表。它的主要貢獻(xiàn)是開發(fā)出全新的損失函數(shù)（loss function），使得 GANs 能對大幅降采樣后的圖像，恢復(fù)它的生動(dòng)紋理和小顆粒細(xì)節(jié)。

對于不熟悉超分辨率的雷鋒網(wǎng)讀者，它是一個(gè)能把低分辨率圖像重建為高清圖像的技術(shù)。在機(jī)器學(xué)習(xí)中，實(shí)現(xiàn)超分辨率需要用成對樣本對系統(tǒng)進(jìn)行訓(xùn)練：一個(gè)是原始高清圖像，一個(gè)是降采樣后的低分辨率圖像。本研究中，低分圖像被作為輸入喂給生成器，它重建出高分辨率圖像。然后，重建圖片和原始圖片被一起交給判別器，來判斷哪一幅是原始圖像。

該研究中的損失函數(shù)可分為兩個(gè)部分：對抗損失（adversarial loss ）和內(nèi)容損失（content loss）。在較高層面上，對抗損失使圖像看起來更自然；內(nèi)容損失則保證重建圖像與低分辨率原始圖像有相似的特點(diǎn)。其中，對抗損失和傳統(tǒng)的 GANs 應(yīng)用類似，創(chuàng)新的是內(nèi)容損失。該研究中的內(nèi)容損失，可被看作為重建的高分辨率圖像和原始高分圖像之間特征圖（feature map）的歐式距離（Euclidean distance）損失。而 GAN 的損失函數(shù)是對抗損失和內(nèi)容損失的加權(quán)和。對原文感興趣的讀者，請點(diǎn)這里。

生成對抗網(wǎng)絡(luò)（GANs ）為什么這么火？盤點(diǎn)它誕生以來的主要技術(shù)進(jìn)展

左欄是原始圖像，右三欄是 GANs 重建的高分圖像。

以上是 GANs 2014-2016 發(fā)展期間的主要里程碑。但讀者們注意，2016 年以來，GANs 的研究應(yīng)用層出不窮。以上只是最具代表性的幾個(gè)，不代表其他 GANs 研究就沒有價(jià)值。

值得一說的是，今年 6 月一篇關(guān)于深度卷積 GANs （Deep Convolutional Generative Adversarial Networks， DCGAN）的論文在業(yè)內(nèi)引發(fā)強(qiáng)烈反響：《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》（“使用深度卷積 GANs 進(jìn)行無監(jiān)督表征學(xué)習(xí)”）。研究人員們發(fā)現(xiàn)，用大規(guī)模數(shù)據(jù)庫訓(xùn)練出的 GANs 能學(xué)習(xí)一整套層級的特征（a hierarchy of features），并具有比其他無監(jiān)督學(xué)習(xí)模型更好的效果。而此前使用 CNN 訓(xùn)練 GANs 的嘗試大多以失敗告終。當(dāng)研究人員修改架構(gòu)創(chuàng)造出 DCGAN，他們能夠看到神經(jīng)網(wǎng)絡(luò)在每一層級學(xué)習(xí)到的過濾器。Yan Lecun 評論道，這打開了 GANs 的“黑箱”。

最后，我們來看看在大神 Yan Lecun 眼里，GANs 為什么這么重要：