雷鋒網(wǎng)按：本文作者齊國(guó)君，伊利諾伊大學(xué)電子與計(jì)算機(jī)工程專業(yè)。雷鋒網(wǎng)獲授權(quán)轉(zhuǎn)載，更多AI開發(fā)技術(shù)文章，關(guān)注AI研習(xí)社（微信號(hào)：okweiwu）。

最近很多關(guān)心深度學(xué)習(xí)最新進(jìn)展，特別是生成對(duì)抗網(wǎng)絡(luò)的朋友可能注意到了一種新的GAN-- Wasserstein GAN。其實(shí)在WGAN推出的同時(shí)，一種新的LS-GAN (Loss Sensitive GAN，損失敏感GAN)也發(fā)表在預(yù)印本 [1701.06264] Loss-Sensitive Generative Adversarial Networks on Lipschitz Densities 上。

那這兩種GAN有沒有什么聯(lián)系呢？作為L(zhǎng)S-GAN的作者，筆者就帶大家一覽WGAN和LS-GAN本質(zhì)和聯(lián)系。

GAN前傳和“無限的建模能力”

熟悉經(jīng)典GAN的讀者都知道，GAN是一種通過對(duì)輸入的隨機(jī)噪聲z （比如高斯分布或者均勻分布），運(yùn)用一個(gè)深度網(wǎng)絡(luò)函數(shù)G(z)，從而希望得到一個(gè)新樣本，該樣本的分布，我們希望能夠盡可能和真實(shí)數(shù)據(jù)的分布一致（比如圖像、視頻等）。

在證明GAN能夠做得擬合真實(shí)分布時(shí)，Goodfellow做了一個(gè)很大膽的假設(shè)：用來評(píng)估樣本真實(shí)度的Discriminator網(wǎng)絡(luò)（下文稱D-網(wǎng)絡(luò)）具有無限的建模能力，也就是說不管真實(shí)樣本和生成的樣本有多復(fù)雜，D-網(wǎng)絡(luò)都能把他們區(qū)分開。這個(gè)假設(shè)呢，也叫做非參數(shù)假設(shè)。

當(dāng)然，對(duì)于深度網(wǎng)絡(luò)來說，咱只要不斷的加高加深，這還不是小菜一碟嗎？深度網(wǎng)絡(luò)擅長(zhǎng)的就是干這個(gè)的么。

但是，正如WGAN的作者所指出的，一旦真實(shí)樣本和生成樣本之間重疊可以忽略不計(jì)（這非常可能發(fā)生，特別當(dāng)這兩個(gè)分布是低維流型的時(shí)候），而又由于D-網(wǎng)絡(luò)具有非常強(qiáng)大的無限區(qū)分能力，可以完美地分割這兩個(gè)無重疊的分布，這時(shí)候，經(jīng)典GAN用來優(yōu)化其生成網(wǎng)絡(luò)（下文稱G-網(wǎng)絡(luò)）的目標(biāo)函數(shù)--JS散度-- 就會(huì)變成一個(gè)常數(shù)！

我們知道，深度學(xué)習(xí)算法，基本都是用梯度下降法來優(yōu)化網(wǎng)絡(luò)的。一旦優(yōu)化目標(biāo)為常數(shù)，其梯度就會(huì)消失，也就會(huì)使得無法對(duì)G-網(wǎng)絡(luò)進(jìn)行持續(xù)的更新，從而這個(gè)訓(xùn)練過程就停止了。這個(gè)難題一直一來都困擾這GAN的訓(xùn)練，稱為梯度消失問題。

WGAN來襲

為解決這個(gè)問題，WGAN提出了取代JS散度的Earth-Mover（EM）來度量真實(shí)和生成樣本密度之間的距離。該距離的特點(diǎn)就是，即便用具有無限能力的D-網(wǎng)絡(luò)完美分割真實(shí)樣本和生成樣本,這個(gè)距離也不會(huì)退化成常數(shù)，仍然可以提供梯度來優(yōu)化G-網(wǎng)絡(luò)。不過WGAN的作者給出的是定性的解釋，缺少定量分析，這個(gè)我們?cè)诤竺娼忉孡S-GAN時(shí)會(huì)有更多的分析。

現(xiàn)在，我們把這個(gè)WGAN的優(yōu)化目標(biāo)記下來，下文我們會(huì)把它跟本文的主角LS-GAN 做一番比較。

這里 f-函數(shù)和 g-函數(shù) 分別是WGAN的批評(píng)函數(shù)(critics)和對(duì)應(yīng)的G-網(wǎng)絡(luò)。批評(píng)函數(shù)是WGAN里的一個(gè)概念，對(duì)應(yīng)GAN里的Discriminator。該數(shù)值越高，代表對(duì)應(yīng)的樣本真實(shí)度越大。

好了，對(duì)WGAN就暫時(shí)說到這里?？偨Y(jié)下，由于假設(shè)中的無限建模能力，使得D-網(wǎng)絡(luò)可以完美分開真實(shí)樣本和生成樣本，進(jìn)而JS散度為常數(shù)；而WGAN換JS散度為EM距離，解決了優(yōu)化目標(biāo)的梯度為零的問題。

不過細(xì)心的讀者注意到了，WGAN在上面的優(yōu)化目標(biāo)（12）里，有個(gè)對(duì)f-函數(shù)的限定：它被限定到所謂的Lipschitz連續(xù)的函數(shù)上的。那這個(gè)會(huì)不會(huì)影響到上面對(duì)模型無限建模能力的假設(shè)呢？

其實(shí)，這個(gè)對(duì)f-函數(shù)的Lipschitz連續(xù)假設(shè)，就是溝通LS-GAN和WGAN的關(guān)鍵，因?yàn)長(zhǎng)S-GAN就是為了限制GAN的無限建模能力而提出的。

熟悉機(jī)器學(xué)習(xí)原理的朋友會(huì)知道，一提到無限建模能力，第一反應(yīng)就應(yīng)該是條件反應(yīng)式的反感。為什么呢？無限建模能力往往是和過擬合，無泛化性聯(lián)系在一起的。

仔細(xì)研究Goodfellow對(duì)經(jīng)典GAN的證明后，大家就會(huì)發(fā)現(xiàn)，之所以有這種無限建模能力假設(shè)，一個(gè)根本原因就是GAN沒有對(duì)其建模的對(duì)象--真實(shí)樣本的分布--做任何限定。

換言之，GAN設(shè)定了一個(gè)及其有野心的目標(biāo)：就是希望能夠?qū)Ω鞣N可能的真實(shí)分布都適用。結(jié)果呢，就是它的優(yōu)化目標(biāo)JS散度，在真實(shí)和生成樣本可分時(shí)，變得不連續(xù)，才使得WGAN有了上場(chǎng)的機(jī)會(huì)，用EM距離取而代之。

所以，某種意義上，無限建模能力正是一切麻煩的來源。LS-GAN就是希望去掉這個(gè)麻煩，取而代之以“按需分配”建模能力。

LS-GAN和“按需分配”的建模能力

好，讓我們換個(gè)思路，直接通過限定的GAN的建模能力，得到一種新的GAN模型。這個(gè)就是LS-GAN了。我們先看看LS-GAN的真容：

這個(gè)是用來學(xué)習(xí)損失函數(shù)的目標(biāo)函數(shù)。我們將通過最小化這個(gè)目標(biāo)來得到一個(gè)“損失函數(shù)" (，下文稱之為L(zhǎng)-函數(shù))。L-函數(shù)在真實(shí)樣本上越小越好，在生成的樣本上越大越好。

另外，對(duì)應(yīng)的G-網(wǎng)絡(luò)，通過最小化下面這個(gè)目標(biāo)實(shí)現(xiàn)：

這里注意到，在公式（6）中，對(duì)L-函數(shù)的學(xué)習(xí)目標(biāo) S中的第二項(xiàng)，它是以真實(shí)樣本x和生成樣本的一個(gè)度量為各自L-函數(shù)的目標(biāo)間隔，把x和分開。

這有一個(gè)很大的好處：如果生成的樣本和真實(shí)樣本已經(jīng)很接近，我們就不必要求他們的L-函數(shù)非得有個(gè)固定間隔，因?yàn)?，這個(gè)時(shí)候生成的樣本已經(jīng)非常好了，接近或者達(dá)到了真實(shí)樣本水平。

這樣呢，LS-GAN就可以集中力量提高那些距離真實(shí)樣本還很遠(yuǎn)，真實(shí)度不那么高的樣本上了。這樣就可以更合理使用LS-GAN的建模能力。在后面我們一旦限定了建模能力后，也不用擔(dān)心模型的生成能力有損失了。這個(gè)我們稱為“按需分配”。

上圖就是對(duì)LS-GAN這種對(duì)建模能力”按需“分配的圖示。

有了上面的準(zhǔn)備，我們先把LS-GAN要建模的樣本分布限定在Lipschitz 密度上，即如下的一個(gè)假設(shè)：

那么什么是Lipschitz密度了？簡(jiǎn)而言之，Lipschitz密度就是要求真實(shí)的密度分布不能變化的太快。密度的變化隨著樣本的變化不能無限地大，要有個(gè)度。不過這個(gè)度可以非常非常地大，只要不是無限大就好。

好了，這個(gè)條件還是很弱地，大部分分布都是滿足地。比如，你把一個(gè)圖像調(diào)得稍微亮一些，它看上去仍然應(yīng)該是真實(shí)的圖像，在真實(shí)圖像中的密度在Lipschitz假設(shè)下不應(yīng)該會(huì)有突然地、劇烈地變化。不是嗎？

然后，有了這個(gè)假設(shè)，我就能證明LS-GAN，當(dāng)把L-函數(shù)限定在Lipschitz連續(xù)的函數(shù)類上，它得到地生成樣本地分布和真實(shí)樣本是完全一致！

前面我們說了，經(jīng)典GAN事實(shí)上對(duì)它生成的樣本密度沒有做任何假設(shè)，結(jié)果就是必須給D-網(wǎng)絡(luò)引入無限建模能力，正是這種能力，在完美分割真實(shí)和生成樣本，導(dǎo)致了梯度消失，結(jié)果是引出了WGAN。

現(xiàn)在，我們把LS-GAN限定在Lipschitz密度上，同時(shí)限制住L-函數(shù)的建模能力到Lipschitz連續(xù)的函數(shù)類上，從而證明了LS-GAN得到的生成樣本密度與真實(shí)密度的一致性。

那LS-GAN和WGAN又有什么關(guān)系呢？

細(xì)心的朋友可能早注意到了，WGAN在學(xué)習(xí)f-函數(shù)是，也限定了其f-函數(shù)必須是Lipschitz連續(xù)的。不過WGAN導(dǎo)出這個(gè)的原因呢，是因?yàn)镋M距離不容易直接優(yōu)化，而用它的共軛函數(shù)作為目標(biāo)代替之。

也就是說，這個(gè)對(duì)f-函數(shù)的Lipschitz連續(xù)性的約束，完全是“技術(shù)”上的考慮，沒有太多物理意義上的考量。

而且，WGAN的作者也沒有在他們的論文中證明：WGAN得到的生成樣本分布，是和真實(shí)數(shù)據(jù)的分布是一致的。不過，這點(diǎn)在我們更新的預(yù)印本中給出了明確的證明，如下：

換言之：我們證明了，WGAN在對(duì)f-函數(shù)做出Lipschitz連續(xù)的約束后，其實(shí)也是將生成樣本的密度假設(shè)為了Lipschiz 密度。這點(diǎn)上，和LS-GAN是一致的！兩者都是建立在Lipschitz密度基礎(chǔ)上的生成對(duì)抗網(wǎng)絡(luò)。

好了，讓我們把LS-GAN和WGAN對(duì)L-函數(shù)和f-函數(shù)的學(xué)習(xí)目標(biāo)放在一起仔細(xì)再看一看：

LS-GAN：

WGAN：

形式上來看，LS-GAN和WGAN也有很大區(qū)別。WGAN是通過最大化f-函數(shù)在真實(shí)樣本和生成樣本上的期望之差實(shí)現(xiàn)學(xué)習(xí)的，這種意義上，它可以看做是一種使用“一階統(tǒng)計(jì)量"的方法。

LS-GAN則不同。觀察LS-GAN優(yōu)化目標(biāo)的第二項(xiàng)，由于非線性的函數(shù)的存在，使得我們無法把L-函數(shù)分別與期望結(jié)合，像WGAN那樣得到一階統(tǒng)計(jì)量。因?yàn)槿绱?，才使得LS-GAN與WGAN非常不同。

LS-GAN可以看成是使用成對(duì)的（Pairwise）“真實(shí)/生成樣本對(duì)”上的統(tǒng)計(jì)量來學(xué)習(xí)f-函數(shù)。這點(diǎn)迫使真實(shí)樣本和生成樣本必須相互配合，從而更高效的學(xué)習(xí)LS-GAN。

如上文所述，這種配合，使得LS-GAN能夠按需分配其建模能力：當(dāng)一個(gè)生成樣本非常接近某個(gè)真實(shí)樣本時(shí)，LS-GAN就不會(huì)在過度地最大化他們之間L-函數(shù)地差值，從而LS-GAN可以更有效地集中優(yōu)化那些距離真實(shí)樣本還非常遠(yuǎn)地生成樣本，提高LS-GAN模型優(yōu)化和使用地效率。

梯度消失問題

那LS-GAN是否也能解決經(jīng)典GAN中的梯度消失問題呢？即當(dāng)它的L-函數(shù)被充分訓(xùn)練后，是否對(duì)應(yīng)的G-網(wǎng)絡(luò)訓(xùn)練目標(biāo)仍然可以提供足夠的梯度信息呢？

我們回顧下，在WGAN里，其作者給出G-網(wǎng)絡(luò)的訓(xùn)練梯度，并證明了這種梯度在對(duì)應(yīng)的f-函數(shù)被充分優(yōu)化后，仍然存在。

不過，僅僅梯度存在這點(diǎn)并不能保證WGAN可以提供足夠的梯度信息訓(xùn)練 G-網(wǎng)絡(luò)。為了說明WGAN可以解決梯度消失問題，WGAN的作者宣稱：“G-網(wǎng)絡(luò)的訓(xùn)練目標(biāo)函數(shù)”在對(duì)其網(wǎng)絡(luò)鏈接權(quán)重做限定后， 是接近或者最多線性的。這樣就可以避免訓(xùn)練目標(biāo)函數(shù)飽和，從而保證其能夠提供充足的梯度訓(xùn)練G-網(wǎng)絡(luò)。

好了，問題的關(guān)鍵時(shí)為什么G-網(wǎng)絡(luò)的訓(xùn)練目標(biāo)函數(shù)是接近或者最多線性的，這點(diǎn)WGAN里并沒有給出定量的分析，而只有大致的定性描述，這里我們引用如下：

現(xiàn)在，讓我們回到LS-GAN，看看如何給出一直定量的形式化的分析。在LS-GAN里，我們給出了最優(yōu)的L-函數(shù)的一種非參數(shù)化的解：

這個(gè)定理比較長(zhǎng)，簡(jiǎn)單的來說，就是所有的最優(yōu) L-GAN的解，都是在兩個(gè)分段線性的上界和下界L-函數(shù)之間。如下圖所示：

紅線是上界，綠線是下界。任何解出來最優(yōu)L-函數(shù)，一定在這兩個(gè)分段線性的上下界之間，包括用一個(gè)深度網(wǎng)絡(luò)解出來L-函數(shù)。

也就是說，LS-GAN解出的結(jié)果，只要上下界不飽和，它的得到的L-函數(shù)就不會(huì)飽和。而這里看到這個(gè)L-函數(shù)的上下界是分段線性的。這種分段線性的函數(shù)幾乎處處存在非消失的梯度，這樣適當(dāng)?shù)乜刂芁-函數(shù)地學(xué)習(xí)過程，在這兩個(gè)上下界之間地最優(yōu)L-函數(shù)也不會(huì)出現(xiàn)飽和現(xiàn)象。

好了，這樣我們就給出了WGAN分析梯度消失時(shí)候，缺失的哪個(gè)定量分析了。

最后，我們看看LS-GAN合成圖像的例子，以及和DCGAN的對(duì)比。

看看在CelebA上的結(jié)果：

如果我們把DCGAN和LS-GAN中Batch Normalization 層都去掉，我們可以看到DCGAN模型取崩潰，而LS-GAN仍然可以得到非常好的合成效果：

不僅如此，LS-GAN在去掉batch normalization后，如上圖（b）所示，也沒有看到任何mode collapse現(xiàn)象。

我們進(jìn)一步通過實(shí)驗(yàn)看看、在LS-GAN中L-函數(shù)網(wǎng)絡(luò)過訓(xùn)練后，模型還能不能提供足夠的梯度來訓(xùn)練G-網(wǎng)絡(luò)。

下圖是L-網(wǎng)絡(luò)每次都訓(xùn)練，而G-網(wǎng)絡(luò)每個(gè)1次、3次、5次才訓(xùn)練時(shí)，對(duì)應(yīng)的用來更新G-網(wǎng)絡(luò)的梯度大小(在log scale上)：

我們可以看到：即便當(dāng)L-網(wǎng)絡(luò)相對(duì)G-網(wǎng)絡(luò)多訓(xùn)練若干次后，更新G-網(wǎng)絡(luò)的梯度仍然充分大，而沒有出現(xiàn)梯度消失的問題。

不僅如此，隨著訓(xùn)練的進(jìn)行，我們可以看到，G-網(wǎng)絡(luò)的梯度逐漸增大，一直到一個(gè)相對(duì)比較穩(wěn)定的水平。相對(duì)固定強(qiáng)度的梯度說明了，G-網(wǎng)絡(luò)的訓(xùn)練目標(biāo)函數(shù)，最終非?？赡苁沁_(dá)到一個(gè)接近線性的函數(shù)（這是因?yàn)榫€性函數(shù)的梯度是固定的）。

這個(gè)也進(jìn)一步說明了，LS-GAN定義的G-網(wǎng)絡(luò)的訓(xùn)練目標(biāo)函數(shù)沒有發(fā)生飽和，其定義是合理的，也是足以避免梯度消失問題的。

對(duì)LS-GAN進(jìn)行有監(jiān)督和半監(jiān)督的推廣

LS-GAN和GAN一樣，本身是一種無監(jiān)督的學(xué)習(xí)算法。LS-GAN的另一個(gè)突出優(yōu)點(diǎn)是，通過定義適當(dāng)?shù)膿p失函數(shù)，它可以非常容易的推廣到有監(jiān)督和半監(jiān)督的學(xué)習(xí)問題。

比如，我們可以定義一個(gè)有條件的損失函數(shù)，這個(gè)條件可以是輸入樣本的類別。當(dāng)類別和樣本一致的時(shí)候，這個(gè)損失函數(shù)會(huì)比類別不一致的時(shí)候小。

于是，我們可以得到如下的Conditional LS-GAN (CLS-GAN)

我們可以看看在MNIST, CIFAR-10和SVHN上，針對(duì)不同類別給出的合成圖像的效果：

半監(jiān)督的訓(xùn)練是需要使用完全標(biāo)注的訓(xùn)練數(shù)據(jù)集。當(dāng)已標(biāo)注的數(shù)據(jù)樣本比較有限時(shí)，會(huì)使得訓(xùn)練相應(yīng)模型比較困難。

進(jìn)一步，我們可以把CLS-GAN推廣到半監(jiān)督的情形，即把已標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)聯(lián)合起來使用，利用未標(biāo)記數(shù)據(jù)提供的相關(guān)分布信息來指導(dǎo)數(shù)據(jù)的分類。

為此，我們定義一個(gè)特別的半監(jiān)督的損失函數(shù)：

對(duì)給定樣本x，我們不知道它的具體類別，所以我們?cè)谒锌赡艿念悇e上對(duì)損失函數(shù)取最小，作為對(duì)該樣本真實(shí)類別的一個(gè)最佳的猜測(cè)。這與上面的公式（7）是一致的。

這樣，我們可以相應(yīng)的推廣CLS-GAN，得到如下的訓(xùn)練目標(biāo) 最優(yōu)化損失函數(shù)

該訓(xùn)練目標(biāo)可以通過挖掘各個(gè)類別中可能的變化，幫助CLS-GAN模型合成某類中的更多的“新”的樣本，來豐富訓(xùn)練數(shù)據(jù)集。這樣，即便標(biāo)注的數(shù)據(jù)集比較有限，通過那些合成出來已標(biāo)記數(shù)據(jù)，也可以有效的訓(xùn)練模型。

比如，在下面圖中，CLS-GAN模型通過對(duì)未標(biāo)記MNIST數(shù)據(jù)進(jìn)行分析，可以按類別合成出更多不同書寫風(fēng)格的數(shù)字。

這些數(shù)字可以增加已標(biāo)注的訓(xùn)練數(shù)據(jù)量，進(jìn)一步提供模型準(zhǔn)確度；而更準(zhǔn)確的模型可以進(jìn)一步提供CLS-GAN的合成圖像的準(zhǔn)確性。通過這種彼此不斷的提高，半監(jiān)督的CLS-GAN在只有很少已標(biāo)注訓(xùn)練數(shù)據(jù)下，仍然可以做到準(zhǔn)確的分類。

我們可以看下在SVHN上，當(dāng)只有1000張已標(biāo)注訓(xùn)練數(shù)據(jù)時(shí)分類的準(zhǔn)確度：

下面是在CIFAR-10上，4000張已標(biāo)記數(shù)據(jù)下的分類準(zhǔn)確度。

結(jié)論

那么究竟GAN，WGAN和LS-GAN誰更好呢？持平而論，筆者認(rèn)為是各有千秋。究竟誰更好，還是要在不同問題上具體分析。

這三種方法只是提供了一個(gè)大體的框架，對(duì)于不同的具體研究對(duì)象(圖像、視頻、文本等)、數(shù)據(jù)類型(連續(xù)、離散)、結(jié)構(gòu)（序列、矩陣、張量），應(yīng)用這些框架，對(duì)具體問題可以做出很多不同的新模型。

當(dāng)然，在具體實(shí)現(xiàn)時(shí)，也有非常多的要考慮的細(xì)節(jié)，這些對(duì)不同方法的效果都會(huì)起到很大的影響。畢竟，細(xì)節(jié)是魔鬼！筆者在實(shí)現(xiàn)LS-GAN時(shí)也有很多的具體細(xì)致的問題要克服。一直到現(xiàn)在，我們還在不斷持續(xù)的完善相關(guān)代碼。

對(duì)LS-GAN有興趣的讀者，可以參看我們分享的代碼，并提出改進(jìn)的建議。 對(duì)研究GAN感興趣的讀者，也歡迎聯(lián)系筆者：個(gè)人主頁，一起探討相關(guān)算法、理論。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。