蒙特利爾大學(xué)研究者改進(jìn)Wasserstein GAN，極大提高GAN訓(xùn)練穩(wěn)定性

本文作者：高云河

2017-04-15 07:36

導(dǎo)語：近日，蒙特利爾大學(xué)的研究者進(jìn)一步改進(jìn)了WGAN，使得WGAN收斂更快，生成質(zhì)量更高，訓(xùn)練穩(wěn)定性更高。

生成對抗網(wǎng)絡(luò)（GAN）是一種強(qiáng)大的生成模型，但是自從2014年Ian Goodfellow提出以來，GAN就存在訓(xùn)練不穩(wěn)定的問題。最近提出的 Wasserstein GAN（WGAN）在訓(xùn)練穩(wěn)定性上有極大的進(jìn)步，但是在某些設(shè)定下仍存在生成低質(zhì)量的樣本，或者不能收斂等問題。

近日，蒙特利爾大學(xué)的研究者們在WGAN的訓(xùn)練上又有了新的進(jìn)展，他們將論文《Improved Training of Wasserstein GANs》發(fā)布在了arXiv上。研究者們發(fā)現(xiàn)失敗的案例通常是由在WGAN中使用權(quán)重剪枝來對critic實施Lipschitz約束導(dǎo)致的。在本片論文中，研究者們提出了一種替代權(quán)重剪枝實施Lipschitz約束的方法：懲罰critic對輸入的梯度。該方法收斂速度更快，并能夠生成比權(quán)重剪枝的WGAN更高質(zhì)量的樣本。

以下為雷鋒網(wǎng)AI科技評論據(jù)論文內(nèi)容進(jìn)行的部分編譯。

論文摘要

生成對抗網(wǎng)絡(luò)（GAN）將生成問題當(dāng)作兩個對抗網(wǎng)絡(luò)的博弈：生成網(wǎng)絡(luò)從給定噪聲中產(chǎn)生合成數(shù)據(jù)，判別網(wǎng)絡(luò)分辨生成器的的輸出和真實數(shù)據(jù)。GAN可以生成視覺上吸引人的圖片，但是網(wǎng)絡(luò)通常很難訓(xùn)練。前段時間，Arjovsky等研究者對GAN值函數(shù)的收斂性進(jìn)行了深入的分析，并提出了Wasserstein GAN（WGAN），利用Wasserstein距離產(chǎn)生一個比Jensen-Shannon發(fā)散值函數(shù)有更好的理論上的性質(zhì)的值函數(shù)。但是仍然沒能完全解決GAN訓(xùn)練穩(wěn)定性的問題。

雷鋒網(wǎng)了解到，在該論文中，蒙特利爾大學(xué)的研究者對WGAN進(jìn)行改進(jìn)，提出了一種替代WGAN判別器中權(quán)重剪枝的方法，下面是他們所做的工作：

通過小數(shù)據(jù)集上的實驗，概述了判別器中的權(quán)重剪枝是如何導(dǎo)致影響穩(wěn)定性和性能的病態(tài)行為的。
提出具有梯度懲罰的WGAN（WGAN with gradient penalty），從而避免同樣的問題。
展示該方法相比標(biāo)準(zhǔn)WGAN擁有更快的收斂速度，并能生成更高質(zhì)量的樣本。
展示該方法如何提供穩(wěn)定的GAN訓(xùn)練：幾乎不需要超參數(shù)調(diào)參，成功訓(xùn)練多種針對圖片生成和語言模型的GAN架構(gòu)

WGAN的critic函數(shù)對輸入的梯度相比于GAN的更好，因此對生成器的優(yōu)化更簡單。另外，WGAN的值函數(shù)是與生成樣本的質(zhì)量相關(guān)的，這個性質(zhì)是GAN所沒有的。WGAN的一個問題是如何高效地在critic上應(yīng)用Lipschitz約束，Arjovsky提出了權(quán)重剪枝的方法。但權(quán)重剪枝會導(dǎo)致最優(yōu)化困難。在權(quán)重剪枝約束下，大多數(shù)神經(jīng)網(wǎng)絡(luò)架構(gòu)只有在學(xué)習(xí)極其簡單地函數(shù)時才能達(dá)到k地最大梯度范數(shù)。因此，通過權(quán)重剪枝來實現(xiàn)k-Lipschitz約束將會導(dǎo)致critic偏向更簡單的函數(shù)。如下圖所示，在小型數(shù)據(jù)集上，權(quán)重剪枝不能捕捉到數(shù)據(jù)分布的高階矩。

蒙特利爾大學(xué)研究者改進(jìn)Wasserstein GAN，極大提高GAN訓(xùn)練穩(wěn)定性

由于在WGAN中使用權(quán)重剪枝可能會導(dǎo)致不良結(jié)果，研究者考慮在訓(xùn)練目標(biāo)上使用Lipschitz約束的一種替代方法：一個可微的函數(shù)是1-Lipschitz，當(dāng)且僅當(dāng)它的梯度具有小于或等于1的范數(shù)時。因此，可以直接約束critic函數(shù)對其輸入的梯度范數(shù)。新的critic函數(shù)為：

蒙特利爾大學(xué)研究者改進(jìn)Wasserstein GAN，極大提高GAN訓(xùn)練穩(wěn)定性

實驗結(jié)果圖&表

研究者們在CIFAR-10數(shù)據(jù)集上將梯度懲罰的WGAN與權(quán)重剪枝的WGAN的訓(xùn)練進(jìn)行了對比。其中橙色曲線的梯度懲罰WGAN使用了與權(quán)重剪枝WGAN相同的優(yōu)化器（RMSProp）和相同的學(xué)習(xí)率。綠色曲線是使用了Adam優(yōu)化器和更高學(xué)習(xí)率的梯度懲罰WGAN。可以看到，即使使用了同樣的優(yōu)化器，該論文中的方法也能更快的收斂并得到更高的最終分?jǐn)?shù)。使用Adam優(yōu)化器能進(jìn)一步提高性能。

蒙特利爾大學(xué)研究者改進(jìn)Wasserstein GAN，極大提高GAN訓(xùn)練穩(wěn)定性

為了展示該方法訓(xùn)練過程中的穩(wěn)定性，研究者在LSUN臥室訓(xùn)練集上訓(xùn)練了多種不同的GAN架構(gòu)，除了DCGAN外，研究者還選擇了另外六種較難訓(xùn)練的架構(gòu)，如下圖所示：

蒙特利爾大學(xué)研究者改進(jìn)Wasserstein GAN，極大提高GAN訓(xùn)練穩(wěn)定性

對于每種架構(gòu)，研究者都使用了四種不同的GAN過程:梯度懲罰的WGAN，權(quán)重剪枝的WGAN，DCGAN，以及最小二乘GAN。對于每種方法，都使用了推薦的優(yōu)化器超參數(shù)默認(rèn)設(shè)置：

WGAN with gradient penalty: Adam (α = .0001, β1 = .5, β2 = .9)
WGAN with weight clipping: RMSProp (α = .00005)
DCGAN: Adam (α = .0002, β1 = .5)
LSGAN: RMSProp (α = .0001) [chosen by search over α = .001, .0002, .0001]

上圖顯示的樣本都是經(jīng)過200k次迭代的結(jié)果。目前為止，梯度懲罰的WGAN是唯一一種使用同一種默認(rèn)超參數(shù)，并在每個架構(gòu)下都成功訓(xùn)練的方法。而所有其他方法，都在一些架構(gòu)下不穩(wěn)定。

使用GAN構(gòu)建語言模型是一項富有挑戰(zhàn)的任務(wù)，很大程度上是因為生成器中離散的輸入輸出序列很難進(jìn)行反向傳播。先前的GAN語言模型通常憑借預(yù)訓(xùn)練或者與監(jiān)督最大似然方法聯(lián)合訓(xùn)練。相比之下，使用該論文的方法，不需采用復(fù)雜的通過離散變量反向傳播的方法，也不需要最大似然訓(xùn)練或fine-tune結(jié)構(gòu)。該方法在Google Billion Word數(shù)據(jù)集上訓(xùn)練了一個字符級的GAN語言模型。生成器是一個簡單的CNN架構(gòu)，通過1D卷積將latent vector轉(zhuǎn)換為32個one-hot字符向量的序列。

下圖展示了模型的一個例子。目前為止，這是第一個完全使用對抗方法進(jìn)行訓(xùn)練，而沒有使用監(jiān)督的最大似然損失的生成語言模型。其中有一些拼寫上的錯誤，這可能是由于模型是每個字符獨立輸出的。

蒙特利爾大學(xué)研究者改進(jìn)Wasserstein GAN，極大提高GAN訓(xùn)練穩(wěn)定性