雷鋒網(wǎng)AI科技評(píng)論按：ICLR 2017 將于4月24-26日在法國(guó)土倫舉行，屆時(shí)雷鋒網(wǎng)AI科技評(píng)論的編輯們也將前往法國(guó)帶來(lái)一線報(bào)道。在這個(gè)深度學(xué)習(xí)會(huì)議舉辦之前，雷鋒網(wǎng)也將圍繞會(huì)議議程及論文介紹展開一系列的覆蓋和專題報(bào)道，敬請(qǐng)期待。

今天雷鋒網(wǎng)要介紹的 ICLR2017的oral paper ，紐約大學(xué)和Facebook的聯(lián)合文章《Towards Principled Methods for Training Generative Adversarial Networks（訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)的基本方法）》，作者為一作Martin Arjovsky和Leon Bottou。這篇論文并不是要介紹某個(gè)單一的算法或者公式，而是對(duì)生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練過(guò)程進(jìn)行理論分析，從而使讀者更好的進(jìn)行理解。為了論述最終的結(jié)論，文中描述了幾個(gè)有針對(duì)性的實(shí)驗(yàn)，從而進(jìn)行驗(yàn)證假設(shè)，說(shuō)明要求和量化現(xiàn)象。這篇論文主要分為三個(gè)部分。第一個(gè)部分介紹了目前在深度學(xué)習(xí)上遇到的問(wèn)題；第二個(gè)部分則特別嚴(yán)謹(jǐn)深入的分析和介紹了在訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)的時(shí)候遇到的不穩(wěn)定和飽和的問(wèn)題；第三部分提供了解決問(wèn)題的理論結(jié)合實(shí)踐的新方法。 

自2014年生成對(duì)抗網(wǎng)絡(luò)（GANs）由蒙特利爾大學(xué) Ian Goodfellow等學(xué)者提出以來(lái)，其在生成“看起來(lái)”真實(shí)的圖片上的能力得到了業(yè)內(nèi)的普遍認(rèn)可。其實(shí)GANs還可以利用于解決很多其他的問(wèn)題，比如半監(jiān)督學(xué)習(xí)，3D建模和語(yǔ)音合成和檢測(cè)時(shí)的段落學(xué)習(xí)。然而，GANs真正使用于訓(xùn)練的時(shí)候并沒有那么容易。近期很多論文都在啟發(fā)性的設(shè)計(jì)基于GANs比較穩(wěn)定的模型。但是，目前基本還沒有哪篇論文詳細(xì)的從理論分析GANs訓(xùn)練不穩(wěn)定的真正原因，從根源上解決這種不穩(wěn)定的方法也還沒有出現(xiàn)。

《訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)的基本方法》這篇論文則介紹了其原理性不穩(wěn)定的真正原因。論文介紹了幾個(gè)例子，從公式和推斷層面對(duì)GANs訓(xùn)練的不穩(wěn)定性進(jìn)行了論證?；贕ANs的基本引理和定理，將鑒別器訓(xùn)練越接近最優(yōu)，噪聲便越急劇增長(zhǎng)。從圖中的噪聲曲線也可以看出，隨著訓(xùn)練的進(jìn)行，噪聲的多樣性也在提高，從而最終導(dǎo)致了鑒別器和生成器歸一的速度變慢，GANs網(wǎng)絡(luò)的穩(wěn)定性也在降低。

為了解決GANs網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題，論文提出了打破原理定律的方法——通過(guò)在鑒別器輸入端增加連續(xù)的擾動(dòng)噪聲來(lái)平滑訓(xùn)練產(chǎn)生的噪聲曲線。

ICLR評(píng)論：

ICLR委員會(huì)最終決定

這篇論文對(duì)訓(xùn)練GAN網(wǎng)絡(luò)時(shí)遇到的不穩(wěn)定的問(wèn)題進(jìn)行了細(xì)致的理論分析，并解釋了擾動(dòng)噪聲GANs穩(wěn)定性提高的原理?；谀壳癎AN網(wǎng)絡(luò)使用的廣泛性，這篇論文應(yīng)該可以獲得很好的影響力。

決定：通過(guò)（oral）

高質(zhì)量論文

評(píng)價(jià)：通過(guò)這篇論文，我更好了理解了GANs在很多模型中失敗的原因，并且通過(guò)閱讀這篇論文，我知道了訓(xùn)練GANs更好的方法。根據(jù)文中提到的方法，我在GANs網(wǎng)絡(luò)中增加了一些噪聲，結(jié)果通過(guò)比老方法更少的G迭代，我得到了看起來(lái)非常不錯(cuò)的圖片。并且，實(shí)驗(yàn)也同時(shí)應(yīng)證了新訓(xùn)練的網(wǎng)絡(luò)對(duì)超參數(shù)的敏感度降低的優(yōu)勢(shì)。非常感謝你發(fā)表這篇論文。

非常好的論文

評(píng)價(jià)：我認(rèn)為這篇論文很好的介紹和解釋了GANs，盡管一些實(shí)驗(yàn)之前就被提起過(guò)，但對(duì)GANs出現(xiàn)的問(wèn)題都僅僅停留在“直覺”分析和非正式的說(shuō)辭上，在這篇論文之前，還沒有哪篇文章從理論進(jìn)行解釋。這篇論文很清晰的向?qū)W者了講解了問(wèn)題的來(lái)源和目前提出的方案可行的真正原因。論文直指了GANs之前被過(guò)譽(yù)的部分，我相信這對(duì)設(shè)計(jì)更大規(guī)模的GANs具有很重要的意義。

很好的文章

打分：8分，Top 50%，明確接受

評(píng)價(jià)：這篇文章對(duì)認(rèn)識(shí)訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)的過(guò)程非常有幫助。通過(guò)分析動(dòng)態(tài)GANs網(wǎng)絡(luò)的訓(xùn)練過(guò)程，作者解釋了GANs不穩(wěn)定的原因。更重要的是，文章還提出了引入擾動(dòng)噪聲來(lái)解決問(wèn)題的新方法。我相信這篇論文將會(huì)使更多對(duì)這個(gè)領(lǐng)域感興趣的人加入對(duì)GANs的研究中。

非常有趣的文章

打分：10分，Top 5%，研討會(huì)類型的文章

評(píng)價(jià)：這是一篇關(guān)于神經(jīng)網(wǎng)絡(luò)非常有意義并非常重要的文章。作者介紹的GANs工作的原理和其不穩(wěn)定性都十分的重要。在我看來(lái)，這是關(guān)于GANs最好的一篇論文。因?yàn)樗苯咏鉀Q了GANs出現(xiàn)的第一版中的不穩(wěn)定的問(wèn)題。要知道，在GANs問(wèn)世的初期，它的實(shí)踐性幾乎為零。

原文鏈接：https://openreview.net/forum?id=Hk4_qw5xe&noteId=Hk4_qw5xe 

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。