雷鋒網(wǎng) AI 科技評(píng)論按：自生成式對(duì)抗性網(wǎng)絡(luò) GANs 出現(xiàn)以來，它和它的變體已經(jīng)無數(shù)次在圖像生成任務(wù)中證明了自己的有效性，也不斷地吸引著越來越多的研究人員加入到提高GANs訓(xùn)練的可控性和穩(wěn)定性的研究中。

最初，由于其中的一個(gè)缺陷，GANs在文本生成方面無法得到有效的應(yīng)用。得益于該團(tuán)隊(duì)之前發(fā)表的SeqGAN，GANs在文本生成上有了可能，不過表現(xiàn)并沒有圖像生成任務(wù)中那么突出。主要問題之一就是，生成器 G 從鑒別器 D 獲得的反饋中含有的信息量太少，不足以有效地引導(dǎo) G 更新、提升文本生成質(zhì)量，尤其是當(dāng)文本長度較長的時(shí)候。

這就引出了下面這個(gè)問題：如果讓鑒別器反饋更多信息給生成器，是否能夠有效地改善生成器在長句生成任務(wù)中的表現(xiàn)呢？上海交通大學(xué)俞勇教授、張偉楠助理教授及學(xué)生郭家賢、盧思迪、蔡涵聯(lián)合UCL計(jì)算機(jī)系汪軍教授共同完成的論文「Long Text Generation via Adversarial Training with Leaked Information」（通過有信息泄露的對(duì)抗性訓(xùn)練生成長文本）中，他們就對(duì)長句子的文本生成這個(gè)問題進(jìn)行了研究，找到了答案，提出了行之有效的方法,為對(duì)抗網(wǎng)絡(luò)廣泛用在機(jī)器人問答，自動(dòng)生成新聞，和機(jī)器翻譯等應(yīng)用中提供了可能性。

生成式對(duì)抗性網(wǎng)絡(luò)（GANs）最初是為生成圖像之類的連續(xù)數(shù)據(jù)設(shè)計(jì)的。之前該小組提出的 SeqGAN 等模型可以處理分段的序列離散數(shù)據(jù)，這樣就可以為對(duì)抗網(wǎng)絡(luò)文本生成提供了可能，展現(xiàn)出了一些有潛力的成果。由于英文文本是天然地分為一個(gè)一個(gè)詞的，逐詞的文本生成任務(wù)可以被建模為一個(gè)序列決策過程，對(duì)于其中的每一步，當(dāng)前狀態(tài)是已經(jīng)生成的詞，行為是即將要生成的詞，生成式網(wǎng)絡(luò) G 就是一個(gè)把當(dāng)前狀態(tài)映射到行為空間分布的隨機(jī)策略。當(dāng)整句文本生成結(jié)束之后，生成的這個(gè)句子就會(huì)被送入鑒別器 D，它經(jīng)過訓(xùn)練之后能夠把真實(shí)的文本和生成的文本區(qū)分開，區(qū)分的結(jié)果就會(huì)作為 G 的得到的回報(bào)，引導(dǎo)它更新。

SeqGAN之后，研究人員們提出了許多把 GANs 及其變體用于文本生成的方法。然而，這些研究結(jié)果往往局限于生成的文本較短的情況（比如20個(gè)詞以內(nèi)），更困難的長文本生成方面則沒有看到多少研究。在新聞報(bào)道、產(chǎn)品說明的自動(dòng)生成這種實(shí)際任務(wù)中，長文本生成能力是不可或缺的。目前基于序列決策的文本生成方法中有一個(gè)很大的不足，那就是來自鑒別器 D 的概率標(biāo)量反饋信號(hào)是稀疏的，因?yàn)槲谋倦m然是由 G 在多輪行動(dòng)中逐個(gè)詞生成的，但只有當(dāng)整個(gè)句子都生成完畢后 G 才能收到來自 D 的反饋信號(hào)。而且，G 本應(yīng)是在 D 的指導(dǎo)下更新自己的策略的，但 D 對(duì)這整段文字的反饋是一個(gè)標(biāo)量，信息量極為有限，不足以保留過程中的句法結(jié)構(gòu)和文本語意，也就無法有效地幫助 G 學(xué)習(xí)更新。

一方面，為了增加來自鑒別器 D 的信息量，它應(yīng)當(dāng)在最終的判別反饋值之外提供更多的指導(dǎo)信息，畢竟 D 是一個(gè)結(jié)構(gòu)已知的、經(jīng)過訓(xùn)練的 CNN網(wǎng)絡(luò)，而不是一個(gè)黑箱子，完全有可能讓 D 提供更多的信息。另一方面，來自 D 的指導(dǎo)信息仍然是稀疏的，為了緩解這個(gè)問題，作者們想到了利用文本生成中的層次性，即：真實(shí)的文本樣本都是遵照語意結(jié)構(gòu)和詞性之類的語言層次而寫出的。通過把整個(gè)文本生成任務(wù)按照層次結(jié)構(gòu)分解成多個(gè)子任務(wù)，模型就能夠更輕松地進(jìn)行學(xué)習(xí)。

在這篇論文中，作者們就沿著以上的思路，提出了名為 LeakGAN 的模型結(jié)構(gòu)，同時(shí)處理 D 反饋信息量不足和反饋稀疏的兩個(gè)問題。LeakGAN 就是一種讓鑒別器 D 提供更多信息給生成器 G 的新方式。

如圖所示，為了利用從D中泄露出的高維信息，作者們參考DeepMind在ICML2017中發(fā)表的FeUdal Network設(shè)計(jì)了一個(gè)層次化的生成器 G，其中包含了一個(gè)高階的 Manager 模塊和低階的 Worker 模塊。Manager 模塊是一個(gè) LSTM 網(wǎng)絡(luò)，它起到的作用是信息中介。在每一輪生成新一個(gè)單詞的過程中，Manager 模塊都會(huì)從鑒別器 D 接收到高維特征表征，比如 D 的CNN網(wǎng)絡(luò)中的feature map，然后 Manager 模塊就會(huì)利用這些信息形成指導(dǎo)目標(biāo)（goal），作用于當(dāng)前的 Worker 模塊。由于 D 和 G 的角色本來是對(duì)抗性的，D 中的信息只應(yīng)當(dāng)保留在自己內(nèi)部；但現(xiàn)在有一些 D 中的信息被“泄露”給 G 了，好像間諜一樣，所以作者們把它命名為 LeakGAN。

接著，當(dāng) Manager 模塊生成了目標(biāo)嵌入（goal embedding）之后，Worker 模塊會(huì)把當(dāng)前已生成的單詞用另一個(gè) LSTM 網(wǎng)絡(luò)編碼，然后把 LSTM 的輸出和目標(biāo)嵌入結(jié)合起來，以確保能夠綜合依據(jù) Manager 的指導(dǎo)和當(dāng)前狀態(tài)生成一個(gè)合適的新單詞。通過這樣的過程，來自 D 的反饋信息就不僅僅表現(xiàn)為整句話生成完成后的判別結(jié)果的那個(gè)標(biāo)量，更在這句話的生成過程中就通過目標(biāo)嵌入向量的方式提供了許多信息，指導(dǎo) G 提升自己的表現(xiàn)。

據(jù)作者們介紹，這是首個(gè)GAN框架中通過泄露信息的方式來更好地訓(xùn)練生成器，并且結(jié)合了層次化強(qiáng)化學(xué)習(xí)來解決長文本生成問題的研究。

根據(jù)作者們的設(shè)計(jì)，生成器中 Manager 模塊接收來自 D 的特征向量、生成目標(biāo)嵌入以及 Worker 模塊結(jié)合當(dāng)前句子和目標(biāo)生成新單詞的整個(gè)過程都是可微的，所以REINFROCE這樣的策略梯度算法可以被直接端到端地（end to end）用于訓(xùn)練 G。但是，由于Manager 模塊和Worker模塊被期望能專注于各自的任務(wù)以識(shí)別到有意義的特征，所以正如FeUdal Network中的做法，Manager 模塊和 Worker 模塊是被單獨(dú)訓(xùn)練的，其中 Manager 模塊要能從鑒別器的特征空間中預(yù)測到更有價(jià)值的方向，而 Worker 模塊沿著這個(gè)方向做出行動(dòng)的話就會(huì)收到獎(jiǎng)勵(lì)。訓(xùn)練時(shí)， Manager 模塊和 Worker 模塊也是交替更新的，每次都是固定一個(gè)、更新另一個(gè)。

并且，作者們也仔細(xì)設(shè)計(jì)了訓(xùn)練方法來應(yīng)對(duì)一般的 GAN 訓(xùn)練中容易出現(xiàn)的問題，比如當(dāng) D 比 G 強(qiáng)很多的時(shí)候會(huì)出現(xiàn)梯度消失的問題。受到 RankGAN 中排序方法的啟發(fā)，他們提出了一個(gè)簡單高效、基于排名的方法“自舉再激活”（Bootstrapped Rescaled Activation）來調(diào)整 D 的反饋大小。經(jīng)過這個(gè)轉(zhuǎn)換后，每個(gè)mini-batch得到的反饋的期望和差值會(huì)成為常數(shù)，這個(gè)方法就相當(dāng)于是一個(gè)值穩(wěn)定器，當(dāng)算法對(duì)數(shù)值大小很敏感的時(shí)候能夠起到很大幫助；而且，作為排序方法，它也能避免梯度消失的問題，這加速了模型的收斂。

作者們還采取了交替訓(xùn)練（Interleaved Training）的方法來避免模式崩潰（mode collapse）的問題，即，在預(yù)訓(xùn)練之后，不是像以往一樣全部由對(duì)抗式訓(xùn)練直到收斂，而是讓監(jiān)督學(xué)習(xí)訓(xùn)練和對(duì)抗式訓(xùn)練交替進(jìn)行。這種做法的意義是能夠幫助模型避開不好的局部最小值，并避免模式崩潰。另一方面，加入的監(jiān)督學(xué)習(xí)訓(xùn)練也是對(duì)生成模型的一種隱式正則化，避免模型行為偏離監(jiān)督學(xué)習(xí)的結(jié)果太遠(yuǎn)。

訓(xùn)練曲線如圖，可以看到，LeakGAN 的負(fù)對(duì)數(shù)似然下降得比以往的方法都要快得多；在文本長度為40的狀況下，以往的方法甚至很難收斂。

作者們基于生成的數(shù)據(jù)和真實(shí)數(shù)據(jù)做了許多的實(shí)驗(yàn)。在基于生成的數(shù)據(jù)的實(shí)驗(yàn)中，LeakGAN 在20到40詞長度的文本序列中取得了比以往模型明顯更低的負(fù)對(duì)數(shù)似然。（表1）

在基于真實(shí)數(shù)據(jù)的實(shí)驗(yàn)中，作者們選用了 EMNLP 2017 WMT新聞、COCO圖像標(biāo)注和中文詩詞分別作為長、中、短的文本語料，LeakGAN也取得了最高了BLEU分?jǐn)?shù)。（表2、3、4）

在人類圖靈測試中，LeakGAN也比以往模型取得了明顯提高。（表5）

作者們還對(duì) Manager 模塊和 Worker 模塊之間的互動(dòng)行為做了深入的研究，結(jié)果表明 LeakGAN 在沒有顯式給出句子結(jié)構(gòu)的情況下可以隱式地學(xué)到句子結(jié)構(gòu)，比如標(biāo)點(diǎn)符號(hào)、時(shí)態(tài)和長后綴。

下面是一個(gè)該模型生成文本例子與之前工作的對(duì)比：

研究的具體細(xì)節(jié)可以參見原論文 https://arxiv.org/abs/1709.08624 ，論文中有豐富的附錄介紹了訓(xùn)練過程中的數(shù)據(jù)，提供了不少生成的句子，并且提供了模型代碼。

此外，我們也邀請(qǐng)到了論文作者之一的張偉楠到雷鋒網(wǎng)做公開課，講解這篇論文的成果以及用GANs做文本生成相關(guān)研究的更多狀況。

張偉楠現(xiàn)于上海交通大學(xué)計(jì)算機(jī)系和約翰·霍普克羅夫特研究中心擔(dān)任助理教授，研究方向?yàn)闄C(jī)器學(xué)習(xí)及其在數(shù)據(jù)挖掘問題中的應(yīng)用。他于2011年畢業(yè)于上海交通大學(xué)計(jì)算機(jī)系A(chǔ)CM班，于2016年獲得英國倫敦大學(xué)學(xué)院計(jì)算機(jī)系博士學(xué)位，研究成果在國際一流學(xué)術(shù)會(huì)議和期刊上發(fā)表50篇論文，其中5次以第一作者身份在ACM國際數(shù)據(jù)科學(xué)會(huì)議KDD上發(fā)表；2016年獲得由微軟研究院評(píng)選的“全球SIGKDD Top 20科研新星”稱號(hào)；2017年獲得ACM國際信息檢索會(huì)議SIGIR的最佳論文提名獎(jiǎng)。他曾在KDD-Cup用戶個(gè)性化推薦大賽獲得全球季軍，在全球大數(shù)據(jù)實(shí)時(shí)競價(jià)展示廣告出價(jià)算法大賽獲得最終冠軍。個(gè)人研究主頁：http://wnzhang.net/ 

公開課時(shí)間為9月28日周四晚20：00，感興趣的讀者可以掃碼報(bào)名，到時(shí)不要錯(cuò)過哦！

論文相關(guān)內(nèi)容雷鋒網(wǎng) AI 科技評(píng)論編譯，感謝張偉楠助理教授、汪軍教授對(duì)本文的補(bǔ)充指正。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。