雷鋒網(wǎng)AI研習(xí)社按：近年來(lái)人工智能與文學(xué)藝術(shù)的結(jié)合日趨緊密，AI自動(dòng)繪畫(huà)、自動(dòng)作曲等方向都成為研究熱點(diǎn)。詩(shī)歌自動(dòng)生成是一項(xiàng)有趣且具有挑戰(zhàn)性的任務(wù)。在本次公開(kāi)課中， 講者將介紹清華自然語(yǔ)言處理與社會(huì)人文計(jì)算實(shí)驗(yàn)室的自動(dòng)作詩(shī)系統(tǒng)，“九歌”，及其相關(guān)的技術(shù)方法和論文。

分享嘉賓：

矣曉沅，清華大學(xué)計(jì)算機(jī)系在讀碩士， 導(dǎo)師為孫茂松教授。主要從事自然語(yǔ)言處理、文本生成方向的研究。研究工作在IJCAI、CoNLL、EMNLP等會(huì)議發(fā)表。

公開(kāi)課回放地址：

http://www.mooc.ai/open/course/545?=Leiphone

分享主題：「九歌」——基于深度學(xué)習(xí)的中國(guó)古典詩(shī)歌自動(dòng)生成系統(tǒng)

分享提綱：

• 任務(wù)背景及“九歌” 作詩(shī)系統(tǒng)簡(jiǎn)介

• 基于顯著性上下文機(jī)制的詩(shī)歌生成

• 基于工作記憶模型的詩(shī)歌生成

• 基于互信息的無(wú)監(jiān)督風(fēng)格詩(shī)歌生成

雷鋒網(wǎng)AI研習(xí)社將其分享內(nèi)容整理如下：

人工智能的概念提出不久后，許多科學(xué)家試圖將人工智能與日常生活相結(jié)合。在 NLP 領(lǐng)域，我們熟悉的有機(jī)器翻譯、專(zhuān)家系統(tǒng)和對(duì)話(huà)系統(tǒng)，而詩(shī)歌屬于人類(lèi)語(yǔ)言中高度凝練，高度藝術(shù)化的體現(xiàn)，幾十年以前便有科學(xué)家試圖讓 AI 具備創(chuàng)作詩(shī)歌的能力。

關(guān)于自動(dòng)詩(shī)歌生成，我們的應(yīng)用主要體現(xiàn)在：

一、娛樂(lè)場(chǎng)景——老百姓可以輕易通過(guò)詩(shī)意的方式去表達(dá)自己的情感；

二、詩(shī)詞教育——了解詩(shī)詞中的關(guān)鍵詞、意象、押韻等元素是如何在詩(shī)詞中起作用的。

三、文學(xué)研究——實(shí)驗(yàn)中關(guān)于詞頻、意象之間的關(guān)系的發(fā)現(xiàn)，能給文學(xué)研究一定的啟發(fā)作用。

四、啟發(fā)其他類(lèi)型文本的生成（歌詞、小說(shuō)……）。

詩(shī)歌的特點(diǎn)是形式上高度凝練、簡(jiǎn)潔、節(jié)奏感強(qiáng)、語(yǔ)義豐富，因此我們認(rèn)為它是自動(dòng)分析、理解和生成文本的理想切入點(diǎn)。

關(guān)于自動(dòng)詩(shī)歌的生成，業(yè)界的研究主要經(jīng)歷了三個(gè)階段：

我們實(shí)驗(yàn)室是在 2016 年初開(kāi)始做這件事情的，我們的九歌系統(tǒng)采用了最新的深度學(xué)習(xí)技術(shù)，結(jié)合多個(gè)為詩(shī)歌生成專(zhuān)門(mén)設(shè)計(jì)的不同模型，基于超過(guò) 30 萬(wàn)首的詩(shī)歌進(jìn)行訓(xùn)練學(xué)習(xí)，能夠產(chǎn)生集句詩(shī)、絕句、藏頭詩(shī)、宋詞等不同體裁的詩(shī)歌。

下面我會(huì)給大家介紹九歌系統(tǒng)背后的幾個(gè)重要模型：

基于顯著性上下文機(jī)制的詩(shī)歌生成

第一個(gè)模型被稱(chēng)作「基于顯著性上下文機(jī)制的詩(shī)歌生成」，在這之前，針對(duì)中國(guó)古典詩(shī)歌自動(dòng)生成的一些工作在新穎性、韻律和關(guān)鍵詞插入有了顯著提升，然而在上下文關(guān)聯(lián)性方面還有所欠缺。前期的試驗(yàn)中，我們發(fā)現(xiàn)這也是自動(dòng)詩(shī)歌生成系統(tǒng)的硬傷部分。

以這首詩(shī)為例子，詩(shī)歌主要以「春風(fēng)」為關(guān)鍵詞，通過(guò) 2016 的某個(gè)模型進(jìn)行生成后，我們發(fā)現(xiàn)上下文的連貫性非常差。明明前兩句描述的是比較和煦的景色，后兩句卻突然轉(zhuǎn)變成比較悲愴的邊塞風(fēng)格。也就是說(shuō)，前半部分與后半部分的主題、風(fēng)格和內(nèi)容完全不一致，而且中間也缺乏必要的過(guò)渡，關(guān)聯(lián)性較差。

為什么模型會(huì)出現(xiàn)這樣的問(wèn)題呢？我們認(rèn)為是因?yàn)橹暗哪Ｐ痛嬖趦煞N不合理的假設(shè)。

第一種是認(rèn)為一首詩(shī)的生成過(guò)程中，歷史信息可以被一個(gè)單獨(dú)的歷史向量存儲(chǔ)和利用。

簡(jiǎn)單來(lái)說(shuō)，就是每生成一句詩(shī)，便將這句詩(shī)的句向量壓縮到歷史向量中，以此類(lèi)推，不停更新歷史向量然后生成詩(shī)句。

這個(gè)假設(shè)會(huì)帶來(lái)很多問(wèn)題：

首先，單獨(dú)的向量的 capasity 并不高，無(wú)法將大量的句子和語(yǔ)義給保存下來(lái)。

第二，語(yǔ)義較好的詞和無(wú)明確語(yǔ)義的詞（如停用詞等）被混到了一起。

第二種不合理的假設(shè)認(rèn)為 seq2seq 機(jī)制可以從一個(gè)無(wú)限長(zhǎng)的歷史序列里探索和利用歷史信息。

這種假設(shè)的好處是可以有區(qū)分性地選擇歷史信息，忽略虛詞。然而隨之而來(lái)的問(wèn)題是，當(dāng)詩(shī)詞的句子數(shù)過(guò)多時(shí)，比如以某宋詞的第十五句作為例子，那么就需要將前面的十四句先拼成很長(zhǎng)的序列作為輸入，這將導(dǎo)致性能的大幅下降。

針對(duì)以上提到的兩項(xiàng)問(wèn)題，我們提出了 salient clue 機(jī)制，通過(guò)機(jī)制實(shí)現(xiàn)更優(yōu)質(zhì)的上下文捕捉。我們的內(nèi)部設(shè)計(jì)邏輯是忽略句子里語(yǔ)義表現(xiàn)較差的部分，如虛詞、停用詞等，從而選擇語(yǔ)義明確的部分來(lái)形成歷史向量，來(lái)指導(dǎo)下文的生成。

【更多關(guān)于 salient clue 機(jī)制的運(yùn)作原理，請(qǐng)回看視頻 00：13：25 處，http://www.mooc.ai/open/course/545?=Leiphone】

無(wú)論是在自動(dòng)評(píng)測(cè)還是人工評(píng)測(cè)上，我們的結(jié)果與之前的模型相比，效果有了顯著的提升。

在人工評(píng)測(cè)的部分，加了 style 的詩(shī)歌在「詩(shī)意」環(huán)節(jié)的表現(xiàn)較差，這是因?yàn)楸粡?qiáng)制控制風(fēng)格以后，最終生成的用詞多樣性也會(huì)變差。

左邊是風(fēng)格的人工評(píng)測(cè)識(shí)別矩陣，對(duì)角線(xiàn)上的數(shù)字越大，說(shuō)明我們的風(fēng)格控制準(zhǔn)確率越高，可以看到，我們的結(jié)果在 70%—90% 之間。右邊是另一項(xiàng)人工評(píng)測(cè)結(jié)果，目的是要檢測(cè)模型選擇的字是否靠譜，我們請(qǐng)了一些專(zhuān)家進(jìn)行人工挑字，與模型進(jìn)行對(duì)比，結(jié)果顯示重合率在 50% 左右，有了明顯的提升。

由于模型較基礎(chǔ)，所以存在的問(wèn)題不少：

一、 字詞的選擇較生硬；

二、 詩(shī)歌流暢性與詩(shī)意性受到影響。

基于工作記憶模型的詩(shī)歌生成

這個(gè)模型借鑒了認(rèn)知心理學(xué)的原理——「工作記憶」。

人們認(rèn)為怎樣的文章才具備連貫性呢？當(dāng)讀者讀到一個(gè)新的句子時(shí)，如果這個(gè)句子能和存儲(chǔ)在讀者大腦工作記憶中的內(nèi)容，或者文章的主題與大意建立關(guān)聯(lián)，那么讀者就認(rèn)為新讀到的這個(gè)句子和上文是連貫的。

有鑒于此，我們便提出了「工作記憶模型」，該模型整體由三種不同的 Memory 組成：

一、 Topic Memory

支持輸入多個(gè)關(guān)鍵詞，可以將用戶(hù)輸入的詞單獨(dú)保存在模型里，這里主要起的是約束詩(shī)歌整體主旨的角色。由于是獨(dú)立保存，所以對(duì)關(guān)鍵詞的輸入順序不做要求，是一項(xiàng)對(duì)用戶(hù)非常友好的行為。

二、 History Memory

與之前提到的 salient clue 機(jī)制相類(lèi)似。

三、 Local Memory

主要保存詩(shī)歌的前一個(gè)句子，因?yàn)橹袊?guó)古典詩(shī)歌的相鄰句子往往有非常強(qiáng)的關(guān)聯(lián)性。

【更多關(guān)于工作記憶模型的運(yùn)作機(jī)制，請(qǐng)回看視頻 00：27：25 處，http://www.mooc.ai/open/course/545?=Leiphone】

 

  

我們的實(shí)驗(yàn)分別生成了律詩(shī)、宋詞和歌詞，實(shí)驗(yàn)結(jié)果與不同模型相比，都有了很大的提升。

這是一張 perplexity 圖，縱軸是 perplexity，橫軸是詩(shī)歌的句子數(shù)目，不同顏色的線(xiàn)則表示 History Memory 的槽數(shù)。

一首詩(shī)歌的句子數(shù)目越多，整體的 perplexity 就越大，因?yàn)榫渥訑?shù)目越多，上下文的關(guān)聯(lián)性越難被確認(rèn)，導(dǎo)致不確定性越大。同時(shí)我們還發(fā)現(xiàn)，History Memory 的槽數(shù)越多，perplexity 就越小，不確定性也隨著變小。

模型的成功之處，在于提升了讀取詞的可解釋性和表達(dá)的靈活性。

基于互信息的無(wú)監(jiān)督風(fēng)格詩(shī)歌生成

針對(duì)第一篇文章工作中存在的風(fēng)格控制問(wèn)題，我們又做了一項(xiàng)「基于互信息的無(wú)監(jiān)督風(fēng)格」的工作。眾所周知，中國(guó)古詩(shī)具有不同的風(fēng)格表達(dá)，其中三個(gè)最有代表性的分別是：邊塞、閨怨和山水田園。

我們希望我們的模型可以做到以下幾個(gè)要求：

一、 給出一個(gè)關(guān)鍵詞，就能生成不同風(fēng)格的詩(shī)歌。

二、 通過(guò)無(wú)監(jiān)督的方式實(shí)現(xiàn)這個(gè)功能。

三、 生成的詩(shī)在其他指標(biāo)上盡量減少損失或者沒(méi)有損失（流暢性、通順性……）

【更多關(guān)于無(wú)監(jiān)督風(fēng)格生成模型的運(yùn)作機(jī)制，請(qǐng)回看視頻 00：36：17 處，http://www.mooc.ai/open/course/545?=Leiphone】 

實(shí)驗(yàn)中我們?cè)O(shè)置了 10 種不同的風(fēng)格，每種風(fēng)格分別生成一組詩(shī)，最后我們統(tǒng)計(jì)詩(shī)歌的詞頻。 

右邊是人類(lèi)評(píng)測(cè)的結(jié)果，對(duì)角線(xiàn)越明顯，說(shuō)明風(fēng)格的識(shí)別率越高。一下生成十種風(fēng)格的詩(shī)歌，還能取得這么高的識(shí)別率，說(shuō)明實(shí)驗(yàn)的結(jié)果非常好。

以上是生成的一些詩(shī)歌例子。

最后，歡迎大家前往試用我們的系統(tǒng)，多多給我們提寶貴的意見(jiàn)，后續(xù)我們會(huì)根據(jù)大家的反饋持續(xù)改進(jìn)我們的系統(tǒng)。

左下角是我的個(gè)人郵箱，歡迎大家隨時(shí)跟我取得聯(lián)系，今天我的分享就到此結(jié)束，謝謝大家！

以上就是本期嘉賓的全部分享內(nèi)容。更多公開(kāi)課視頻請(qǐng)到雷鋒網(wǎng)AI研習(xí)社社區(qū)（https://club.leiphone.com/）觀(guān)看。關(guān)注微信公眾號(hào)：AI 研習(xí)社（okweiwu），可獲取最新公開(kāi)課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。