雷鋒網(wǎng)AI科技評(píng)論按：隨著強(qiáng)化學(xué)習(xí)在機(jī)器人和游戲 AI 等領(lǐng)域的成功，該方法也引起了越來越多的關(guān)注。在近期雷鋒網(wǎng)GAIR大講堂上，來自清華大學(xué)計(jì)算機(jī)系的博士生馮珺，為大家介紹了如何利用強(qiáng)化學(xué)習(xí)技術(shù)，更好地解決自然語言處理中的兩個(gè)經(jīng)典任務(wù)：關(guān)系抽取和文本分類。 本文根據(jù)視頻直播分享整理而成，內(nèi)容若有疏漏，以原視頻嘉賓所講為準(zhǔn)。

視頻回放地址：http://www.mooc.ai/open/course/318

嘉賓所分享的兩個(gè)研究成果分別是：在關(guān)系抽取任務(wù)中，嘗試?yán)脧?qiáng)化學(xué)習(xí)，解決了遠(yuǎn)程監(jiān)督方法自動(dòng)生成的訓(xùn)練數(shù)據(jù)中的噪音問題；在文本分類任務(wù)中，利用強(qiáng)化學(xué)習(xí)得到更好的句子的結(jié)構(gòu)化表示，并利用該表示得到了更好的文本分類效果。本次分享的兩個(gè)工作均發(fā)表于 AAAI2018。

馮珺，清華大學(xué)計(jì)算機(jī)系博士五年級(jí)，師從朱小燕和黃民烈教授，主要研究方向?yàn)橹R(shí)圖譜，強(qiáng)化學(xué)習(xí)。目前已在 AAAI，COLING，WSDM 等國(guó)際會(huì)議上發(fā)表多篇文章。

分享內(nèi)容：

大家好，我是來自清華大學(xué)的馮珺，分享的主題是當(dāng)強(qiáng)化學(xué)習(xí)遇見自然語言處理，分享內(nèi)容主要是以下三方面：

• 強(qiáng)化學(xué)習(xí)基本概念簡(jiǎn)要介紹

• 基于強(qiáng)化學(xué)習(xí)的關(guān)系抽取方法，解決遠(yuǎn)程監(jiān)督方法自動(dòng)生成的訓(xùn)練數(shù)據(jù)中的噪音問題

• 基于強(qiáng)化學(xué)習(xí)的句子結(jié)構(gòu)化表示學(xué)習(xí)方法

強(qiáng)化學(xué)習(xí)的基本概念

狀態(tài)，是agent從環(huán)境中得到的動(dòng)作；agent，是基于它得到的當(dāng)前狀態(tài)后做出相應(yīng)的動(dòng)作。reward ，是環(huán)境給agent 的一個(gè)反饋，收到這個(gè)reward就知道做的這個(gè)動(dòng)作是好還是不好。agent 的目標(biāo)就是選動(dòng)作，將全部reward最大化。

agent會(huì)和環(huán)境做很多的交互，環(huán)境每次做的動(dòng)作可能會(huì)有一個(gè)長(zhǎng)期的影響，而不僅僅是影響當(dāng)前的reward。reward 也有可能延遲。在這里簡(jiǎn)單介紹一下policy的概念。policy是決定一個(gè)agent的動(dòng)作的一個(gè)函數(shù)。

如果讀者對(duì)上述概念還不清楚可以觀看視頻中的迷宮例子：http://www.mooc.ai/open/course/318

我們組做的兩個(gè)工作是關(guān)系抽取和文本分類。

首先是第一個(gè)工作：利用增強(qiáng)學(xué)習(xí)從噪聲數(shù)據(jù)中進(jìn)行關(guān)系抽取 （Reinforcement Learning for Relation Classification from Noisy Data）

任務(wù)背景

關(guān)系分類任務(wù)需要做的是，判斷實(shí)體之間是什么關(guān)系，句子中包含的實(shí)體對(duì)兒是已知的。關(guān)系分類任務(wù)是強(qiáng)監(jiān)督學(xué)習(xí)，需要人工對(duì)每一句話都做標(biāo)注，因此之前的數(shù)據(jù)集比較小。

之前也有人提出Distant Supervision 方法，希望能利用已有資源對(duì)句子自動(dòng)打上標(biāo)簽，使得得到更大的數(shù)據(jù)集。但這種方法是基于已有知識(shí)圖譜中的實(shí)體關(guān)系來對(duì)一句話的實(shí)體關(guān)系進(jìn)行預(yù)測(cè)，它的標(biāo)注未必正確。

這篇文章就是用強(qiáng)化學(xué)習(xí)來解決這個(gè)問題。之前也有一些方法是基于multi-instance learning 的方法來做的。

這樣做的局現(xiàn)性是不能很好處理句級(jí)預(yù)測(cè)。

基于以上不足，我們?cè)O(shè)定了新模型。包括兩個(gè)部分: Instance Selector 和 Relation Calssifier。

這個(gè)模型有兩個(gè)挑戰(zhàn)，第一是不知道每句話的標(biāo)注是否正確‘；第二個(gè)挑戰(zhàn)是怎么將兩個(gè)部分合到一塊 ，讓它們互相影響。

Instance Selector 和 Relation Calssifier 的結(jié)構(gòu)圖

在Instance Selector中的“狀態(tài)”就表示為，當(dāng)前的句子是哪一句，之前選了哪些句子，以及當(dāng)前句子包含的實(shí)體對(duì)兒。

 Relation Classifier 是直接用了一個(gè)CNN的結(jié)構(gòu)得到句子的表示。

模型訓(xùn)練步驟

實(shí)驗(yàn)部分關(guān)于數(shù)據(jù)集和baseline來源

總結(jié)

我們提到一個(gè)新的模型，在有噪聲的情況下也能句子級(jí)別的關(guān)系分類，而不僅僅是bags級(jí)別的關(guān)系預(yù)測(cè)。

第二個(gè)任務(wù)

任務(wù)背景

如果做一個(gè)句子分類，首先要給句子做一個(gè)表示 ，經(jīng)過sentence representation得到句子表示，把“表示”輸入分類器中，最終就會(huì)得到這個(gè)句子屬于哪一類。

傳統(tǒng)的sentence representation 有以下幾個(gè)經(jīng)典模型：

• bag-of-words

• CNN

• RNN

• 加入注意力機(jī)制的方法

以上幾種方法有一個(gè)共同的不足之處，完全沒有考慮句子的結(jié)構(gòu)信息。所有就有第五種 tree-structured LSTM。

不過這種方法也有一定的不足，雖然用到了結(jié)構(gòu)信息，但是用到的是需要預(yù)處理才能得到的語法樹結(jié)構(gòu)。并且在不同的任務(wù)中可能都是同樣的結(jié)構(gòu)，因?yàn)檎Z法都是一樣的。

所以我們希望能夠?qū)W到和任務(wù)相關(guān)的結(jié)構(gòu)，并且基于學(xué)到的結(jié)構(gòu)給句子做表示，從而希望能得到更好的分類結(jié)構(gòu)。但面臨的挑戰(zhàn)是我們并不知道什么樣的結(jié)構(gòu)對(duì)于這個(gè)任務(wù)是好的，我們并沒有一個(gè)結(jié)構(gòu)標(biāo)注能夠指導(dǎo)我們?nèi)W(xué)這個(gè)結(jié)構(gòu)。但我們可以根據(jù)新的結(jié)構(gòu)做出的分類結(jié)果好不好從而判斷這個(gè)結(jié)構(gòu)好不好。

這個(gè)任務(wù)同樣可以建模為強(qiáng)化學(xué)習(xí)問題，用強(qiáng)化學(xué)習(xí)的思想來解。同樣的，在這個(gè)任務(wù)中的reward也是有延遲的，因?yàn)樾枰颜麄€(gè)結(jié)構(gòu)都學(xué)到后，才能得到句子的表示，才能用句子的表示做分類，中間的過程是不知道這個(gè)結(jié)構(gòu)是好的還是不好的。

實(shí)驗(yàn)部分的數(shù)據(jù)集來源

實(shí)驗(yàn)的分類結(jié)果；最后兩行是我們的方法。

總結(jié)

在這個(gè)工作中，我們學(xué)習(xí)了跟任務(wù)相關(guān)的句子結(jié)構(gòu)，基于句子機(jī)構(gòu)得到了不同的句子表示，并且得到個(gè)更好的文本分類方法。我們提出兩種不同的表示方法，ID-LSTM和HS-LSTM。這兩個(gè)表示也得到了很好的分類結(jié)果，得到了非常有意思的和任務(wù)相關(guān)的表示 。

雷鋒網(wǎng)提供視頻直播回放，如果對(duì)文中有不清楚的地方，可點(diǎn)擊觀看視頻 ：http://www.mooc.ai/open/course/318。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。