雷鋒網(wǎng)AI研習(xí)社按：關(guān)系抽取是自然語言處理中的重要任務(wù)，也是從文本中挖掘知識的基本途徑之一。深度學(xué)習(xí)在關(guān)系抽取中的研究在近幾年取得了廣泛關(guān)注，其中基于遠距離監(jiān)督、帶有注意力機制的神經(jīng)網(wǎng)絡(luò)模型成為解決問題的主要方法。在本次公開課中，講者將梳理神經(jīng)模型在關(guān)系抽取中的發(fā)展脈絡(luò)，并分享相關(guān)領(lǐng)域的最新工作進展。

分享嘉賓：

韓旭，清華大學(xué)計算機系在讀博士，導(dǎo)師是劉知遠副教授，主要研究方向為自然語言處理，知識獲取等。其研究工作曾在 AAAI、COLING、EMNLP 等發(fā)表。

公開課回放地址：

http://www.mooc.ai/open/course/548?=Leiphone

分享主題：神經(jīng)關(guān)系抽取模型

分享提綱：

• 深度學(xué)習(xí)在關(guān)系抽取上的發(fā)展脈絡(luò)。

• 基于注意力機制的神經(jīng)關(guān)系抽取模型的剖析。

• 相關(guān)領(lǐng)域的最新工作進展的介紹。

雷鋒網(wǎng)AI研習(xí)社將其分享內(nèi)容整理如下：

今天主要講關(guān)系抽取領(lǐng)域的神經(jīng)模型的發(fā)展近況，首先，給大家科普一下背景知識。

關(guān)系抽取屬于信息抽取領(lǐng)域的子任務(wù)，主要的功能是讓機器從一句話中抽出給定實體，并厘清相應(yīng)關(guān)系，主要用于拓展知識圖譜，把無結(jié)構(gòu)的自由文本變成結(jié)構(gòu)化數(shù)據(jù)。

在傳統(tǒng)任務(wù)當中，我們會把關(guān)系抽取當作分類過濾器，先人為定義好關(guān)系，接著輸入標注好實體的文本，然后判斷文本屬于定義關(guān)系中的哪一類。在某種程度上我們可以認為這是一個有監(jiān)督的分類問題。

到了 2013 年，神經(jīng)網(wǎng)絡(luò)模型被運用到關(guān)系抽取領(lǐng)域里，也就是將句子作為特征放到神經(jīng)網(wǎng)絡(luò)里，通過神經(jīng)網(wǎng)絡(luò)習(xí)得特征來做分類。

這些模型存在一個問題，那就是需要大量的高質(zhì)量數(shù)據(jù)和人力投入，代價較高，因此在推廣上面臨困難。

為了解決這個問題，遠程監(jiān)督的概念應(yīng)運而生，它引入了這么一個假設(shè)：兩個實體如果在外部的知識圖譜中存在關(guān)系，那么包含該實體的句子就是圖譜中的對應(yīng)關(guān)系。通過這種啟發(fā)式的方法，機器可以自動標注許多數(shù)據(jù)，再用于訓(xùn)練分類器做關(guān)系抽取。

遠程監(jiān)督的優(yōu)勢在于無需人工操作，且能普適大規(guī)模數(shù)據(jù)，然而卻面臨著噪音問題。

怎么解決這個噪音問題呢？

第一個方法是引入多實例學(xué)習(xí)，將所有包含同樣實體的句子放到一個包（bag）里，在有需要時對包里的句子進行特征提取，進而預(yù)測實體之間的關(guān)系。

2015 年的一項工作把遠程監(jiān)督與多實例學(xué)習(xí)結(jié)合起來，從那時開始，關(guān)系抽取領(lǐng)域的關(guān)鍵模型基本上都由遠程監(jiān)督+多實例學(xué)習(xí)+神經(jīng)網(wǎng)絡(luò)組成。

注意力機制模型

這是我們實驗室一個學(xué)長在 2016 年開展的一項工作，主要針對多實例學(xué)習(xí)中存在的噪音問題，通過引入注意力機制給包（bag）下的句子賦予權(quán)重，有效增強預(yù)測效果。

【更多關(guān)于注意力機制模型的運作原理，請回看視頻 00：16：53 處，http://www.mooc.ai/open/course/548?=Leiphone】

 

 

從實驗結(jié)果上看，添加注意力機制確實可以有效提升模型的效果。（黑線為增加了注意力機制的模型）

 

從 2016 年開始，關(guān)系抽取領(lǐng)域的關(guān)鍵模型在原來的遠程監(jiān)督+多實例學(xué)習(xí)+神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，再增加一個注意力機制。

拓展模型

一、 引入實體的描述信息來構(gòu)建注意力機制

該工作將句子中的實體與對應(yīng)的描述文本的詞向量進行處理后得到兩個特征，接著對兩個特征做減法獲得潛在關(guān)系，最后把潛在關(guān)系作為注意力機制的向量。

二、 引入軟標注機制

為了解決錯誤標注的問題，該工作給每個關(guān)系設(shè)置一個置信度，訓(xùn)練的過程中一旦發(fā)現(xiàn)預(yù)測的關(guān)系與原來標注的不一致，且置信度比原來的要高的話，就會默認原來的標注存在問題，并以新的預(yù)測關(guān)系進行替代。

三、 引入對抗訓(xùn)練

通過刻意給句子制造噪音，無形中增強模型的抗噪能力。

四、 抽取多個實體之間的關(guān)系

針對一大段文本中的多對實體進行關(guān)系抽取。這是業(yè)界未來一個可能的研究熱點，因為和我們?nèi)祟惾粘５恼J知機制比較接近。

五、 融入知識表示模型

將知識圖譜模型與關(guān)系抽取模型放在一塊做聯(lián)合訓(xùn)練，進而作為注意力機制起降噪作用。在這過程中，文本還可協(xié)助圖譜進行完善和校正。

六、 融入知識圖譜的結(jié)構(gòu)信息

通過引入知識圖譜的關(guān)系層次結(jié)構(gòu)（主副關(guān)系等），構(gòu)建一個從粗粒度到細粒度的注意力機制特征。

七、 跨語言關(guān)系的抽取

該工作的核心思路在于利用不同語言之間的注意力機制，給彼此的文本做跨語言的權(quán)衡計算?？缯Z言關(guān)系抽取的好處在于，可以有效利用語言之間的互補性，比如中文里較少的關(guān)系特征數(shù)據(jù)，可用英文數(shù)據(jù)來進行補充。

八、 跨語言關(guān)系的抽取（升級版）

通過設(shè)立單獨語義空間和跨語言統(tǒng)一空間，并引入對抗訓(xùn)練，優(yōu)化最終跨語言關(guān)系的提取效果。

九、 基于 few-shot learning 的研究場景

為了解決遠距離監(jiān)督的長尾數(shù)據(jù)問題，該工作通過構(gòu)建一個人工標注的少樣本數(shù)據(jù)集，讓機器可以通過較少的樣例進行學(xué)習(xí)推理。不過該工作目前更多應(yīng)用在圖像領(lǐng)域，自然語言領(lǐng)域有較大的發(fā)展空間。

最后給大家推薦一些相關(guān)資源。

前三項是我們組發(fā)完論文后的一些模型實現(xiàn)，后兩項則是一些零零散散的工作開源代碼。

我今天的分享就到此為止，謝謝大家！

以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請到雷鋒網(wǎng)AI研習(xí)社社區(qū)（https://club.leiphone.com/）觀看。關(guān)注微信公眾號：AI 研習(xí)社（okweiwu），可獲取最新公開課直播時間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。