雷鋒網(wǎng)AI研習社按：關系抽取是自然語言處理中的重要任務，也是從文本中挖掘知識的基本途徑之一。深度學習在關系抽取中的研究在近幾年取得了廣泛關注，其中基于遠距離監(jiān)督、帶有注意力機制的神經(jīng)網(wǎng)絡模型成為解決問題的主要方法。在本次公開課中，講者將梳理神經(jīng)模型在關系抽取中的發(fā)展脈絡，并分享相關領域的最新工作進展。

分享嘉賓：

韓旭，清華大學計算機系在讀博士，導師是劉知遠副教授，主要研究方向為自然語言處理，知識獲取等。其研究工作曾在 AAAI、COLING、EMNLP 等發(fā)表。

公開課回放地址：

http://www.mooc.ai/open/course/548?=Leiphone

分享主題：神經(jīng)關系抽取模型

分享提綱：

• 深度學習在關系抽取上的發(fā)展脈絡。

• 基于注意力機制的神經(jīng)關系抽取模型的剖析。

• 相關領域的最新工作進展的介紹。

雷鋒網(wǎng)AI研習社將其分享內(nèi)容整理如下：

今天主要講關系抽取領域的神經(jīng)模型的發(fā)展近況，首先，給大家科普一下背景知識。

關系抽取屬于信息抽取領域的子任務，主要的功能是讓機器從一句話中抽出給定實體，并厘清相應關系，主要用于拓展知識圖譜，把無結構的自由文本變成結構化數(shù)據(jù)。

在傳統(tǒng)任務當中，我們會把關系抽取當作分類過濾器，先人為定義好關系，接著輸入標注好實體的文本，然后判斷文本屬于定義關系中的哪一類。在某種程度上我們可以認為這是一個有監(jiān)督的分類問題。

到了 2013 年，神經(jīng)網(wǎng)絡模型被運用到關系抽取領域里，也就是將句子作為特征放到神經(jīng)網(wǎng)絡里，通過神經(jīng)網(wǎng)絡習得特征來做分類。

這些模型存在一個問題，那就是需要大量的高質(zhì)量數(shù)據(jù)和人力投入，代價較高，因此在推廣上面臨困難。

為了解決這個問題，遠程監(jiān)督的概念應運而生，它引入了這么一個假設：兩個實體如果在外部的知識圖譜中存在關系，那么包含該實體的句子就是圖譜中的對應關系。通過這種啟發(fā)式的方法，機器可以自動標注許多數(shù)據(jù)，再用于訓練分類器做關系抽取。

遠程監(jiān)督的優(yōu)勢在于無需人工操作，且能普適大規(guī)模數(shù)據(jù)，然而卻面臨著噪音問題。

怎么解決這個噪音問題呢？

第一個方法是引入多實例學習，將所有包含同樣實體的句子放到一個包（bag）里，在有需要時對包里的句子進行特征提取，進而預測實體之間的關系。

2015 年的一項工作把遠程監(jiān)督與多實例學習結合起來，從那時開始，關系抽取領域的關鍵模型基本上都由遠程監(jiān)督+多實例學習+神經(jīng)網(wǎng)絡組成。

注意力機制模型

這是我們實驗室一個學長在 2016 年開展的一項工作，主要針對多實例學習中存在的噪音問題，通過引入注意力機制給包（bag）下的句子賦予權重，有效增強預測效果。

【更多關于注意力機制模型的運作原理，請回看視頻 00：16：53 處，http://www.mooc.ai/open/course/548?=Leiphone】

 

 

從實驗結果上看，添加注意力機制確實可以有效提升模型的效果。（黑線為增加了注意力機制的模型）

 

從 2016 年開始，關系抽取領域的關鍵模型在原來的遠程監(jiān)督+多實例學習+神經(jīng)網(wǎng)絡模型基礎上，再增加一個注意力機制。

拓展模型

一、 引入實體的描述信息來構建注意力機制

該工作將句子中的實體與對應的描述文本的詞向量進行處理后得到兩個特征，接著對兩個特征做減法獲得潛在關系，最后把潛在關系作為注意力機制的向量。

二、 引入軟標注機制

為了解決錯誤標注的問題，該工作給每個關系設置一個置信度，訓練的過程中一旦發(fā)現(xiàn)預測的關系與原來標注的不一致，且置信度比原來的要高的話，就會默認原來的標注存在問題，并以新的預測關系進行替代。

三、 引入對抗訓練

通過刻意給句子制造噪音，無形中增強模型的抗噪能力。

四、 抽取多個實體之間的關系

針對一大段文本中的多對實體進行關系抽取。這是業(yè)界未來一個可能的研究熱點，因為和我們?nèi)祟惾粘５恼J知機制比較接近。

五、 融入知識表示模型

將知識圖譜模型與關系抽取模型放在一塊做聯(lián)合訓練，進而作為注意力機制起降噪作用。在這過程中，文本還可協(xié)助圖譜進行完善和校正。

六、 融入知識圖譜的結構信息

通過引入知識圖譜的關系層次結構（主副關系等），構建一個從粗粒度到細粒度的注意力機制特征。

七、 跨語言關系的抽取

該工作的核心思路在于利用不同語言之間的注意力機制，給彼此的文本做跨語言的權衡計算?？缯Z言關系抽取的好處在于，可以有效利用語言之間的互補性，比如中文里較少的關系特征數(shù)據(jù)，可用英文數(shù)據(jù)來進行補充。

八、 跨語言關系的抽?。ㄉ壈妫?/span>

通過設立單獨語義空間和跨語言統(tǒng)一空間，并引入對抗訓練，優(yōu)化最終跨語言關系的提取效果。

九、 基于 few-shot learning 的研究場景

為了解決遠距離監(jiān)督的長尾數(shù)據(jù)問題，該工作通過構建一個人工標注的少樣本數(shù)據(jù)集，讓機器可以通過較少的樣例進行學習推理。不過該工作目前更多應用在圖像領域，自然語言領域有較大的發(fā)展空間。

最后給大家推薦一些相關資源。

前三項是我們組發(fā)完論文后的一些模型實現(xiàn)，后兩項則是一些零零散散的工作開源代碼。

我今天的分享就到此為止，謝謝大家！

以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請到雷鋒網(wǎng)AI研習社社區(qū)（https://club.leiphone.com/）觀看。關注微信公眾號：AI 研習社（okweiwu），可獲取最新公開課直播時間預告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。