雷鋒網(wǎng) AI 科技評(píng)論按，在去年的 EMNLP2018 上，由孫茂松教授領(lǐng)導(dǎo)的清華大學(xué)自然語言處理實(shí)驗(yàn)室發(fā)布了一個(gè)大規(guī)模精標(biāo)注關(guān)系抽取數(shù)據(jù)集 FewRel。據(jù)了解，這是目前最大的精標(biāo)注關(guān)系抽取數(shù)據(jù)集。

該數(shù)據(jù)集包含 100 個(gè)類別、70,000 個(gè)實(shí)例，全面超越了以往的同類精標(biāo)注數(shù)據(jù)集。FewRel 不僅可以應(yīng)用在經(jīng)典的監(jiān)督/遠(yuǎn)監(jiān)督關(guān)系抽取任務(wù)中，在新興的少次學(xué)習(xí)（few-shot learning）任務(wù)上也有極大的探索價(jià)值和廣闊的應(yīng)用前景。

團(tuán)隊(duì)還發(fā)布了論文《FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation》，該論文由清華大學(xué)自然語言處理實(shí)驗(yàn)室的博士生韓旭、姚遠(yuǎn)，本科生朱昊、于鵬飛、王子云共同合作完成。文章對(duì) FewRel 數(shù)據(jù)集的構(gòu)造原理給出了詳細(xì)解釋，感興趣的童鞋可以點(diǎn)擊下面的論文地址閱讀原文：

• FewRel 網(wǎng)站地址：https://thunlp.github.io/fewrel.html
  

• 論文地址：http://aclweb.org/anthology/D18-1514
  

關(guān)系抽?。╮elation extraction）是自然語言處理中的一項(xiàng)重要任務(wù)，其通過從純文本中抽取關(guān)系事實(shí)，來構(gòu)建和擴(kuò)充知識(shí)圖譜（knowledge graph）。例如，從句子「馬云創(chuàng)辦了阿里巴巴」中，可以抽取出關(guān)系事實(shí)（馬云, 創(chuàng)始人, 阿里巴巴），其中馬云和阿里巴巴被稱為實(shí)體（entity），而創(chuàng)始人則是他們的關(guān)系（relation）。關(guān)系抽取是知識(shí)獲取的重要途徑，對(duì)于理解自然語言和理解世界知識(shí)意義重大。

目前的關(guān)系抽取模型面臨著一個(gè)極大的問題：訓(xùn)練數(shù)據(jù)不足。相比計(jì)算機(jī)視覺中的相關(guān)任務(wù)，語言相關(guān)的標(biāo)注更加困難，需要標(biāo)注者掌握相應(yīng)的知識(shí)。就如下表 1 中所示，已有精標(biāo)注關(guān)系抽取數(shù)據(jù)集在關(guān)系數(shù)量和實(shí)例數(shù)量上都較少，這極大限制了關(guān)系抽取的發(fā)展。

數(shù)據(jù)集	關(guān)系數(shù)量	實(shí)例數(shù)量（不包括 NA）
SemEval-2010 Task 8	9	6,674
ACE 2003-2004	24	16,771
TACRED	42	21,784
FewRel	100	70,000

表 1：常用精標(biāo)關(guān)系抽取數(shù)據(jù)集對(duì)比

作為目前關(guān)系抽取領(lǐng)域最大的精標(biāo)注數(shù)據(jù)集，F(xiàn)ewRel 中有 100 類關(guān)系，共 70,000 個(gè)實(shí)例，是很好的實(shí)驗(yàn)數(shù)據(jù)集。此前，加州大學(xué)圣巴巴拉分校計(jì)算機(jī)科學(xué)系助理教授王威廉實(shí)驗(yàn)室與IBM合作的 NAACL 2019 論文 Sentence Embedding Alignment for Lifelong Relation Extraction 就用到了這個(gè)數(shù)據(jù)集。       

FewRel 是以 Wikipedia 作為語料庫(kù)，以 Wikidata 作為知識(shí)圖譜構(gòu)建的。

圖 1: Wikidata 和 Wikipedia（圖來自 Wikidata 和 Wikipedia 官網(wǎng)）

Wikipedia 作為互聯(lián)網(wǎng)上的自由百科全書，因其巨大的體量和蘊(yùn)含的豐富知識(shí)而備受 NLP 學(xué)者青睞。與其相對(duì)應(yīng)的知識(shí)圖譜 Wikidata，則是 Wikipedia 中知識(shí)的結(jié)構(gòu)化。目前 Wikidata 中已有超過 5000 萬個(gè)實(shí)體，千余種關(guān)系。

清華大學(xué)自然語言處理實(shí)驗(yàn)室數(shù)據(jù)集團(tuán)隊(duì)首先利用這兩者構(gòu)造了一個(gè)遠(yuǎn)監(jiān)督的數(shù)據(jù)集。那么，什么是遠(yuǎn)監(jiān)督？知識(shí)圖譜中已經(jīng)包含了許多實(shí)體以及他們之間的關(guān)系，我們可以假設(shè)，若兩個(gè)實(shí)體 h 和 t 間有關(guān)系 r，而一個(gè)句子中同時(shí)出現(xiàn)了 h 和 t，則該句子表達(dá)了它們之間的關(guān)系 r。通過這種方法可以自動(dòng)獲得大規(guī)模的標(biāo)注數(shù)據(jù)，然而這一數(shù)據(jù)是充滿噪聲的，幾乎無法直接用來訓(xùn)練模型。在遠(yuǎn)監(jiān)督數(shù)據(jù)集的基礎(chǔ)上，去掉出現(xiàn)重復(fù)實(shí)體對(duì)的句子，去掉少于 1000 個(gè)樣本的類，最終留下 122 類，共 122,000 個(gè)實(shí)例，然后進(jìn)行人工標(biāo)注。

在這一過程中，每個(gè)實(shí)例都會(huì)有多個(gè)標(biāo)注員進(jìn)行標(biāo)注，通過冗余保證標(biāo)注質(zhì)量。在此之后再進(jìn)行一輪質(zhì)量篩選，最后留下 100 類，共 70,000 句高質(zhì)量標(biāo)注的關(guān)系抽取數(shù)據(jù)。最終數(shù)據(jù)集中，每句的平均長(zhǎng)度為 24.99，一共出現(xiàn) 124,577 個(gè)不同的單詞/符號(hào)。

據(jù)了解，F(xiàn)ewRel 的意義不僅僅是一個(gè)大規(guī)模的數(shù)據(jù)集。因?yàn)殛P(guān)系數(shù)量的眾多，學(xué)界可以在 FewRel 上進(jìn)行更多維度的探索，其中很重要的一個(gè)方向就是少次學(xué)習(xí)（few-shot learning）。人可以接觸很少的例子而學(xué)會(huì)認(rèn)知一種新的事物，從這一點(diǎn)出發(fā)，深度學(xué)習(xí)模型能否具備從少量樣本中快速學(xué)習(xí)的能力呢？目前在 CV 領(lǐng)域已有了很多這方面的嘗試，但在 NLP 當(dāng)中，尤其是關(guān)系抽取上，還缺乏類似的探索。尤其因?yàn)橐酝年P(guān)系抽取數(shù)據(jù)集關(guān)系數(shù)量和實(shí)例數(shù)量較少，而通常 few-shot 模型需要在大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練，需要在類別較多的數(shù)據(jù)上做 sample 評(píng)測(cè)，所以很難開展相關(guān)工作。

FewRel 的出現(xiàn)打開了少例關(guān)系抽取的大門，其名字中的 Few 也正是取自 Few-shot。通過下面的表 2 我們可以看到，F(xiàn)ewRel 與 CV 中的 few-shot 數(shù)據(jù)集 mini-ImageNet 具有相同的規(guī)模，可見其足以支撐相關(guān)的研究。

數(shù)據(jù)集	類別數(shù)	每類實(shí)例	總實(shí)例
Omniglot	1,623	20	32,460
mini-ImageNet	100	600	60,000
FewRel	100	700	70,000

表 2：FewRel 與兩個(gè) CV 中 Few-Shot 數(shù)據(jù)集對(duì)比

除此之外，F(xiàn)ewRel 還可以幫助科研人員進(jìn)行需要較多關(guān)系類別的相關(guān)研究，終身學(xué)習(xí)（lifelong learning）就是其中一個(gè)方向。目前大部分關(guān)系抽取模型都是在預(yù)先定義好的類別中進(jìn)行探索，而我們知道，世界知識(shí)是不斷增長(zhǎng)的，關(guān)系數(shù)量也不是停滯的，如何讓一個(gè)模型能不斷接收新的訓(xùn)練樣本，同時(shí)不至遺忘之前的知識(shí)，是一個(gè)十分值得探索的課題。而相關(guān)實(shí)驗(yàn)需要有大量關(guān)系類別的精標(biāo)數(shù)據(jù)，F(xiàn)ewRel 正好滿足條件。

據(jù)了解，未來 FewRel 團(tuán)隊(duì)還將公開其構(gòu)建數(shù)據(jù)集時(shí)所使用的基于 Wikipedia 的遠(yuǎn)監(jiān)督數(shù)據(jù)，將遠(yuǎn)監(jiān)督數(shù)據(jù)與精標(biāo)數(shù)據(jù)相結(jié)合，研究人員可以進(jìn)一步探索遠(yuǎn)監(jiān)督的降噪機(jī)制，以及如何使用兩種數(shù)據(jù)進(jìn)行半監(jiān)督學(xué)習(xí)。

由于精標(biāo)數(shù)據(jù)可以被視作「種子」，遠(yuǎn)監(jiān)督數(shù)據(jù)可以被看作巨大的語料庫(kù)，F(xiàn)ewRel 還可以用在主動(dòng)學(xué)習(xí)（active learning）和自啟動(dòng)算法（bootstrapping）方面的研究中。然而，近幾年來，在關(guān)系抽取領(lǐng)域少有人進(jìn)行類似探索，其原因就是數(shù)據(jù)集的缺乏。伴隨著 FewRel 的出現(xiàn)，相信接下來這些重要方向的研究必然會(huì)有所推進(jìn)。

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。