雷鋒網(wǎng) AI 科技評(píng)論按：在今年的 EMNLP 2017 上，臺(tái)灣大學(xué)黃意堯與加州圣塔芭芭拉大學(xué) (UCSB)William Wang 教授有一篇合作論文被錄用。受雷鋒網(wǎng) AI 科技評(píng)論邀請(qǐng)，黃意堯撰寫(xiě)了關(guān)于這篇論文的研究歷程，以供學(xué)習(xí)與參考。雷鋒網(wǎng) AI 科技評(píng)論做了不改動(dòng)原意的編輯與修改，將繁體字轉(zhuǎn)換為簡(jiǎn)體，并將一些臺(tái)灣常用表述轉(zhuǎn)換為大陸的通用說(shuō)法。

論文名稱(chēng)：Deep Residual Learning for Weakly-Supervised Relation Extraction

論文地址：https://arxiv.org/abs/1707.08866

近年來(lái)，越來(lái)越多人關(guān)注在關(guān)系抽取 (Relation Extraction) 的題目上，大部分的研究集中在使用更復(fù)雜、更結(jié)構(gòu)化的神經(jīng)網(wǎng)絡(luò)，并測(cè)量在 SemEval 2010 的關(guān)系抽取數(shù)據(jù)庫(kù)上。

但在這個(gè)數(shù)據(jù)庫(kù)上，最大的問(wèn)題是數(shù)據(jù)太少，總共只有 10,717 條數(shù)據(jù)，導(dǎo)致大部分的模型參數(shù)不能太多，要不然會(huì)有過(guò)度擬合 (over fitting) 的現(xiàn)象發(fā)生。

相較於另一個(gè)數(shù)據(jù)庫(kù)，NYT dataset，總共有 695,059 條數(shù)據(jù)，採(cǎi)用半監(jiān)督式學(xué)習(xí)：distant supervision 來(lái)收集數(shù)據(jù)。這個(gè)數(shù)據(jù)庫(kù)有足夠大的數(shù)量來(lái)進(jìn)行大型神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)。

出於這個(gè)動(dòng)機(jī)，本文進(jìn)行大型神經(jīng)網(wǎng)絡(luò)在 NYT dataset 數(shù)據(jù)庫(kù)的實(shí)驗(yàn)，并提出深度殘差網(wǎng)絡(luò)來(lái)解決 distant supervision 帶來(lái)的噪聲干擾。

問(wèn)題探討

我們使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行關(guān)系抽取，取經(jīng)於計(jì)算機(jī)視覺(jué)與深度卷積神經(jīng)網(wǎng)絡(luò)的成功，我們透過(guò)增加層數(shù)，來(lái)增加神經(jīng)網(wǎng)絡(luò)的參數(shù)，希望可以幫助關(guān)系抽取的學(xué)習(xí)。結(jié)果如圖一：

圖一、各式卷積網(wǎng)絡(luò)的結(jié)果

但我們卻發(fā)現(xiàn)，使用 9 層卷積神經(jīng)網(wǎng)絡(luò) (CNN-9) 的效果，并沒(méi)有單層 (CNN) 的好。這個(gè)結(jié)果跟過(guò)往的經(jīng)驗(yàn)違背。我們猜測(cè)原因是，在 distant supervision 的數(shù)據(jù)裡面，有太多錯(cuò)誤標(biāo)簽的數(shù)據(jù)，這些數(shù)據(jù)帶來(lái)太多的噪聲，而這些噪聲隨著越深層的神經(jīng)網(wǎng)絡(luò)而被放大，導(dǎo)致 9 層卷積神經(jīng)網(wǎng)絡(luò) (CNN-9) 的結(jié)果比單層 (CNN) 更差。為了解決這個(gè)問(wèn)題，我們使用殘差網(wǎng)絡(luò)，來(lái)幫助網(wǎng)絡(luò)的特征學(xué)習(xí)。

殘差網(wǎng)絡(luò)在半監(jiān)督式學(xué)習(xí)的應(yīng)用

基於上面的實(shí)驗(yàn)，我們知道淺層網(wǎng)絡(luò)在 distant supervision 的數(shù)據(jù)庫(kù)中，能學(xué)習(xí)到比較好的特征。於是，我們?cè)O(shè)法讓淺層網(wǎng)絡(luò)的特征，可以跳躍傳遞至深層網(wǎng)絡(luò)。

圖二，殘差網(wǎng)絡(luò)在關(guān)系抽取的架構(gòu)

如圖二所示，我們使用擁有兩層卷積網(wǎng)絡(luò)的殘差區(qū)塊，將淺層網(wǎng)絡(luò)的特征傳到較深層的網(wǎng)絡(luò)。特過(guò)這樣的設(shè)計(jì)，我們可以依照數(shù)據(jù)庫(kù)的大小，來(lái)堆迭網(wǎng)絡(luò)架構(gòu)，讓網(wǎng)絡(luò)可以選擇較不被噪聲影響的那層網(wǎng)絡(luò)特征來(lái)進(jìn)行關(guān)系分類(lèi)。

結(jié)果

這篇文章，提出一種，解決 distant supervision 噪聲對(duì)大型網(wǎng)絡(luò)影響的方法。在表一，我們可以看到，9 層的殘差網(wǎng)絡(luò)，與 state-of-the-art(PCNN+ATT) 的模型，有差不多的結(jié)果，并在高順位候選的關(guān)系上，有更棒的效能。證明，利用殘差網(wǎng)絡(luò)，可以在 distant supervision 的數(shù)據(jù)庫(kù)中，抽取更有用的特征。

表一，殘差網(wǎng)絡(luò)與其它網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果比較

結(jié)論

本篇文章提供讀者、研究人員可以在 distant supervision 的數(shù)據(jù)庫(kù)使用大型深度神經(jīng)網(wǎng)絡(luò)。但要注意，此種半監(jiān)督式學(xué)習(xí)的噪聲，會(huì)影響到實(shí)驗(yàn)結(jié)果。利用殘差網(wǎng)絡(luò)可以解決這樣的問(wèn)題，這篇文章在關(guān)系抽取的研究上，證明其結(jié)果。

文章趣事

本篇文章是我在加州圣塔芭芭拉大學(xué) (UCSB)，做交換學(xué)生時(shí)完成的作品。其實(shí)圣塔芭芭拉是一個(gè)充滿陽(yáng)光，很美的海灘，每天都可以沖浪、曬太陽(yáng)、玩水，加上當(dāng)時(shí)課選很少的情況下，覺(jué)得生活過(guò)得太安逸，決定加入當(dāng)時(shí)新晉教授 William Wang 的實(shí)驗(yàn)室，學(xué)習(xí)相關(guān)領(lǐng)域的知識(shí)。但沒(méi)想到，我是實(shí)驗(yàn)室前 5 個(gè)進(jìn)來(lái)的學(xué)生，導(dǎo)致所有知識(shí)都要靠自己來(lái)，自己吸收與學(xué)習(xí)。幸運(yùn)的是，教授有許多時(shí)間，跟我討論題目，但另一方面，我也好像在過(guò)一個(gè)博士班學(xué)生單獨(dú)奮斗的生活，每天死盯著論文，想理解關(guān)系抽取到底發(fā)生了什么事。很幸運(yùn)地，最后我把文章完成，并且順利的投上 EMNLP。很感謝 William Wang 教授愿意給我機(jī)會(huì)，與我進(jìn)行大量的討論。William Wang 教授在知識(shí)圖譜的相關(guān)研究很厲害，有興趣的同學(xué)，可以申請(qǐng)到他的實(shí)驗(yàn)室進(jìn)行研究。

原文：https://arxiv.org/abs/1707.08866

項(xiàng)目：https://github.com/darrenyaoyao/ResCNN_RelationExtraction

William Wang 教授主頁(yè)：https://www.cs.ucsb.edu/~william

---

AI慕課學(xué)院近期推出了《NLP工程師入門(mén)實(shí)踐班：基于深度學(xué)習(xí)的自然語(yǔ)言處理》課程!

三大模塊，五大應(yīng)用，海外博士講師手把手教你入門(mén)NLP，更有豐富項(xiàng)目經(jīng)驗(yàn)相授；算法+實(shí)踐，搭配典型行業(yè)應(yīng)用；隨到隨學(xué)，專(zhuān)業(yè)社群，講師在線答疑！

課程地址：http://www.mooc.ai/course/427

加入AI慕課學(xué)院人工智能學(xué)習(xí)交流QQ群：624413030，與AI同行一起交流成長(zhǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。