雷鋒網(wǎng)AI科技評論按：語義依存是中文語義的深層分析，完善的語義表示體系對語義依存分析有重要作用。本文介紹的工作來自哈工大 SCIR 實驗室錄用于 AAAI 2018 的論文《A Neural Transition-Based Approach for Semantic Dependency Graph Parsing》。

在近期雷鋒網(wǎng) GAIR 大講堂舉辦的線上公開課上，來自哈爾濱工業(yè)大學(xué)在讀博士生王宇軒分享了一篇他在 AAAI 2018 投中的論文：基于轉(zhuǎn)移的語義依存圖分析。

以下是王宇軒同學(xué)在線上直播課上的分享內(nèi)容，雷鋒網(wǎng)編輯做了簡要回顧，完整視頻回放鏈接請點擊：http://www.mooc.ai/open/course/308

分享內(nèi)容：

同學(xué)們，大家好，今天主要分享的是用一種基于轉(zhuǎn)移的方法來進(jìn)行語義依存圖的分析。

首先介紹一下什么是語義依存分析。語義依存圖是近年來提出的對樹結(jié)構(gòu)句法或語義表示的擴(kuò)展，它與樹結(jié)構(gòu)的主要區(qū)別是允許一些詞擁有多個父節(jié)點，從而使其成為有向無環(huán)圖（direct edacyclic graph，DAG）。

右上圖是2012年和北京語言大學(xué)合作定義和標(biāo)注的語義依存樹，通過一些依存弧把句子中有語義關(guān)系的詞連接起來。它是樹結(jié)構(gòu)，所以成為語義依存樹。右下角是語義依存圖結(jié)構(gòu)，因為在依存樹里面，有一些詞之間的關(guān)系受限于樹結(jié)構(gòu)，不能很好刻畫，所以就引入了依存圖概念。

語義依存圖與傳統(tǒng)樹結(jié)構(gòu)的區(qū)別

左上第一個是句法依存樹，中間為語義依存樹，最下面是語義依存圖。圖結(jié)構(gòu)與原來傳統(tǒng)的樹結(jié)構(gòu)表示最大的不同就是存在有多個父節(jié)點，比如圖中的“我們”存在兩個父節(jié)點。

上圖左邊三個結(jié)構(gòu)是另一種語義依存圖結(jié)構(gòu)。它們是在英文語料上進(jìn)行標(biāo)注，并且有三種標(biāo)注規(guī)范，分別是DM、PAS、PSD。由此可以看出在同一個句子中，由于標(biāo)注規(guī)范不同，圖結(jié)構(gòu)也是不同的。這是依存圖的第二個特點，具有多種標(biāo)注規(guī)范。第三個特點事具有非投射性，弧之間有交叉。

語義依存圖實際上就是有向無環(huán)圖， 這篇論文的目的就是提出一個能適應(yīng)多種標(biāo)注規(guī)范的有向無環(huán)圖的一個分析器。

我們采用的是基于轉(zhuǎn)移的語義依存分析方法。該方法主要分為兩部分結(jié)構(gòu)，一是預(yù)測，二是執(zhí)行。預(yù)測部分是由一個分類器實現(xiàn)。執(zhí)行部分需要一個轉(zhuǎn)移算法 ，包括一些預(yù)定義的轉(zhuǎn)移動作等。

關(guān)于轉(zhuǎn)移系統(tǒng)

首先有個緩存（buffer），用來保存將要處理的詞。接下來是一個棧（stack），保存正在處理的詞。還需要有一個存儲器（memory），用來記錄已經(jīng)生成的弧。最后是一個deque， 暫時跳過一些詞。轉(zhuǎn)移狀態(tài)包括一個保存正在處理中的詞的棧（Stack），一個保存待處理詞的緩存（Buffer），和一個記錄已經(jīng)生成的依存弧的存儲器。

用來處理傳統(tǒng)依存樹結(jié)構(gòu)的轉(zhuǎn)移系統(tǒng)，以Choi等人在2013年提出的轉(zhuǎn)移系統(tǒng)為例。

生成圖中標(biāo)紅的弧線，首先要通過一個LEFT-REDUCE轉(zhuǎn)移動作，LEFT是生成一條由緩存頂?shù)脑~指向棧頂詞的一條弧，REDUCE，是指生成弧之后，將棧頂詞消除掉。

如何生成圖中黃色的弧，首先執(zhí)行一個LEFT-PASS轉(zhuǎn)移動作，暫時不把“他”消除，經(jīng)過一系列轉(zhuǎn)移動作，再執(zhí)行LEFT-REDUCE交互， 消除“他”。

接下來是用一個具體例子介紹整個轉(zhuǎn)移系統(tǒng)，包括更多的轉(zhuǎn)移動作，具體可觀看視頻回放。

基于轉(zhuǎn)移的語義依存分析方法中的分類器

圖中的分類器存在一些問題，緩存會損失一些信息，因為緩存只能通過單向LSTM學(xué)到正在緩存中的詞的表示，另外由于它是一個從右到左的單向LSTM，因此它會損失從左到右這部分信息。

為了解決這個問題，我們提出了Bi-LSTM模塊。

我們提出的Incremental Tree-LSTM和傳統(tǒng)的Dependency-Based Recursive NN效果對比

關(guān)于Incremental Tree-LSTM

圖中大寫ABCD代表四個詞，下面的小寫可以認(rèn)為它的向量化表示。

首相生成一個A指向B的弧，把A和B的子向量同時放到一個LSTM單元里面，組合起來用a+b表示，放在A下面，以此類推，每次找到新的子節(jié)點都會把原來已找到的子節(jié)點拿來一起輸入，就不會損失C的信息。

上面提出的兩個模塊兒替換原來轉(zhuǎn)移系統(tǒng)后的效果圖

實驗結(jié)果

簡單介紹一下得到的實驗結(jié)果，首先是在一個中文語義依存圖的數(shù)據(jù)集SemEval 2016 Task9進(jìn)行實驗，其中最重要的兩個評測指標(biāo)LF和NLF。圖中BS是增加了第一種模塊后的性能，IT是增加第二個模塊兒后的性能，BS-ST是兩個模塊同時使用后整個模型的性能。

我們的模型和其他模型的性能對比

接下來是在SemEval 2015 Task 18上的英語數(shù)據(jù)集上的實驗。這個數(shù)據(jù)的測試集包括兩部分，紫色（in-domain）是指和訓(xùn)練數(shù)據(jù)來自同領(lǐng)域的數(shù)據(jù)，綠色（out-of-domain）是指和訓(xùn)練數(shù)據(jù)來自不同領(lǐng)域的數(shù)據(jù)，所以性能表現(xiàn)也不一樣。

值得一提的是，我們的模型可以通過模型融合的方法，在訓(xùn)練過程中用不同的隨機(jī)化種子，訓(xùn)練多個模型， 在預(yù)測的時候，用多個模型分別進(jìn)行預(yù)測，得到多個當(dāng)前狀態(tài)下要執(zhí)行的轉(zhuǎn)移動作的概率分布，把多個概率分布對應(yīng)的疊加起來，作為接下來判定的標(biāo)準(zhǔn)，這樣的簡單模型融合對模型性能有較大的提升效果。

最后給大家安利一個我們實驗室的中文語言處理工具包，包括最底層的分詞，詞性標(biāo)注，一直到上層的句法分時，語義分析都能夠提供?？梢韵螺d到本地直接使用，也可以通過接口在線接入。

以上就是全部的分享內(nèi)容。

雷鋒網(wǎng)更多公開課直播預(yù)告敬請關(guān)注公眾號「AI 研習(xí)社」。如果錯過了直播課程，還可到AI慕課學(xué)院查找該期的視頻回放。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。