雷鋒網(wǎng)AI科技評論按：語義依存是中文語義的深層分析，完善的語義表示體系對語義依存分析有重要作用。本文介紹的工作來自哈工大 SCIR 實驗室錄用于 AAAI 2018 的論文《A Neural Transition-Based Approach for Semantic Dependency Graph Parsing》。

在近期雷鋒網(wǎng) GAIR 大講堂舉辦的線上公開課上，來自哈爾濱工業(yè)大學在讀博士生王宇軒分享了一篇他在 AAAI 2018 投中的論文：基于轉移的語義依存圖分析。

以下是王宇軒同學在線上直播課上的分享內容，雷鋒網(wǎng)編輯做了簡要回顧，完整視頻回放鏈接請點擊：http://www.mooc.ai/open/course/308

分享內容：

同學們，大家好，今天主要分享的是用一種基于轉移的方法來進行語義依存圖的分析。

首先介紹一下什么是語義依存分析。語義依存圖是近年來提出的對樹結構句法或語義表示的擴展，它與樹結構的主要區(qū)別是允許一些詞擁有多個父節(jié)點，從而使其成為有向無環(huán)圖（direct edacyclic graph，DAG）。

右上圖是2012年和北京語言大學合作定義和標注的語義依存樹，通過一些依存弧把句子中有語義關系的詞連接起來。它是樹結構，所以成為語義依存樹。右下角是語義依存圖結構，因為在依存樹里面，有一些詞之間的關系受限于樹結構，不能很好刻畫，所以就引入了依存圖概念。

語義依存圖與傳統(tǒng)樹結構的區(qū)別

左上第一個是句法依存樹，中間為語義依存樹，最下面是語義依存圖。圖結構與原來傳統(tǒng)的樹結構表示最大的不同就是存在有多個父節(jié)點，比如圖中的“我們”存在兩個父節(jié)點。

上圖左邊三個結構是另一種語義依存圖結構。它們是在英文語料上進行標注，并且有三種標注規(guī)范，分別是DM、PAS、PSD。由此可以看出在同一個句子中，由于標注規(guī)范不同，圖結構也是不同的。這是依存圖的第二個特點，具有多種標注規(guī)范。第三個特點事具有非投射性，弧之間有交叉。

語義依存圖實際上就是有向無環(huán)圖， 這篇論文的目的就是提出一個能適應多種標注規(guī)范的有向無環(huán)圖的一個分析器。

我們采用的是基于轉移的語義依存分析方法。該方法主要分為兩部分結構，一是預測，二是執(zhí)行。預測部分是由一個分類器實現(xiàn)。執(zhí)行部分需要一個轉移算法 ，包括一些預定義的轉移動作等。

關于轉移系統(tǒng)

首先有個緩存（buffer），用來保存將要處理的詞。接下來是一個棧（stack），保存正在處理的詞。還需要有一個存儲器（memory），用來記錄已經(jīng)生成的弧。最后是一個deque， 暫時跳過一些詞。轉移狀態(tài)包括一個保存正在處理中的詞的棧（Stack），一個保存待處理詞的緩存（Buffer），和一個記錄已經(jīng)生成的依存弧的存儲器。

用來處理傳統(tǒng)依存樹結構的轉移系統(tǒng)，以Choi等人在2013年提出的轉移系統(tǒng)為例。

生成圖中標紅的弧線，首先要通過一個LEFT-REDUCE轉移動作，LEFT是生成一條由緩存頂?shù)脑~指向棧頂詞的一條弧，REDUCE，是指生成弧之后，將棧頂詞消除掉。

如何生成圖中黃色的弧，首先執(zhí)行一個LEFT-PASS轉移動作，暫時不把“他”消除，經(jīng)過一系列轉移動作，再執(zhí)行LEFT-REDUCE交互， 消除“他”。

接下來是用一個具體例子介紹整個轉移系統(tǒng)，包括更多的轉移動作，具體可觀看視頻回放。

基于轉移的語義依存分析方法中的分類器

圖中的分類器存在一些問題，緩存會損失一些信息，因為緩存只能通過單向LSTM學到正在緩存中的詞的表示，另外由于它是一個從右到左的單向LSTM，因此它會損失從左到右這部分信息。

為了解決這個問題，我們提出了Bi-LSTM模塊。

我們提出的Incremental Tree-LSTM和傳統(tǒng)的Dependency-Based Recursive NN效果對比

關于Incremental Tree-LSTM

圖中大寫ABCD代表四個詞，下面的小寫可以認為它的向量化表示。

首相生成一個A指向B的弧，把A和B的子向量同時放到一個LSTM單元里面，組合起來用a+b表示，放在A下面，以此類推，每次找到新的子節(jié)點都會把原來已找到的子節(jié)點拿來一起輸入，就不會損失C的信息。

上面提出的兩個模塊兒替換原來轉移系統(tǒng)后的效果圖

實驗結果

簡單介紹一下得到的實驗結果，首先是在一個中文語義依存圖的數(shù)據(jù)集SemEval 2016 Task9進行實驗，其中最重要的兩個評測指標LF和NLF。圖中BS是增加了第一種模塊后的性能，IT是增加第二個模塊兒后的性能，BS-ST是兩個模塊同時使用后整個模型的性能。

我們的模型和其他模型的性能對比

接下來是在SemEval 2015 Task 18上的英語數(shù)據(jù)集上的實驗。這個數(shù)據(jù)的測試集包括兩部分，紫色（in-domain）是指和訓練數(shù)據(jù)來自同領域的數(shù)據(jù)，綠色（out-of-domain）是指和訓練數(shù)據(jù)來自不同領域的數(shù)據(jù)，所以性能表現(xiàn)也不一樣。

值得一提的是，我們的模型可以通過模型融合的方法，在訓練過程中用不同的隨機化種子，訓練多個模型， 在預測的時候，用多個模型分別進行預測，得到多個當前狀態(tài)下要執(zhí)行的轉移動作的概率分布，把多個概率分布對應的疊加起來，作為接下來判定的標準，這樣的簡單模型融合對模型性能有較大的提升效果。

最后給大家安利一個我們實驗室的中文語言處理工具包，包括最底層的分詞，詞性標注，一直到上層的句法分時，語義分析都能夠提供?？梢韵螺d到本地直接使用，也可以通過接口在線接入。

以上就是全部的分享內容。

雷鋒網(wǎng)更多公開課直播預告敬請關注公眾號「AI 研習社」。如果錯過了直播課程，還可到AI慕課學院查找該期的視頻回放。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。