雷鋒網(wǎng) AI科技評(píng)論消息，日前，Google發(fā)布自然語(yǔ)言框架語(yǔ)義解析器SLING，它能以語(yǔ)義框架圖（semantic frame graph）的形式，將自然語(yǔ)言文本直接解析為文本語(yǔ)義表示。這一系統(tǒng)避免了級(jí)聯(lián)效應(yīng)，另外還減少了不必要的計(jì)算開銷。

詳細(xì)消息雷鋒網(wǎng) AI科技評(píng)論編譯整理如下：

直到最近，大多數(shù)實(shí)際的自然語(yǔ)言理解(NLU)系統(tǒng)都采用的是從詞性標(biāo)簽和依存句法分析（dependency parsing）到計(jì)算輸入文本的語(yǔ)義表示的分析。雖然這使得不同分析階段易于模塊化，但前期的錯(cuò)誤會(huì)在后期和最終表示上產(chǎn)生層疊效應(yīng)，中間階段的輸出也可能會(huì)與這一階段本身并不相關(guān)。

例如，一個(gè)典型的NLP系統(tǒng)可能在早期執(zhí)行依存句法分析的任務(wù)，在結(jié)束階段時(shí)執(zhí)行共指解析（coreference resolution）任務(wù)，早期依存句法分析階段出現(xiàn)的任何錯(cuò)誤都會(huì)產(chǎn)生級(jí)聯(lián)效應(yīng)，影響共指解析的輸出。

今天我們發(fā)布SLING實(shí)驗(yàn)系統(tǒng)，它能以語(yǔ)義框架圖（semantic frame graph）的形式，將自然語(yǔ)言文本直接解析為文本語(yǔ)義表示。

輸出框架圖能直接捕獲用戶感興趣的語(yǔ)義標(biāo)注（semantic annotation），因?yàn)闆]有運(yùn)行任何中間階段，所以避免了上述那種管道系統(tǒng)的缺陷，另外還減少了不必要的計(jì)算開銷。

SLING使用具有特殊用途的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，通過框架圖上的增量編輯操作（incremental editing operation）來(lái)計(jì)算輸入文本的輸出表示。框架圖足夠靈活，可以捕獲大家感興趣的許多語(yǔ)義任務(wù)(下面有更多介紹)。SLING中的分析器（parser）只使用輸入詞來(lái)進(jìn)行訓(xùn)練，不需要額外再生成標(biāo)注(例如依存句法分析)。

SLING通過提供高效的、可擴(kuò)展的框架存儲(chǔ)實(shí)現(xiàn)（frame store implementation）和JIT編譯器來(lái)生成高效的代碼來(lái)執(zhí)行循環(huán)神經(jīng)網(wǎng)絡(luò)，從而在推理（inference）時(shí)能快速進(jìn)行句法分析。

盡管SLING還處于實(shí)驗(yàn)階段，但得益于高效的框架存儲(chǔ)和神經(jīng)網(wǎng)絡(luò)編譯器，它在臺(tái)式機(jī)CPU上能實(shí)現(xiàn)超過2500符號(hào)/秒的解析速度。

SLING使用C++，目前可以在GitHub上下載。這個(gè)系統(tǒng)在技術(shù)報(bào)告中有詳細(xì)描述。

框架語(yǔ)義句法分析（Frame Semantic Parsing）

框架語(yǔ)義表示文本的含義（例如一句話），是一套正規(guī)表述。每個(gè)正規(guī)表述都被稱為一個(gè)框架，可以被看作是知識(shí)或語(yǔ)義的一個(gè)單元，還包含與與它相關(guān)的概念或其他框架的相互作用。

SLING將框架組織成屬性槽（slot）列表，其中每個(gè)屬性槽都有對(duì)應(yīng)的名稱(角色)和值（可能是literal或是到另一個(gè)框架的鏈接）。

下面是一個(gè)例句:

“很多人都宣稱自己預(yù)測(cè)到了黑色星期一?！保∕any people now claim to have predicted Black Monday）

下圖是SLING識(shí)別提到的實(shí)體(例如人物、地點(diǎn)或事件)、度量(例如日期或距離)和其他概念(例如動(dòng)詞)，并將它們放置在正確的語(yǔ)義角色中的說(shuō)明。

 

上面的例子相當(dāng)簡(jiǎn)單，框架圖的功能強(qiáng)大到可以模擬各種復(fù)雜的語(yǔ)義標(biāo)注任務(wù)。對(duì)于初學(xué)者來(lái)說(shuō)，這種框架可以非常方便地將語(yǔ)言的內(nèi)外部信息類型(例如知識(shí)庫(kù))結(jié)合起來(lái)。這可以用于處理復(fù)雜的語(yǔ)言理解問題，例如引用、隱喻、轉(zhuǎn)喻等。這些任務(wù)的框架圖只在框架類型、角色和鏈接約束條件上有所不同。

SLING

SLING通過優(yōu)化語(yǔ)義框架來(lái)訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)隱藏層中學(xué)到的內(nèi)部表示取代了在前面那種管道系統(tǒng)中的手工特性組合和中間表示。

解碼器使用伴隨反復(fù)出現(xiàn)的特征一起的表示，來(lái)計(jì)算用于框架圖更新的一系列過渡，以獲得輸入語(yǔ)句的預(yù)期框架語(yǔ)義表示。在SLING中用TensorFlow和DRAGNN來(lái)訓(xùn)練模型。

下面的動(dòng)圖展示了使用過濾操作將框架和角色逐漸添加到框架圖中的構(gòu)建過程。

正如一開始討論的那個(gè)簡(jiǎn)單例句，SLING使用ARG1角色將動(dòng)詞和事件框架連接起來(lái)，表示事件框架是被預(yù)測(cè)的概念。

這個(gè)過渡系統(tǒng)的一個(gè)關(guān)鍵層面是，有一個(gè)很小的固定大小的框架緩沖區(qū)，它代表了最近被喚起或修改的框架，用橙色方框標(biāo)記。這個(gè)緩沖區(qū)會(huì)捕捉到我們傾向于記住的最近被喚起、提及或強(qiáng)化的知識(shí)的直覺。如果一個(gè)框架不再使用，那么當(dāng)新的框架出現(xiàn)時(shí)，它最終會(huì)從這個(gè)緩沖區(qū)中被清除掉。我們發(fā)現(xiàn)這種簡(jiǎn)單的機(jī)制在捕捉大量框架間鏈接的片段時(shí)非常有效。

下一步

上面所描述的實(shí)驗(yàn)僅僅是對(duì)諸如知識(shí)提取、解析復(fù)雜引用和對(duì)話理解等語(yǔ)義句法分析研究任務(wù)的啟動(dòng)研究。

在Github上發(fā)布的SLING中有上述任務(wù)的預(yù)訓(xùn)練模型，還有一些示例和方法，大家可以在提供的綜合數(shù)據(jù)或自己的數(shù)據(jù)上來(lái)訓(xùn)練解析器。希望SLING能對(duì)大家有所幫助有用，我們期待著在其他語(yǔ)義句法分析任務(wù)上應(yīng)用和擴(kuò)展SLING。

Github地址：https://github.com/google/sling

Via：Google Research Blog

雷鋒網(wǎng) AI科技評(píng)論編譯整理。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。