CoNLL 系列評測是自然語言處理領(lǐng)域影響力最大的技術(shù)評測，每年由 ACL 的計(jì)算自然語言學(xué)習(xí)會(huì)議（Conference on Computational Natural Language Learning，CoNLL）主辦。在今年 CoNLL-2017 評測（http://universaldependencies.org/conll17/）上，哈工大社會(huì)計(jì)算與信息檢索研究中心取得第四名的佳績，這也是亞洲團(tuán)隊(duì)所取得的最好成績。為此，雷鋒網(wǎng) AI 科技評論榮幸地邀請到了哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院副教授車萬翔博士做了一次專訪，探討哈工大團(tuán)隊(duì)本次參賽的技術(shù)細(xì)節(jié)。

車萬翔博士，哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院副教授、博士生導(dǎo)師，斯坦福大學(xué)訪問學(xué)者，合作導(dǎo)師 Christopher Manning 教授?，F(xiàn)任中國中文信息學(xué)會(huì)計(jì)算語言學(xué)專業(yè)委員會(huì)委員、青年工作委員會(huì)副主任；中國計(jì)算機(jī)學(xué)會(huì)高級會(huì)員、YOCSEF 哈爾濱主席。主要研究領(lǐng)域?yàn)樽匀徽Z言處理，在 ACL、EMNLP、AAAI、IJCAI 等國內(nèi)外高水平期刊和會(huì)議上發(fā)表學(xué)術(shù)論文 40 余篇，其中 AAAI 2013 年的文章獲得了最佳論文提名獎(jiǎng)，出版教材 2 部，譯著 2 部。目前承擔(dān)國家自然科學(xué)基金、973 等多項(xiàng)科研項(xiàng)目。負(fù)責(zé)研發(fā)的語言技術(shù)平臺（LTP）已被 600 余家單位共享，提供的在線「語言云」服務(wù)已有用戶 1 萬余人，并授權(quán)給百度、騰訊、華為等公司使用。2009 年，獲 CoNLL 國際多語種句法和語義分析評測第 1 名。2016 年獲黑龍江省科技進(jìn)步一等獎(jiǎng)；2015 和 2016 連續(xù)兩年獲得 Google Focused Research Award（谷歌專注研究獎(jiǎng)）；2012 年，獲黑龍江省技術(shù)發(fā)明獎(jiǎng)二等獎(jiǎng)；2010 年獲錢偉長中文信息處理科學(xué)技術(shù)獎(jiǎng)一等獎(jiǎng)、首屆漢王青年創(chuàng)新獎(jiǎng)等多項(xiàng)獎(jiǎng)勵(lì)。

雷鋒網(wǎng) AI 科技評論：首先恭喜車?yán)蠋煹墓ご髨F(tuán)隊(duì)獲得了 CoNLL - 2017 的第四名。今年的評測任務(wù)為面向生文本的多語言通用依存分析，是否能和我們簡單介紹一下今年的比賽賽制及情況？

車萬翔博士：謝謝雷鋒網(wǎng)的采訪，很高興借此機(jī)會(huì)分享我們參加此次評測的一些經(jīng)驗(yàn)和教訓(xùn)。

今年的 CoNLL 評測任務(wù)為：Multilingual Parsing from Raw Text to Universal Dependencies，即面向生文本的多語言通用依存分析。從生文本（往往是篇章）出發(fā)，需要進(jìn)行分句、分詞、形態(tài)學(xué)分析、詞性標(biāo)注、依存句法分析等。此次評測提供了 45 種語言的 64 個(gè)多領(lǐng)域通用依存樹庫作為訓(xùn)練資源，最終面向 49 種語言的 81 個(gè)樹庫進(jìn)行評測，其中包含 4 種訓(xùn)練數(shù)據(jù)中未出現(xiàn)的資源稀缺語言以及多種跨領(lǐng)域數(shù)據(jù)。全部數(shù)據(jù)來自 Google 、斯坦福等單位發(fā)起的通用依存樹庫（http://universaldependencies.org/），該數(shù)據(jù)的特點(diǎn)是雖然語言眾多，但是統(tǒng)一制定了詞性標(biāo)注和句法分析的標(biāo)注規(guī)范。最終評價(jià)指標(biāo)為在全部樹庫上依存分析任務(wù)的平均 LAS（依存標(biāo)簽準(zhǔn)確率）。

評測組織者包括 Google，查理大學(xué)（捷克），烏普薩拉大學(xué)（瑞典），圖爾庫大學(xué)（芬蘭）等。數(shù)據(jù)提供及相關(guān)支持來自斯坦福大學(xué)、劍橋大學(xué)、IBM Research 等單位。

2016 年 12 月 11 日評測對外發(fā)布并開始接受報(bào)名，報(bào)名截止日期為 2017 年 4 月 15 日，共有包括卡內(nèi)基梅隆大學(xué)、華盛頓大學(xué)、多倫多大學(xué)、牛津大學(xué)、愛丁堡大學(xué)、東京大學(xué)、 IBM 研究院、Facebook 等在內(nèi)的 113 支隊(duì)伍報(bào)名參賽。最終評測在 5 月 8 日到 14 日之間進(jìn)行。

值得一提的是，此次評測運(yùn)行在 TIRA 系統(tǒng)（http://www.tira.io/）之上。TIRA 為每支參賽隊(duì)伍提供了一臺虛擬機(jī)，供運(yùn)行參評系統(tǒng)。評測期間，參評系統(tǒng)對組織者提供的隱藏測試數(shù)據(jù)進(jìn)行分析并獲得最終的評測結(jié)果，這保證了參賽隊(duì)伍看不到測試數(shù)據(jù)，防止發(fā)生作弊情況。

雷鋒網(wǎng) AI 科技評論：哈工大參賽系統(tǒng)的依存句法分析是如何實(shí)現(xiàn)的？團(tuán)隊(duì)為何采用了基于轉(zhuǎn)移的分析方式？

車萬翔博士：目前依存分析領(lǐng)域兩大主流方法分別是基于轉(zhuǎn)移（Transition-based）和基于圖（Graph-based）的依存分析?；谵D(zhuǎn)移的方法是，構(gòu)建一條從初始轉(zhuǎn)移狀態(tài)到終結(jié)狀態(tài)的轉(zhuǎn)移動(dòng)作序列，在此過程中逐步生成依存樹。其依存分析模型的目標(biāo)是得到一個(gè)能夠準(zhǔn)確預(yù)測下一步轉(zhuǎn)移動(dòng)作的分類器。而基于圖的算法將依存分析轉(zhuǎn)換為在有向完全圖中求解最大生成樹的問題，是基于動(dòng)態(tài)規(guī)劃的一種圖搜索算法。相較之下，基于轉(zhuǎn)移的方法能獲得更大范圍內(nèi)的特征（基于圖的方法的可選特征受到動(dòng)態(tài)規(guī)劃的限制），此外，由于我們采用了貪婪搜索，因此基于轉(zhuǎn)移的方法在預(yù)測時(shí)有相對更快的速度。除了以上兩點(diǎn)之外，近年來，有許多基于轉(zhuǎn)移的依存分析研究工作中將神經(jīng)網(wǎng)絡(luò)利用進(jìn)來，有效提高了該方法的性能，而我們也一直在從事這方面的研究。因此我們最終選擇了基于轉(zhuǎn)移的分析方法。最終我們的系統(tǒng)在僅使用 1 個(gè) CPU、8 GB 內(nèi)存（實(shí)際使用了不到 4 GB）的虛擬機(jī)上，以較短的時(shí)間完成了全部語言的評測。

基于轉(zhuǎn)移的方法的轉(zhuǎn)移系統(tǒng)一般包括保存待處理詞的緩存，保存正在處理詞的棧和歷史轉(zhuǎn)移動(dòng)作。我們采用的是基于轉(zhuǎn)移的 List-based Arc-eager 算法（Choi and McCallum, 2013），該算法的轉(zhuǎn)移系統(tǒng)比一般的轉(zhuǎn)移系統(tǒng)多了一個(gè)雙向隊(duì)列，用于處理非投射現(xiàn)象，因此可以分析非投射樹（弧之間有交叉的樹）。

雷鋒網(wǎng) AI 科技評論：在本次比賽中，團(tuán)隊(duì)基于 Stack LSTM 的基礎(chǔ)，采用了 Bi-LSTM Subtraction 更好地學(xué)習(xí)緩存表示，它的主要原理是怎樣的？而在采用 Incremental Tree-LSTM 對棧中的子樹進(jìn)行建模的過程中，主要有哪些難點(diǎn)？

車萬翔博士：在 Stack LSTM parser 中，只用一個(gè)單向 LSTM 對緩存中所有詞進(jìn)行建模，這樣會(huì)損失已經(jīng)不在緩存中的詞的信息。為了利用這部分信息，我們首先用一個(gè) Bi-LSTM 對整個(gè)句子進(jìn)行建模，從而獲得每個(gè)詞的正向和反向 LSTM 隱層輸出（分別稱為該詞的正向表示和反向表示）。在每個(gè)轉(zhuǎn)移狀態(tài)中，用當(dāng)前緩存第一個(gè)詞的反向表示減去最后一個(gè)詞的反向表示，拼接上最后一個(gè)詞的正向表示減第一個(gè)詞的正向表示，就獲得了當(dāng)前緩存的表示向量。簡單來說，就是用一個(gè)句子片段的頭尾詞的表示向量之差來表示這個(gè)片段。

在 Stack LSTM parser 中，使用遞歸神經(jīng)網(wǎng)絡(luò)（RecNN）逐步組合子樹中的詞和其子節(jié)點(diǎn)（每次組合一對），而在 Tree-LSTM 中，一個(gè)詞和其所有子節(jié)點(diǎn)是同時(shí)組合的。在處理較大的子樹的時(shí)候，遞歸神經(jīng)網(wǎng)絡(luò)可能遇到梯度消失問題。而 Tree-LSTM 則一定程度上緩解了梯度消失問題。由于 Tree-LSTM 中一個(gè)詞和其所有子節(jié)點(diǎn)是同時(shí)組合的，而在依存分析過程中，一個(gè)詞的子節(jié)點(diǎn)是逐個(gè)找到的，因此主要的難點(diǎn)就是如何在每找到一個(gè)詞的子節(jié)點(diǎn)之后就進(jìn)行一次更新。我們的解決方法是每次子樹更新的時(shí)候，找到一個(gè)詞的所有已找到的子節(jié)點(diǎn)，將它們與該詞同時(shí)組合。事實(shí)上在分析過程中，還存在一種情況，即一個(gè)詞的所有子節(jié)點(diǎn)都找到后，其子節(jié)點(diǎn)又找到了子節(jié)點(diǎn)，要處理這種情況，需要在每個(gè)詞找到一個(gè)子節(jié)點(diǎn)后同時(shí)更新它的所有祖先節(jié)點(diǎn)。但考慮到分析速度問題，我們忽略了這種情況，仍然只更新找到子節(jié)點(diǎn)的詞本身。系統(tǒng)框架如下圖所示：

雷鋒網(wǎng) AI 科技評論：根據(jù)賽制的要求，任務(wù)中包含了 4 種訓(xùn)練數(shù)據(jù)中未出現(xiàn)的資源稀缺語言以及多種跨領(lǐng)域數(shù)據(jù)。那么針對資源稀缺的語言，團(tuán)隊(duì)采用的是什么解決方法？

車萬翔博士：我們采用模型遷移（model transfer）的方法，充分利用資源豐富語言的訓(xùn)練資源，來幫助對資源稀缺語言的句法分析。具體來講，對于一種資源稀缺語言（目標(biāo)語言），我們首先根據(jù)語言的形態(tài)學(xué)特征（typology）來選擇與其最接近的一種（或多種）語言作為其源語言。利用源語言的訓(xùn)練資源，我們可以學(xué)習(xí)一個(gè)句法分析器，然后將其應(yīng)用于目標(biāo)語言。這種方法最大的難點(diǎn)是由于源語言和目標(biāo)語言使用不同的詞表所帶來的「詞匯化特征鴻溝」。為了解決這個(gè)問題，我們使用了本團(tuán)隊(duì)在 ACL 2015, AAAI 2016 中所提出的跨語言詞匯分布表示（word embedding）以及布朗聚類（Brown cluster）學(xué)習(xí)算法，使得不同語言之間的句法分析模型能夠進(jìn)行「無縫」遷移。如下圖所示：

此外，在目標(biāo)語言端存在少量標(biāo)注數(shù)據(jù)的情況下，我們利用這些數(shù)據(jù)對遷移模型進(jìn)行精調(diào)（fine-tuning），更顯著地提升了模型在目標(biāo)語言端的性能。

類似的方法也被應(yīng)用于評測中對跨領(lǐng)域平行數(shù)據(jù)的分析，即：利用資源豐富的源領(lǐng)域數(shù)據(jù)來幫助對于資源較少的目標(biāo)領(lǐng)域數(shù)據(jù)的分析，也取得了非常顯著的性能提升。

雷鋒網(wǎng) AI 科技評論：作為全球第四、亞洲第一的團(tuán)隊(duì)，您認(rèn)為哈工大還可以從哪些方面提升評測系統(tǒng)的準(zhǔn)確性？

車萬翔博士：據(jù)目前我們能獲得的材料，排名第一的斯坦福大學(xué)在詞性標(biāo)注環(huán)節(jié)取得了非常好的結(jié)果（準(zhǔn)確率比第二名高 2%），我們都知道，詞性對句法分析的影響非常大，因此如何充分利用語言的特性，尤其是那些形態(tài)學(xué)豐富語言（在本次評測中這些語言占絕大部分）的特性，獲得更好的詞性標(biāo)注結(jié)果，是進(jìn)一步提升評測系統(tǒng)準(zhǔn)確率的一個(gè)可行方案。我們在此次評測中也充分考慮了我們所擅長語言的特性，如對漢語（繁體）、日語和越南語這些語言研發(fā)了專門的分詞系統(tǒng)，最終有效提高了這些語言句法分析的準(zhǔn)確率。

另外，本次評測排名二、三位的系統(tǒng)均采用了多個(gè)系統(tǒng)進(jìn)行集成學(xué)習(xí)的方法，除了基于轉(zhuǎn)移的系統(tǒng)外，他們還利用了基于圖的依存句法分析系統(tǒng)。雖然將這些系統(tǒng)進(jìn)行集成會(huì)取得更好的效果，但是會(huì)極大地降低句法分析系統(tǒng)的速度，因此我們本次評測并沒有采用復(fù)雜的集成學(xué)習(xí)方法。當(dāng)然，為兼顧這兩方面，我們也正在研究如何在不損失系統(tǒng)效率的前提下，達(dá)到集成學(xué)習(xí)的效果。我們的初步試驗(yàn)已經(jīng)取得了不錯(cuò)的效果。

雷鋒網(wǎng) AI 科技評論：本次參賽的其它團(tuán)隊(duì)包括了 CMU、斯坦福等多間名校，也有像 Facebook 的企業(yè)，但從排名結(jié)果上看，排在前列的清一色都是高校，且得分非常出色。您認(rèn)為高校取得大比例優(yōu)勢的原因可能在哪些地方？

車萬翔博士：句法分析是自然語言處理的核心且基礎(chǔ)的研究問題，無法像機(jī)器翻譯、問答系統(tǒng)一樣直接對終端用戶提供服務(wù)，所以目前看還沒有引起企業(yè)的廣泛關(guān)注，而從事基礎(chǔ)研究的高校對其更感興趣，個(gè)別企業(yè)即便應(yīng)用句法分析，往往也是直接向高校購買使用權(quán)。而近年來，隨著句法分析技術(shù)的成熟，它已在細(xì)粒度情感分析、關(guān)系抽取等很多應(yīng)用中發(fā)揮了良好的效果，相信這項(xiàng)技術(shù)會(huì)引起越來越多企業(yè)的興趣和重視。

雷鋒網(wǎng) AI 科技評論：您的團(tuán)隊(duì)此前在 2005、2008 及 2009 年的 CoNLL 上都獲得了優(yōu)異的成績，鑒于每年的任務(wù)類型與難度都不同，是否能和我們介紹一下 CoNLL 歷年任務(wù)的整體變化趨勢？是否會(huì)向解決產(chǎn)業(yè)界的實(shí)際問題靠攏？

車萬翔博士：2005 年，我們參加了 CoNLL 組織的語義角色標(biāo)注評測；2008 參加了英文句法分析和語義角色標(biāo)注的聯(lián)合評測（我們獲得了第二名）；2009 參加了 7 種語言的句法分析和語義角色標(biāo)注聯(lián)合評測（我們獲得了第一名），接著幾年相繼舉行了指代消解、語法糾錯(cuò)、篇章關(guān)系分析等評測。CoNLL 每年會(huì)征集評測題目，最終根據(jù)研究內(nèi)容是否前沿、標(biāo)注數(shù)據(jù)是否高質(zhì)量、組織單位經(jīng)驗(yàn)是否豐富等方面評選出一項(xiàng)最終的評測內(nèi)容。根據(jù) CoNLL 的傳統(tǒng)，相關(guān)的評測往往會(huì)連續(xù)舉行兩年。最終的評測數(shù)據(jù)會(huì)向?qū)W術(shù)界公開以便開展后續(xù)的研究，所以即使評測結(jié)束，也會(huì)有大量的研究工作在這些數(shù)據(jù)上進(jìn)行。

之前的 CoNLL 評測都是學(xué)術(shù)界主導(dǎo)的，所以內(nèi)容多偏向自然語言處理的基礎(chǔ)研究問題，隨著自然語言處理技術(shù)逐漸受到產(chǎn)業(yè)界的重視，相信以后會(huì)有越來越多企業(yè)的參與，因此不排除會(huì)組織一些具有面向?qū)嶋H應(yīng)用的評測。

雷鋒網(wǎng) AI 科技評論：哈工大社會(huì)計(jì)算與信息檢索研究中心經(jīng)過多年技術(shù)積累研發(fā)的「語言技術(shù)平臺（LTP），為產(chǎn)業(yè)界及學(xué)術(shù)界提供多種高效精準(zhǔn)的自然語言處理技術(shù)。目前，學(xué)術(shù)版 LTP 已共享給 500 多家研究機(jī)構(gòu)免費(fèi)使用，百度、騰訊、華為、金山等企業(yè)付費(fèi)使用 LTP 商業(yè)版本。想了解下目前 LTP 的發(fā)展?fàn)顩r？

車萬翔博士：LTP 除了您說的離線版本外，還提供在線服務(wù)，我們將其命名為「語言云」（http://www.ltp-cloud.com/）。開發(fā)者可以直接在線調(diào)用 LTP 的各項(xiàng)服務(wù)，而無需購置額外的硬件和配置自己的運(yùn)行環(huán)境，同時(shí)還能獲得最新的功能。

在研究上，目前的重點(diǎn)是語義依存圖分析，即跨越句法分析和語義角色標(biāo)注兩個(gè)階段，直接分析句子中所有可能存在的實(shí)詞間的語義關(guān)系。目前我們已經(jīng)標(biāo)注了 2 萬句語義依存圖語料庫，并于 2012 和 2016 年組織了兩次 SemEval 的國際評測。

另外，我們也在逐步使用最新的深度學(xué)習(xí)模型更新各個(gè)模塊，目前依存句法分析、語義角色標(biāo)注和語義依存圖分析等模塊已經(jīng)完成升級，而考慮到運(yùn)行速度等原因，更底層的分詞、詞性標(biāo)注和命名實(shí)體模塊仍然使用的是基于人工特征的模型。因此，如何對這些深度學(xué)習(xí)模型進(jìn)行加速也是我們的一個(gè)研究課題。

雷鋒網(wǎng) AI 科技評論：在句法語義分析領(lǐng)域，目前還有哪些亟待解決的問題？作為在這一領(lǐng)域走在前沿的高校，哈工大計(jì)劃從哪些方面入手？

車萬翔博士：與圖像處理、語音識別不同，句法語義分析任務(wù)是語言學(xué)家創(chuàng)造的研究內(nèi)容，因此普羅大眾很難參與到數(shù)據(jù)的標(biāo)注中，導(dǎo)致這些任務(wù)很難獲得充足的訓(xùn)練數(shù)據(jù)。所以如何解決數(shù)據(jù)不足是句法語義分析領(lǐng)域一個(gè)亟待解決的問題。我們所提出的基于「偽數(shù)據(jù)」的方法可以很好的彌補(bǔ)這一不足。所謂「偽數(shù)據(jù)」，指的是不曾面向所研究的任務(wù)進(jìn)行人工標(biāo)注的帶標(biāo)簽訓(xùn)練數(shù)據(jù)，標(biāo)簽是樣本的近似答案（偽），而不是精確答案。如我們之前介紹的利用多語言這種「偽數(shù)據(jù)」，使用模型遷移的方法幫助句法語義分析；另外，多種自然語言處理任務(wù)或者同一任務(wù)的不同規(guī)范數(shù)據(jù)也可以互相幫助，我們就曾提出多使用多任務(wù)學(xué)習(xí)的方法達(dá)到這一目的。

作為底層技術(shù)，句法語義分析最終的目標(biāo)是幫助上層應(yīng)用，然而目前的句法語義分析標(biāo)準(zhǔn)都是由語言學(xué)家創(chuàng)造的，而這些標(biāo)準(zhǔn)是否適用于上層應(yīng)用呢？對于不同的應(yīng)用，是否應(yīng)該采用不同的標(biāo)準(zhǔn)呢？這些問題可能是除準(zhǔn)確率不高外，句法語義分析在應(yīng)用時(shí)所面臨的最主要問題。因此，我們有必要使用自動(dòng)的方法，為不同的任務(wù)歸納出自適應(yīng)的句法語義分析結(jié)果，從而提高其適應(yīng)性，更好的幫助上層應(yīng)用提高分析精度。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。