雷鋒網(wǎng)按：深度學(xué)習(xí)（神經(jīng)處理）給自然語(yǔ)言處理帶來(lái)了革命性的進(jìn)步，基于深度學(xué)習(xí)的機(jī)器翻譯等任務(wù)的性能優(yōu)良大幅度的提升。面向未來(lái)，自然語(yǔ)言處理技術(shù)將如何發(fā)展和演進(jìn)？在哪些方面會(huì)有新突破？7 月 23 日，第二屆語(yǔ)言與智能高峰論壇在北京舉行，華為諾亞方舟實(shí)驗(yàn)室主任李航以《神經(jīng)符號(hào)處理開(kāi)啟自然語(yǔ)言處理新篇章》為題作了報(bào)告，就自然語(yǔ)言領(lǐng)域的發(fā)展、神經(jīng)符號(hào)處理對(duì)自然語(yǔ)言處理的影響等方面闡述了他的看法。 

李航博士，華為諾亞方舟實(shí)驗(yàn)室主任，北京大學(xué)、南京大學(xué)客座教授，IEEE Fellow、ACM 杰出科學(xué)家，研究方向包括信息檢索、自然語(yǔ)言處理、統(tǒng)計(jì)機(jī)器學(xué)習(xí)以及數(shù)據(jù)挖掘。

以下為李航博士演講內(nèi)容實(shí)錄，雷鋒網(wǎng)做了不改變?cè)獾木庉嫛?/strong>

今天想跟大家一起看一下，我們現(xiàn)在一個(gè)主要研究方向，也希望跟大家一起推動(dòng)這個(gè)研究方向，它是神經(jīng)符號(hào)處理。

神經(jīng)符號(hào)處理是未來(lái)自然語(yǔ)言處理非常重要的一個(gè)方向，這個(gè)報(bào)告大概分以下幾個(gè)部分：

一，對(duì)自然語(yǔ)言領(lǐng)域做一個(gè)概述。從我的角度把最近幾個(gè)報(bào)告的主要觀點(diǎn)，再重新梳理一下。

二，為什么我們覺(jué)得神經(jīng)符號(hào)處理是未來(lái)重要的一個(gè)研究方向，它的主要應(yīng)用就是更廣義的問(wèn)答（我們叫智能信息知識(shí)管理系統(tǒng)）。同時(shí)，介紹一些業(yè)界相關(guān)工作和我們自己做的一些研究。

三，拋磚引玉，大家一起探討一些相關(guān)問(wèn)題。

自然語(yǔ)言處理的終極目標(biāo)是做自然語(yǔ)言理解，就是讓計(jì)算機(jī)能夠理解人類的語(yǔ)言。具體來(lái)說(shuō)有兩個(gè)方面：像人一樣能夠去說(shuō)話；像人一樣能去閱讀。理解大概有兩層定義：基于表示的；基于行為的。

如果計(jì)算機(jī)系統(tǒng)聽(tīng)到一句話，它能夠?qū)?yīng)它內(nèi)部的表示，我們就認(rèn)為這個(gè)計(jì)算機(jī)理解了這個(gè)語(yǔ)言?；蛘呤腔谛袨榈?，機(jī)器人聽(tīng)到一句話，能夠按照話的內(nèi)容去做一些行為，就認(rèn)為這個(gè)機(jī)器人理解了這個(gè)自然語(yǔ)言。我們這個(gè)領(lǐng)域終極目標(biāo)就是，期望我們能夠開(kāi)發(fā)出這個(gè)技術(shù)，使計(jì)算機(jī)能達(dá)到這樣的智能識(shí)別。

但我們也知道，語(yǔ)言其實(shí)是一個(gè)非常復(fù)雜的現(xiàn)象，不做自然語(yǔ)言處理、人工智能，可能人類自己都不知道，我們自己的語(yǔ)言是這么復(fù)雜的一個(gè)現(xiàn)象。讓我來(lái)總結(jié)的話，語(yǔ)言有五個(gè)特性，使得我們把語(yǔ)言放在計(jì)算機(jī)上，變得非常具有挑戰(zhàn)性。

• 既有規(guī)律又有很多例外；

• 組合性；

• 遞歸性，造成了語(yǔ)言非常復(fù)雜；

• 比喻性；

語(yǔ)言的本質(zhì)就是產(chǎn)生新的語(yǔ)言進(jìn)行表示，其實(shí)都是在做比喻。所以，比喻性是語(yǔ)言非常重要的特性。語(yǔ)言的理解跟世界知識(shí)是密切相關(guān)的，如果你撇開(kāi)了知識(shí)這些東西談?wù)Z言，其實(shí)都是無(wú)從談起的。

• 交互性。

我們?nèi)祟惖恼Z(yǔ)言其實(shí)是人跟外界做互動(dòng)的一種手段，離開(kāi)了對(duì)外環(huán)境的交互，談?wù)撜Z(yǔ)言其實(shí)也是沒(méi)有意義的。所以，因?yàn)檎Z(yǔ)言有這么復(fù)雜的特性，使得我們?cè)谟?jì)算機(jī)上去實(shí)現(xiàn)自然語(yǔ)言理解，非常具有挑戰(zhàn)性的。這就相當(dāng)于這些特性使得我們要用現(xiàn)在的技術(shù)做計(jì)算的話，基本上都是做全局搜索，全局的這種計(jì)算還不知道該怎么做。這是非常復(fù)雜，具有挑戰(zhàn)性的。

主要原因有以下幾點(diǎn)：

原因一，最近寫的一篇文章，在計(jì)算機(jī)學(xué)會(huì)通訊上，叫做迎接自然語(yǔ)言處理新時(shí)代，有這樣一些觀點(diǎn)，做了比較詳細(xì)的介紹和總結(jié)。而在去年在中文信息處理大會(huì)上報(bào)告的內(nèi)容，也是這個(gè)觀點(diǎn)。

原因二，我們現(xiàn)在總結(jié)看的話，為什么自然語(yǔ)言處理這么難，因?yàn)楸举|(zhì)的原因就是，我們還不知道，是不是能夠用數(shù)學(xué)的模型刻畫語(yǔ)言現(xiàn)象，這個(gè)是自然語(yǔ)言處理的本質(zhì)。這件事情可能不可能做我們不知道，我們只能是部分地實(shí)現(xiàn)這個(gè)目標(biāo)。

所以，這是為什么自然語(yǔ)言處理（甚至是廣義的人工智能）都非常具有挑戰(zhàn)性的原因。

現(xiàn)實(shí)當(dāng)中大家采用的辦法，我們不叫自然語(yǔ)言理解，而是叫自然語(yǔ)言處理。我們的策略是，把人類做語(yǔ)言理解的這個(gè)復(fù)雜過(guò)程進(jìn)行簡(jiǎn)化。

第一個(gè)，我們現(xiàn)在能去做的事情。人類要是理解語(yǔ)言的話，比如人做這種問(wèn)答，問(wèn)我姚明身高是多少，我想一想可能是 2 米 29。我回答的這個(gè)過(guò)程，可能包含了多個(gè)步驟。比如語(yǔ)言的分析、理解、推理、知識(shí)的檢索，最后做判斷，最后產(chǎn)生我的回答，是一個(gè)非常復(fù)雜的過(guò)程。

但是，我們現(xiàn)在要用計(jì)算機(jī)來(lái)做這種智能問(wèn)答或者知識(shí)問(wèn)答的時(shí)候，其實(shí)我們大幅度地簡(jiǎn)化了這個(gè)過(guò)程。就是只做分析、檢索和生成。今天大會(huì)里面有很多老師做報(bào)告，介紹自然語(yǔ)言處理相關(guān)的技術(shù)，基本上做問(wèn)答的時(shí)候，都是把這個(gè)問(wèn)答的過(guò)程簡(jiǎn)化。 

第二個(gè)，現(xiàn)在自然語(yǔ)言處理，非常主流的做法就是數(shù)據(jù)驅(qū)動(dòng)。我們主要的核心技術(shù)是機(jī)器學(xué)習(xí)，現(xiàn)在是用深度學(xué)習(xí)來(lái)做。同時(shí)，我們把人的知識(shí)放進(jìn)去。深度學(xué)習(xí)的重要的特點(diǎn)是，整個(gè)技術(shù)其實(shí)是一種機(jī)器學(xué)習(xí)，但是它的模型是從人的大腦處理機(jī)制中得到啟發(fā)，然后我們定義這個(gè)模型。

所以，現(xiàn)在人工智能、自然語(yǔ)言處理，我們采用的基本工具是機(jī)器學(xué)習(xí)，盡量能夠把人的知識(shí)導(dǎo)入進(jìn)來(lái)，同時(shí)讓這個(gè)模型盡量去參考跟人一樣的處理機(jī)制，實(shí)現(xiàn)自然語(yǔ)言處理。

現(xiàn)實(shí)當(dāng)中，我們看到深度學(xué)習(xí)、大數(shù)據(jù)，確實(shí)給自然語(yǔ)言處理帶來(lái)了很多新契機(jī)。這條路到目前為止看，是最有希望能夠再往前推進(jìn)的一條路。

這個(gè)觀點(diǎn)前年在一次大會(huì)上我作報(bào)告介紹的觀點(diǎn)，也是在計(jì)算機(jī)學(xué)會(huì)通訊上有寫過(guò)一篇文章，簡(jiǎn)論 AI，就是這里面介紹的觀點(diǎn)。 

大家也看到，我們現(xiàn)在的自然語(yǔ)言處理包括人工智能都是這樣一個(gè)過(guò)程?；跀?shù)據(jù)，我們的系統(tǒng)有了用戶，之后我們根據(jù)數(shù)據(jù)改進(jìn)算法、改進(jìn)系統(tǒng)，使系統(tǒng)的性能不斷提高。在人工智能閉環(huán)的時(shí)候，我們就可以不斷地去給用戶提供更好的服務(wù)，使得我們這個(gè)系統(tǒng)變得更加智能化。

我們看一些自然語(yǔ)言處理技術(shù)，就是說(shuō)數(shù)據(jù)驅(qū)動(dòng)，自然語(yǔ)言處理大概有五類技術(shù)，我們用數(shù)學(xué)建模，用統(tǒng)計(jì)機(jī)器學(xué)習(xí)辦法建模，基本上就是這五類模型。主要的應(yīng)用、方法基本上都屬于這五類技術(shù)。

• 分類。文字的序列，我們要打印標(biāo)簽，這是我們常做的最基本的自然語(yǔ)言處理。

• 匹配。兩個(gè)文字序列都匹配，看它們匹配的程度，最后輸出一個(gè)非負(fù)的實(shí)數(shù)值，判斷這兩個(gè)文字序列它們的匹配程度。

• 翻譯。把一個(gè)文字序列，轉(zhuǎn)換成另外一個(gè)文字序列。

• 結(jié)構(gòu)預(yù)測(cè)。你給我一個(gè)文字序列，讓它形成內(nèi)部結(jié)構(gòu)的一個(gè)信息。

• 序列決策過(guò)程。在一個(gè)復(fù)雜的動(dòng)態(tài)變化環(huán)境里面，我們?cè)趺礃硬粩嗳Q策。比如描述序列決策過(guò)程的馬爾可夫隨機(jī)過(guò)程，這是一個(gè)有效的、非常常用的數(shù)學(xué)工具。

我們看自然語(yǔ)言處理的大部分問(wèn)題，基本上做得比較成功、實(shí)用的都是基于這樣的技術(shù)做出來(lái)的。比如：分類，有文本分類、情感分析；匹配，有搜索、問(wèn)答、單輪對(duì)話、基于檢索的單輪對(duì)話；翻譯，有機(jī)器翻譯、語(yǔ)音識(shí)別、手寫體識(shí)別、基于生成方法的單輪對(duì)話；結(jié)構(gòu)預(yù)測(cè)，有專名識(shí)別、詞性標(biāo)注、語(yǔ)意分析；序列決策過(guò)程，有多輪對(duì)話。

我們看到所有的這些重要的自然語(yǔ)言應(yīng)用，其實(shí)是這五種最基本的技術(shù)，基本上都能夠做得還不錯(cuò)。不過(guò)，自然語(yǔ)言處理我們現(xiàn)在做得并不完美，離理想中的情況還差得非常遠(yuǎn)。

這是從另一個(gè)角度看這個(gè)問(wèn)題，我們把它叫做技術(shù)的上界和需求的下界。這個(gè)綠線表示技術(shù)能夠達(dá)到的性能上界，比如機(jī)器翻譯、專名識(shí)別，不可能達(dá)到一個(gè)上界。這個(gè)藍(lán)線表示，用戶對(duì)需求要求的下界。用戶肯定是有一個(gè)最基本的要求，你這個(gè)機(jī)器翻譯如果達(dá)不到，或者太低的話，我們是不能夠給用戶提供滿意服務(wù)的，用戶是不會(huì)去用這個(gè)自然語(yǔ)言處理系統(tǒng)的。所以，一定有一個(gè)用戶要求的最低下界，對(duì)任何一個(gè)實(shí)際的應(yīng)用，都可能有這樣的一個(gè)下界。 

我們這個(gè)技術(shù)的上界就是，如果能夠碰到需求要求的下界的話，實(shí)際上這個(gè)系統(tǒng)就有可能被用戶用起來(lái)。大家覺(jué)得這個(gè)已經(jīng)能夠滿足實(shí)際的需求了，否則的話，你這個(gè)做得再好，用戶要求的下界更高，實(shí)際的技術(shù)也不可能實(shí)用。自然語(yǔ)言處理，大家現(xiàn)在在做的事情就是剛才看的這個(gè)綠線部分，怎么樣不斷往上提高，使技術(shù)的上界——紅色的這部分，能夠再往上提高，使得我們有更多的技術(shù)能夠去滿足用戶需求，使得用戶能夠使用起來(lái)。

我們可以看到，現(xiàn)實(shí)當(dāng)中自然語(yǔ)言處理很熱，上午還有人問(wèn)，自然語(yǔ)言處理里面哪些技術(shù)已經(jīng)比較實(shí)用了，可以看到機(jī)器翻譯和語(yǔ)音識(shí)別已經(jīng)越來(lái)越實(shí)用化。但是我們可以清楚地看到，這個(gè)機(jī)制和人做的機(jī)器翻譯、或者人去做語(yǔ)言識(shí)別完全不是一回事。我們還是用數(shù)學(xué)模型、數(shù)據(jù)驅(qū)動(dòng)的方法。這個(gè)模型是參考了人類大腦的機(jī)制，用大數(shù)據(jù)做出這樣的東西。

這塊的話，我們還會(huì)看到有很多新的技術(shù)，比如說(shuō)，Sequence Learning（序列學(xué)習(xí)）這樣的技術(shù)，不斷有新技術(shù)出來(lái)改進(jìn)。至少現(xiàn)在看，主流的研究方向、發(fā)展方向是這個(gè)，但是我們已經(jīng)越來(lái)越能夠碰到用戶需求要求的下界，所以我們這些技術(shù)能夠變得越來(lái)越實(shí)用化。單獨(dú)對(duì)話包括單獨(dú)的這種問(wèn)答，也是越來(lái)越實(shí)用化。

我們看到各種各樣的工業(yè)產(chǎn)品、服務(wù)出來(lái)，能夠單輪對(duì)話?；蛘呦鄬?duì)來(lái)說(shuō)已經(jīng)比較成熟，未來(lái)能做得越來(lái)越好。但是，多輪對(duì)話還是相對(duì)比較有挑戰(zhàn)。最主要的原因是，多人對(duì)話的數(shù)據(jù)還非常缺少。其實(shí)數(shù)據(jù)驅(qū)動(dòng)這個(gè)模型做好的話，沒(méi)有足夠的數(shù)據(jù)，就是一個(gè)很大的挑戰(zhàn)?，F(xiàn)在做研究也是非常困難。

所以，我們可以看到，未來(lái)自然語(yǔ)言的發(fā)展，可能會(huì)有大的改變。我們剛才說(shuō)這五種最基本技術(shù)，大家不斷往前推進(jìn)，能夠使得技術(shù)上界不斷往上提高，整個(gè)業(yè)界趨勢(shì)是這樣的。

下面看一下神經(jīng)符號(hào)處理。

自然語(yǔ)言的本質(zhì)特點(diǎn)就是符號(hào)，符號(hào)表示的一個(gè)最重要的優(yōu)點(diǎn)就是它可解釋性和可操作性好。我們?cè)谟?jì)算機(jī)上進(jìn)行符號(hào)處理的話，就會(huì)用符號(hào)來(lái)表示我們所有的東西。但是，我們同時(shí)也看到，自然語(yǔ)言的特性，它本身是具有歧義性，有不確定性。我們?nèi)绻颜Z(yǔ)言搬到計(jì)算機(jī)，多半都還擁有噪音。

另一方面，我們看到深度學(xué)習(xí)，更廣義的統(tǒng)計(jì)學(xué)習(xí)能夠比較成功的原因就是，這些機(jī)器學(xué)習(xí)方法它能夠很好地應(yīng)對(duì)不確定性、處理好語(yǔ)言里面的歧義和噪音。另一方面，我們叫神經(jīng)表示（向量表示），用向量來(lái)表示語(yǔ)義，它有很強(qiáng)大的優(yōu)勢(shì)。

我們現(xiàn)在可以明顯看到，符號(hào)表示和神經(jīng)表示其實(shí)是互補(bǔ)的。大家自然會(huì)想到這樣一個(gè)問(wèn)題，我們能不能把這兩個(gè)結(jié)合起來(lái)，這就是我們說(shuō)的神經(jīng)符號(hào)處理。我們希望通過(guò)這樣的手段，能夠把自然語(yǔ)言處理能做得更好，把這個(gè)技術(shù)往前推動(dòng)。

不過(guò)我說(shuō)的話，大家可能不太相信。正好今年年初的時(shí)候去了一個(gè)大學(xué)訪問(wèn)，拜訪了深度學(xué)習(xí)大師 Yoshua Bengio 教授，我還專門跟他探討了他對(duì)神經(jīng)符號(hào)處理的看法，這是他基本的 Comments，不是原話，總結(jié)一下就是有三點(diǎn)：

第一，如果把符號(hào)放到神經(jīng)網(wǎng)絡(luò)里面，他覺(jué)得這很難，可能不 Work。神經(jīng)網(wǎng)絡(luò)本身就是一個(gè)向量矩陣表示的東西，在這個(gè)模型里，把符號(hào)塞進(jìn)去其實(shí)是挺難塞的。

第二，如果把符號(hào)處理和神經(jīng)處理在外圍有效地、不斷地結(jié)合起來(lái)，這是很有道理的，是可以考慮的。

第三，他說(shuō)這種問(wèn)答對(duì)話，其實(shí)應(yīng)該是一個(gè)重要的應(yīng)用。

至少我們也得到他的認(rèn)可，最基本的觀點(diǎn)跟 Bengio 教授的想法也是一致的。

我們下面看一下，智能信息知識(shí)管理系統(tǒng)。大家可以認(rèn)為這是一個(gè)知識(shí)問(wèn)答系統(tǒng)，但是我這樣叫的原因是它跟我們一般的問(wèn)答系統(tǒng)還略微有點(diǎn)不同，我們希望一定程度上，參考人類大腦的機(jī)制。

這個(gè)系統(tǒng)有幾個(gè)模塊，有語(yǔ)言處理單元、中央處理單元、短期記憶、長(zhǎng)期記憶。比如說(shuō)我們來(lái)了一個(gè)問(wèn)句，語(yǔ)言處理單元對(duì)它進(jìn)行分析，把這個(gè)結(jié)果放到短期記憶力，然后在長(zhǎng)期記憶力找到相關(guān)的知識(shí)或者信息，接著把檢索到的內(nèi)容放到短期記憶力，最后再通過(guò)語(yǔ)言處理單元產(chǎn)生出回答。這個(gè)是我們?cè)谑褂眠^(guò)程當(dāng)中的系統(tǒng)。

還有學(xué)習(xí)，這塊我們希望用深度學(xué)習(xí)技術(shù)，進(jìn)行端到端的系統(tǒng)構(gòu)建。這個(gè)系統(tǒng)本身同樣有語(yǔ)言處理單位、中央處理單元、短期記憶、長(zhǎng)期記憶。我們?cè)趯W(xué)習(xí)的過(guò)程中進(jìn)行假設(shè)，這個(gè)輸入是大量的信息知識(shí)和問(wèn)答數(shù)據(jù)，就是有非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)，也有大量問(wèn)答，就是一問(wèn)一答，形成這樣的訓(xùn)練數(shù)據(jù)。我們最理想的狀況，只使用完全數(shù)據(jù)驅(qū)動(dòng)的方法，端到端地自動(dòng)構(gòu)建整個(gè)問(wèn)答系統(tǒng)。我們構(gòu)建整個(gè)長(zhǎng)期記憶里面的信息和知識(shí)，這是我們所構(gòu)想的，或者建議大家考慮這樣的智能信息知識(shí)處理系統(tǒng)。

它有幾個(gè)特點(diǎn)。首先，能夠不斷去積累信息和知識(shí)。這點(diǎn)跟我們?nèi)耸窍嗨频摹Ｄ軌蛉ゲ粩嗟乜吹叫轮R(shí)加到自己長(zhǎng)期記憶里。同時(shí)，如果有人用自然語(yǔ)言來(lái)問(wèn)問(wèn)題的時(shí)候，它能夠準(zhǔn)確地回答。當(dāng)自己不知道的時(shí)候，就說(shuō)我不知道。我們?nèi)艘彩沁@樣，不是什么都知道，就是我們不知道的時(shí)候，能夠準(zhǔn)確地告訴用戶我不知道。

其次，希望這個(gè)系統(tǒng)盡量完全沒(méi)有人干預(yù)，而是自動(dòng)地去能夠把它建立起來(lái)。這樣的系統(tǒng)將來(lái)會(huì)非常有用，而且非常強(qiáng)大。大家可以想象，我們?nèi)绻磉呌幸粋€(gè)智能助手，有什么問(wèn)題你不知道，過(guò)去問(wèn)它，它可能會(huì)告訴你，這個(gè)會(huì)有多么方便。當(dāng)然這個(gè)愿景不光是我在這兒說(shuō)的，我們也可以看到業(yè)界很多人描述出了類似愿景。

我覺(jué)得這非常重要，如果人類能夠做到這一點(diǎn)的話，就是一個(gè)質(zhì)的飛躍。人類發(fā)明了語(yǔ)言，是第一個(gè)質(zhì)的飛躍，有了語(yǔ)言，大家可以交流、傳遞信息，互相傳授知識(shí)。第二個(gè)質(zhì)的飛躍就是，我們?nèi)绻幸粋€(gè)智能系統(tǒng)放在自己身邊，我想要問(wèn)什么知識(shí)都能準(zhǔn)確告訴我。

然后，換另外一個(gè)角度看，計(jì)算機(jī)有兩個(gè)地方是非常強(qiáng)大的：計(jì)算能力和存儲(chǔ)能力。計(jì)算能力已經(jīng)發(fā)揮得淋漓盡致了，但是存儲(chǔ)能力發(fā)揮到一半，概念上講，它能存儲(chǔ)無(wú)窮多的信息，計(jì)算機(jī)現(xiàn)在可以把人類所有的知識(shí)信息全部存儲(chǔ)下來(lái)。但是我們現(xiàn)在遇到的瓶頸是我們不能有效地去訪問(wèn)這些信息。這塊如果我們?cè)谧匀徽Z(yǔ)言處理、人工智能研究方面有重大突破的話，我們真的是可以把整個(gè)人類的能力又推進(jìn)一步。

大家可以從另一個(gè)角度看，我們這樣的智能系統(tǒng)很理想，現(xiàn)實(shí)當(dāng)中其實(shí)已經(jīng)有這樣的雛形，也不是說(shuō)幾乎是渺茫的?，F(xiàn)在的搜索引擎，一定程度上已經(jīng)扮演了這樣的角色，搜索引擎有爬蟲(chóng)、索引、機(jī)器學(xué)習(xí)機(jī)制幫助我們?nèi)プ雠判?，給我反饋結(jié)果。一定程度上已經(jīng)在做類似的事情了，但只是沒(méi)有做得更好，我們相信這是一個(gè)演進(jìn)過(guò)程，會(huì)不斷地往前推動(dòng)，技術(shù)不斷地會(huì)進(jìn)步。我們相信，未來(lái)的話擁有這樣一個(gè)智能助手能夠幫助到我們。

我們?cè)倏匆幌?，為什么神?jīng)符號(hào)處理和智能信息管理是密切結(jié)合的。這個(gè)跟 Bengio 教授的想法是相關(guān)的。這個(gè)技術(shù)和這個(gè)應(yīng)用有一些天然的關(guān)系，另一方面的話，它倆真正是互補(bǔ)、強(qiáng)烈相關(guān)的。

我們可以考慮用這樣的技術(shù)，神經(jīng)符號(hào)處理實(shí)現(xiàn)智能信息知識(shí)管理系統(tǒng)。就是說(shuō)，你先來(lái)了一個(gè)問(wèn)題，通過(guò)語(yǔ)言處理模塊，它有編碼器和解碼器，編碼器把這個(gè)問(wèn)題轉(zhuǎn)換成中間的表示，中間表示放在短期記憶里，這個(gè)問(wèn)題是有兩部分，既有符號(hào)表示又有神經(jīng)表示?，F(xiàn)在自然語(yǔ)言處理內(nèi)，很多系統(tǒng)類似在做這樣的事情，大家可能沒(méi)有明確說(shuō)這個(gè)事。

知識(shí)信息都放在長(zhǎng)期記憶里，也是有兩種表示，既有信息表示又有符號(hào)表示。但這兩者中間的話也是分開(kāi)的，其實(shí)應(yīng)該是密切相關(guān)的，但是這個(gè)怎么去做，還有很多要去解決的問(wèn)題。

但是，我們可以想象，長(zhǎng)期記憶里的信息和知識(shí)，都是既有符號(hào)表示又有神經(jīng)表示。做問(wèn)答的時(shí)候來(lái)了個(gè)問(wèn)題，做了分析有了內(nèi)部表示以后，可以通過(guò)在短期記憶里的表示，通過(guò)表示之間的匹配，在長(zhǎng)期記憶里找到相關(guān)的信息和知識(shí)，在短期記憶里也產(chǎn)生對(duì)應(yīng)的符號(hào)和神經(jīng)表示。這時(shí)候還有一個(gè)解碼器，把這個(gè)表示轉(zhuǎn)換成自然語(yǔ)言、答案，這樣我們就可以構(gòu)建一個(gè)非常智能的自然語(yǔ)言問(wèn)答系統(tǒng)。

這個(gè)想法其實(shí)大家已經(jīng)在各個(gè)層面上看到很多了，相關(guān)的工作有很多。例如：語(yǔ)義分析，Semantic Parsing，在 Semantic Parsing 里面要做的事情，就要把自然語(yǔ)言的語(yǔ)句，轉(zhuǎn)換成結(jié)構(gòu)化內(nèi)容的表示，這個(gè) Semantic Parsing 到目前為止，最主要的想法還是通過(guò)人寫的規(guī)則，定義語(yǔ)法、定義模型，然后做語(yǔ)意的解析。但是，我們假設(shè)完全不用人來(lái)參與，更要去學(xué)習(xí)內(nèi)部的表示該怎么去做。

還有，CMU 的這個(gè)項(xiàng)目大家知道，叫 Never Ending Language Learning（NELL），這些想法就是，互聯(lián)網(wǎng)里抓取的知識(shí)，不斷擴(kuò)大知識(shí)，開(kāi)始的時(shí)候，有最基本的 Ontology（本體論）。然后有一些例子，比如北京是中國(guó)的首都，這樣的例子，希望從互聯(lián)網(wǎng)里面找到更多的知識(shí)，把它加入到 Ontology 里去，希望這個(gè)過(guò)程機(jī)器能夠不斷抓取，抓取的準(zhǔn)確率和效率能夠不斷提升。這是 NELL 這個(gè)項(xiàng)目。

還有 Facebook 的 Memory Network，能做一些簡(jiǎn)單的問(wèn)答，比如里面有一個(gè)系統(tǒng)用自然語(yǔ)言的，比如—John is in the playground.—Bob is in the office.—John picked up the football.—Bob went to the kitchen.然后就問(wèn)這個(gè)系統(tǒng)，Where is the football？回答 Playground 就是對(duì)的。

Facebook 推出這種模型的話，可以去做這樣簡(jiǎn)單的問(wèn)答。當(dāng)然現(xiàn)在準(zhǔn)確率還不是特別高，它最基本的想法就是，把這些用自然語(yǔ)言表示的信息，能夠把它放到長(zhǎng)期記憶里，這個(gè)長(zhǎng)期記憶也是神經(jīng)表示，把內(nèi)容表示放到里面，來(lái)了一個(gè)新問(wèn)題，把新問(wèn)題直接轉(zhuǎn)換成神經(jīng)表示然后再做匹配，找到相關(guān)答案，然后返回回來(lái)?，F(xiàn)在這個(gè)模型還比較簡(jiǎn)單，但是這個(gè)方向很多人都已經(jīng)在做了。

還有大家也知道，Differentiable Neural Computers 這樣的模型，它基本的想法也是，覺(jué)得現(xiàn)在神經(jīng)網(wǎng)絡(luò)很弱的地方，就是沒(méi)有長(zhǎng)期記憶，希望能夠更好地利用長(zhǎng)期記憶。長(zhǎng)期記憶在 DNBD 的模型里，它實(shí)際上就是一個(gè)大矩陣，每一行向量其實(shí)是比較深的一個(gè)語(yǔ)義表示。這個(gè)模型本身有三種神經(jīng)網(wǎng)絡(luò)，能夠去控制訪問(wèn)這個(gè)長(zhǎng)期記憶機(jī)制，因?yàn)橛虚L(zhǎng)期記憶的話，一個(gè)重要事情是要從長(zhǎng)期記憶里進(jìn)行讀取。這個(gè)讀取的控制，有三個(gè)神經(jīng)網(wǎng)絡(luò)能夠去進(jìn)行。我們大家也在朝這個(gè)方向在做。

下面簡(jiǎn)短介紹一下，我們?cè)谥Z亞方舟實(shí)驗(yàn)室做的一些基礎(chǔ)研究。有呂正東博士、尚利峰博士，還有其他合作的老師一起做的工作。

主要有兩個(gè)工作，都是研究我們順著這個(gè)思路來(lái)做的。

第一個(gè)是在知識(shí)圖譜里面進(jìn)行知識(shí)問(wèn)答。假設(shè)我們有大量數(shù)據(jù)，比如說(shuō)姚明身高是多少，2 米 29，我們能夠有這種觀點(diǎn)，說(shuō)出答案的話，具體是對(duì)應(yīng)著知識(shí)庫(kù)里的哪一個(gè)單元，我們有大量數(shù)據(jù)的話，我們的目標(biāo)就是有一個(gè)學(xué)習(xí)系統(tǒng)，就是學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的，然后構(gòu)建自動(dòng)問(wèn)答系統(tǒng)。來(lái)了一個(gè)新問(wèn)句的話，我們能夠從數(shù)據(jù)庫(kù)、知識(shí)庫(kù)里面找到答案。然后就這么產(chǎn)生自然語(yǔ)言回答，這是我們現(xiàn)在做的一個(gè)工作。

這種 Setting 如果大家能夠做得非常好的話，真正就能夠自動(dòng)地構(gòu)建這個(gè)問(wèn)答系統(tǒng)，一個(gè)知識(shí)庫(kù)的例子，能夠自動(dòng)地構(gòu)建問(wèn)答系統(tǒng)。

這個(gè)思想的話，基本上也是剛才我介紹的我們想做的這種神經(jīng)符號(hào)處理的思想。就是來(lái)了問(wèn)句以后，我們有編碼器，轉(zhuǎn)換成內(nèi)部的表示，它既有符號(hào)，又有神經(jīng)表示（向量表示），這個(gè)三角是一個(gè)符號(hào)，這個(gè)黃色長(zhǎng)條表示神經(jīng)表示（向量），我們這個(gè)知識(shí)庫(kù)里的單元圖，也是由符號(hào)單元圖表示，也有對(duì)應(yīng)向量表示。整個(gè)知識(shí)，有兩種表示，問(wèn)答過(guò)程中，確實(shí)像剛才描述一樣，我們?cè)谥R(shí)庫(kù)里找到答案，產(chǎn)生中間表示，解碼器通過(guò)答案還有編碼器產(chǎn)生問(wèn)句的表示，最后產(chǎn)生一個(gè)回答。

我們剛開(kāi)始從知識(shí)圖庫(kù)里面找到答案，第二個(gè)可能就是關(guān)系數(shù)據(jù)庫(kù)。我們的知識(shí)不是在網(wǎng)絡(luò)表示里面給的，而是在數(shù)據(jù)庫(kù)的表里給出，這樣我們其實(shí)也可以做類似事情。就是我們提出了一個(gè)模型，可以把這個(gè)關(guān)系數(shù)據(jù)庫(kù)既做符號(hào)表示又做神經(jīng)表示。有這樣一個(gè)長(zhǎng)期記憶力的整個(gè)知識(shí)表示。來(lái)了問(wèn)句以后，把它轉(zhuǎn)換成中間的神經(jīng)表示，然后去做檢索、匹配找到答案，最后產(chǎn)生答案。這塊的話，我們進(jìn)一步改進(jìn)了這個(gè)模型，希望能夠更或地結(jié)合符號(hào)和神經(jīng)處理。

下面就是對(duì)報(bào)告的總結(jié)，今天跟大家一起看的神經(jīng)符號(hào)處理，我覺(jué)得是重要的研究方向。要我來(lái)說(shuō)的話，是自然語(yǔ)言處理未來(lái)發(fā)展最重要的方向之一。

它最主要的應(yīng)用，應(yīng)該是這種廣義的知識(shí)問(wèn)答，這塊智能的信息和知識(shí)管理。我們也都看到，業(yè)界大家都是往這個(gè)方向走，已經(jīng)取得了一些成果，但是真正把這些技術(shù)實(shí)用化，還有很多具體的問(wèn)題要去解決，還有很多實(shí)際的工作需要去做。但是，我覺(jué)得，我們對(duì)這個(gè)方向還是充滿信心，還是覺(jué)得將來(lái)會(huì)是非常令人振奮的。

問(wèn)：您剛才報(bào)告中有一句話我覺(jué)得非常好，就是我們現(xiàn)在要懷疑一下，人工智能能不能用數(shù)學(xué)模擬到人的智能的情況。這里我想聊一下當(dāng)今比較熱門的 Chatbot，大家在做對(duì)話的時(shí)候，都是局限于單輪對(duì)話，或者說(shuō)不特定領(lǐng)域的，對(duì)多輪對(duì)話和開(kāi)放領(lǐng)域的問(wèn)答，我們都做得非常不好，對(duì)于多輪對(duì)話開(kāi)放性的問(wèn)題，您覺(jué)得人工智能目前它能夠?qū)崿F(xiàn)到一個(gè)什么樣的程度？以及用目前的技術(shù)的話，它有個(gè)大致的解決時(shí)間嗎？

李航：我覺(jué)得還是數(shù)據(jù)是一個(gè)瓶頸，現(xiàn)在大家都沒(méi)有數(shù)據(jù)，其實(shí)一定程度上，不管大公司小公司，大家數(shù)據(jù)都不夠，因?yàn)槎噍唽?duì)話的時(shí)候，它的復(fù)雜度一下子增加很多。它不是一個(gè)簡(jiǎn)單地從單輪到多輪，大數(shù)據(jù)增加了一些，它應(yīng)該是指數(shù)級(jí)地增加這些大數(shù)據(jù)。

我個(gè)人觀點(diǎn)是，Open Domain 的這種閑聊，做成多輪是很難的。可能都沒(méi)有什么短期看到的可能性。但是如果基于任務(wù)驅(qū)動(dòng)的，有一定的數(shù)據(jù)以后，應(yīng)該是能夠做的，真的需要有數(shù)據(jù)才能夠往前推動(dòng)。

問(wèn)：您剛才提到兩種表示方式，一種是傳統(tǒng)符號(hào)的表示方式，現(xiàn)在是知識(shí)圖譜中間的一種表示，另外一種是向量化的表示。我覺(jué)得向量化的表示方式一種好處是，雖然我覺(jué)得我們有很多知識(shí)，很難用目前這種邏輯符號(hào)方式來(lái)描述，用向量化的表示方法，不一定很準(zhǔn)，但可以從大量語(yǔ)料里頭學(xué)習(xí)到一定的東西，我們雖然不知道它是對(duì)的。但對(duì)于傳統(tǒng)符號(hào)很難表示的這種情況下，像您剛才說(shuō)的這種，怎么來(lái)互相結(jié)合？

李航：應(yīng)用驅(qū)動(dòng)比較難，你就不知道用向量表示到底是不是合理，那只有通過(guò)最后應(yīng)用的結(jié)果進(jìn)行判斷。其實(shí)大家對(duì)知識(shí)的理解，我們自己日常工作生活當(dāng)中使用的一些知識(shí)都是下意識(shí)的，真的是不知道它具體是個(gè)什么樣形式，有什么樣內(nèi)容。這些東西，如果我們放在計(jì)算機(jī)里就會(huì)發(fā)現(xiàn)，語(yǔ)言有眾多歧義，知識(shí)有更多不確定性。

這些東西就是你說(shuō)的，我們現(xiàn)在只能在一些頁(yè)目能看到，可以怎么把它表示出來(lái)。比如說(shuō)，我們現(xiàn)在默認(rèn) Binding 還是非常簡(jiǎn)單粗暴的方法。但在這里面能看到，它能解決一些問(wèn)題，就說(shuō)明應(yīng)用啟動(dòng)能夠幫助我們找到這些更好的表示方法，更好地去學(xué)習(xí)這些表示方法。

反正我覺(jué)得對(duì)知識(shí)的認(rèn)識(shí)有兩個(gè)很重要：一個(gè)是應(yīng)用驅(qū)動(dòng)，一個(gè)是具體的領(lǐng)域。

一定要把領(lǐng)域跟應(yīng)用分清楚。當(dāng)然你也可以說(shuō)我就是 General Domain，那也是一個(gè)，但是一般來(lái)說(shuō)知識(shí)要用的話，可能是在金融、醫(yī)療甚至更細(xì)的領(lǐng)域這樣去做，能更加在現(xiàn)實(shí)當(dāng)中能夠用起來(lái)，也更容易去對(duì)這種應(yīng)用的評(píng)價(jià)，看這個(gè)表示方法到底好不好。

雷鋒網(wǎng)后續(xù)還將發(fā)布芝加哥伊利諾伊大學(xué)劉兵教授的演講內(nèi)容實(shí)錄，敬請(qǐng)期待。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。