雷鋒網(wǎng) AI 科技評論按，2017 年 11 月 25-26 日，中國中文信息學(xué)會 2017 學(xué)術(shù)年會暨理事會在深圳隆重舉行。會議第一天，主辦方邀請到美國伊利諾伊大學(xué)香檳分校（UIUC）計(jì)算機(jī)系教授翟成祥、中國科學(xué)院心理研究所所長傅小蘭、京東硅谷研究院主任研究員李維、清華大學(xué)醫(yī)學(xué)院生物醫(yī)學(xué)工程系宋森、今日頭條人工智能實(shí)驗(yàn)室主任李航為大家?guī)砹宋鍒鼍始姵实奶匮麍?bào)告。關(guān)于大會第一天的內(nèi)容，雷鋒網(wǎng) AI 科技評論之前有詳細(xì)報(bào)導(dǎo)，具體信息請參見橫跨心理學(xué)、計(jì)算機(jī)科學(xué)、神經(jīng)科學(xué)，看中國中文信息學(xué)會 2017 學(xué)術(shù)年會如何引起多個領(lǐng)域大碰撞

在此次會議上，作為最后一位特邀報(bào)告嘉賓，李航研究員帶來了主題為《人工智能的未來—記憶、知識與語言》的分享，他此次的分享主要圍繞智能問答系統(tǒng)展開，為大家分析了 NLP 所面臨的三大挑戰(zhàn)、目前值得借鑒的應(yīng)對方法以及對智能問答系統(tǒng)的展望。關(guān)鍵詞如下：長期記憶、神經(jīng)處理、符號處理。

以下為他的演講內(nèi)容，雷鋒網(wǎng) AI 科技評論做了不改變原意的編輯和整理。

構(gòu)建擁有長期記憶的智能問答系統(tǒng)，是我們現(xiàn)在的愿景

今天非常高興來到這里，與大家一起從記憶、知識和語言的角度探討自然語言處理、人工智能在未來發(fā)展的趨勢。首先我們來看記憶和智能的關(guān)系，分析自然語言處理的發(fā)展是否可以構(gòu)建智能化的問答系統(tǒng)。

先來看看記憶對人的智能有多么重要。這里是一個示例，英國有一名叫 Clive Wearing 的音樂家，他現(xiàn)在七十多歲，他在四十多歲時患了腦炎，非常幸運(yùn)的是他存活下來了，但不幸的是他大腦里的海馬體受到了損傷，得病了之后不能再記新的東西。日常的癥狀如下，他認(rèn)識自己的太太，但不認(rèn)識自己的女兒，雖然說話、行動、唱歌、彈鋼琴都沒問題，但他沒有記憶了，只有瞬間意識。大家有興趣的可以去網(wǎng)上搜關(guān)于他的視頻看一下。

他太太把他的病總結(jié)的非常清楚，能夠做簡單的思考，但沒有記憶。從這個案例中，可以看到記憶對人來說是非常重要的。這里面涉及到一個重要的器官，即大腦中的海馬體。這里有一張圖，是人體大腦的結(jié)構(gòu)。

下面這幅圖是斯坦福的一個腦科學(xué)家 Frank Longo 畫的大腦的功能模型，他是從記憶的角度看的。大腦的記憶部分首先有感官，來感受到客觀的信息，這種感官寄存器能記住外界傳來的 1-5s 的信息，如果大腦感興趣，就會記住大概 18-30s 的內(nèi)容，如果對這個內(nèi)容特別感興趣，就能放到大腦的長期記憶里。

長期記憶的特點(diǎn)是信息的壓縮。我們大腦在記憶的過程當(dāng)中，記新的東西是把已有的鏈路增強(qiáng)，而不是增加新的腦細(xì)胞。

剛才看的是人腦，現(xiàn)在看人工智能系統(tǒng)，比如 AlphaGo、自動駕駛等，其實(shí)這些系統(tǒng)都是沒有長期記憶的。這些系統(tǒng)里都有一定的模型，通過機(jī)器學(xué)習(xí)的方法事先學(xué)好，比如 AlphaGo 在下棋的過程中，調(diào)用訓(xùn)練好的模型?，F(xiàn)在的人工智能系統(tǒng)，和我一開始提到的那個英國音樂家的案例很像，都屬于 moment to moment，沒有長期記憶。

日裔科學(xué)家 Michio Kaku 對意識的定義如下：系統(tǒng)和外界交互，如果系統(tǒng)的內(nèi)部狀態(tài)發(fā)生變化，就認(rèn)為這個系統(tǒng)是有意識的。從他的觀點(diǎn)來看，溫度計(jì)和花都是有意識的。對意識的討論大家都有不同觀點(diǎn)，很難達(dá)到共識。從他的定義來說，人工智能系統(tǒng)是有簡單意識的，但沒有長期記憶。

往下走智能問答系統(tǒng)應(yīng)該是什么樣的呢？暢想 5-10 年后的未來，有可能構(gòu)建這樣的智能系統(tǒng)，在這個系統(tǒng)中，有語言處理模塊，包括短期記憶、長期記憶，系統(tǒng)能自己不斷去讀取數(shù)據(jù)，能把數(shù)據(jù)里面的知識做壓縮表示，放到長期記憶模塊。構(gòu)建這樣的擁有長期記憶的智能問答系統(tǒng)，這是我們現(xiàn)在的愿景。

在這一過程中，面臨著歧義性、多樣性、模糊性這三個問題

自然語言處理中有個非常重要的想法：把語言的表示映射到計(jì)算機(jī)內(nèi)部的表示。有了這個表示，我們認(rèn)為計(jì)算機(jī)進(jìn)行了語言的理解，在學(xué)習(xí)知識。

這里面有好幾個挑戰(zhàn)。人類的語言到大腦的語義理解映射是多對多的，會遇到歧義性的問題，即同一個語言表達(dá)會有不同的意思。另外會遇到多樣性的問題，即不同的語言表達(dá)是同一個意思。最后一個問題是從認(rèn)知的角度來看，語義是非常模糊的。

進(jìn)一步來分析這三個挑戰(zhàn)，下圖中是用 claim 的幾個例子，可以擴(kuò)展為不同的意思。即具有多義性。

第二是多樣性，比如太陽和地球的距離，有很多種不同的說法。

最后是知識概念的模糊性，比如 bachelor 的概念，它表示單身男子，但是未婚的父親、假結(jié)婚的人等是不是可以定義為單身，大家的觀點(diǎn)可能不一樣。這與語言的多樣性會有一定的關(guān)聯(lián)，我們會對典型的單身男子的概念有個共識。

從這里可以看到自然語言并不好做，在自動問答系統(tǒng)中需要去做一個映射，映射里會面臨前面提到的多義性、多樣性、知識的模糊性這三大挑戰(zhàn)。大家都在朝這樣的智能問答系統(tǒng)努力。

未來：神經(jīng)系統(tǒng)和符號系統(tǒng)的結(jié)合

現(xiàn)在考慮的是神經(jīng)系統(tǒng)和符號系統(tǒng)的結(jié)合。

深度學(xué)習(xí)非常熱，特別是在自然語言處理和機(jī)器翻譯方面給我們帶來了很大的進(jìn)步。雖然它確實(shí)很強(qiáng)大，但局限性也很明顯：它不能很好地處理符號。在計(jì)算機(jī)上做語言處理，離不開符號，符號很重要，是語言的本質(zhì)特點(diǎn)。

在自然語言處理中，深度學(xué)習(xí)在人的感知領(lǐng)域，比如說圖像、語音方面比較成功，所以自然就會想到，能不能用神經(jīng)符號的處理方法實(shí)現(xiàn)我們所說的智能問答系統(tǒng)。這樣的智能問答系統(tǒng)，通過把神經(jīng)處理和符號處理相結(jié)合，加上語言處理模塊，沿用深度學(xué)習(xí)的概念，這里面包括編碼器、解碼器。在表示信息的時候，既有符號表示，又有神經(jīng)表示，用詞向量去表示單詞。將符號表示和向量表示組合起來，產(chǎn)生一定的結(jié)構(gòu)，更好地表示知識。

這樣的工作業(yè)界已經(jīng)開始在做。比如 2015 年提出的 Nell（Never Ending Language Learning) 系統(tǒng)，這個工作強(qiáng)調(diào)讓系統(tǒng)看大量文本內(nèi)容，自動學(xué)到知識。這個系統(tǒng)能自動在互聯(lián)網(wǎng)上爬取數(shù)據(jù)、處理數(shù)據(jù)、抽取知識，加入到數(shù)據(jù)庫。

另外一個比較具有代表性的工作是 Percy Liang 在 2016 的研究。首先要有語法，語法通常是人定義的，通過語法產(chǎn)生多個解釋；然后要有模型，模型也是事先學(xué)好的；再基于上下文選擇最有可能的解釋，轉(zhuǎn)換為邏輯表達(dá)式。在這里，我們的思考是，現(xiàn)在是否能借鑒深度學(xué)習(xí)的想法，做一個端到端的系統(tǒng)，完全自動學(xué)到語言處理的編碼器、解碼器等。

為什么很多人都關(guān)注長期記憶，因?yàn)殚L期記憶確實(shí)是現(xiàn)在幾乎所有的人工智能系統(tǒng)所不具備的能力。現(xiàn)在也有這方面的研究，比較有名的就是 DeepMind 的 DNC（Differentiable Neural Computers）工作，這個工作也是在關(guān)注如何把知識用矩陣的形式存儲在長期記憶里。這個系統(tǒng)里提出了三類不同的神經(jīng)網(wǎng)絡(luò)，這三種不同的神經(jīng)網(wǎng)絡(luò)實(shí)際上模仿了老鼠的海馬體機(jī)理，目前對老鼠的海馬體機(jī)制已經(jīng)研究得比較透徹。

大家也知道 Facebook 的 Memory Networks 系統(tǒng)，這個系統(tǒng)可以根據(jù)描述做些簡單的問答。系統(tǒng)最核心的概念也是長期記憶，想法相對來說是比較傳統(tǒng)的深度學(xué)習(xí)概念，模型的構(gòu)建全是神經(jīng)網(wǎng)絡(luò)在做。

最近的最接近的工作是谷歌 16 年出的 Neural Symbolic Machines 模型，這個想法非常有意思，要做的事情也是問答，訓(xùn)練數(shù)據(jù)是大量的問句和命令，去學(xué)習(xí) Sequence to Sequence 模型，可以執(zhí)行復(fù)雜的計(jì)算機(jī)命令，找到答案。

華為諾亞方舟實(shí)驗(yàn)室在神經(jīng)符號處理方面的相關(guān)工作

下面是我之前在華為諾亞方舟實(shí)驗(yàn)室做的兩個工作，都是神經(jīng)符號處理方面的。

第一個是 GenQA。這個工作是這樣的，假設(shè)你有個知識圖譜，這里面含有大量的問答句。我們希望模型能自動學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，去做問答，生成答案。

這個工作是基于神經(jīng)符號處理的思想，其中包括長、短期記憶模塊。假設(shè)來了一個問句，現(xiàn)在有編碼器，可以把這個問句轉(zhuǎn)化為內(nèi)部表示，其中既有符號表示，又有向量表示，然后用這些表示去檢索知識庫。這個過程用神經(jīng)網(wǎng)絡(luò)來控制。這個工作主要的特點(diǎn)是得到的三元組可能是最好的三元組，根據(jù)問句的向量表示，檢索到三元組的向量符號表示。

在下圖中，左下方是根據(jù)語言的理解該生成什么，右邊是從長期記憶里檢索的結(jié)果，通過把兩者結(jié)合來做判斷。

第二個要介紹的是今年比較新的工作，叫做 Neural Enquirer and Symbolic Enquirer，與基于神經(jīng)符號處理的思想非常一致。其中既有神經(jīng)表示，又有符號表示。查詢數(shù)據(jù)庫是個非常復(fù)雜的過程，在這個工作中，我們希望把 Enquirer 做得非常好，真正去把問句的表示利用起來，很好地檢索數(shù)據(jù)庫。

怎么樣把自然語言的描述轉(zhuǎn)化為命令還是有一定的挑戰(zhàn)，這個系統(tǒng)中有兩個 Enquirer，一個是 Neural Enquirer，一個是 Symbolic Enquirer。數(shù)據(jù)庫的查詢操作用符號來表示，整個操作過程用神經(jīng)網(wǎng)絡(luò)來控制，通過三步就能把答案找到。我們可以把數(shù)據(jù)庫查詢分解成為最基本的操作，比如 argmax、select 等，可以定義一個命令的集合來組成命令，命令每次的操作是針對一列進(jìn)行的。

Symbolic Enquirer 的特點(diǎn)是操作的過程全是符號，底層全是用神經(jīng)網(wǎng)絡(luò)去做。用端到端就能構(gòu)建這樣的系統(tǒng)，不需要任何人的參與。假設(shè)有大量的語法，就能學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，自動產(chǎn)生命令序列，訪問數(shù)據(jù)庫找到答案。另外一個對應(yīng)的想法是 Neural Enquirer，同樣的問句，邏輯上也要執(zhí)行三步，我們?nèi)坑蒙窠?jīng)網(wǎng)絡(luò)去實(shí)現(xiàn)。這一塊用到五個 executor。

Symbolic Enquirer 在執(zhí)行上很快，它的缺點(diǎn)是學(xué)習(xí)非常困難。Neural Enquirer 的優(yōu)點(diǎn)是學(xué)習(xí)比較快，但執(zhí)行上比較慢，相當(dāng)于每次都要把數(shù)據(jù)庫的表重新掃描一遍。自然的想法是將這兩個 Enquirer Couple 起來，把兩者的優(yōu)點(diǎn)結(jié)合。學(xué)習(xí)的時候，先學(xué) Neural Enquirer，學(xué)好了之后再讓他去指導(dǎo) Symbolic Enquirer，然后 Symbolic Enquirer 再去引導(dǎo) Neural Enquirer，兩個 Enquirer 互相幫助。

總結(jié)

下面我做一個簡單的總結(jié)，今天我們暢想的是自然語言的未來，希望未來自然語言處理系統(tǒng)能慢慢實(shí)現(xiàn)長期記憶，能把深度學(xué)習(xí)和符號處理結(jié)合起來，發(fā)揮兩者的優(yōu)勢。同時，我們也要更多地參考人腦的信息處理機(jī)制，未來把自然語言處理推到另一個高度?？紤]有這樣的智能問答系統(tǒng)，能看大量的文獻(xiàn)，知識庫，讀取到重要的信息知識。目前業(yè)界正在做很多的相關(guān)工作，相信這在未來會是一個重要方向。

后續(xù)，李航研究員會以這次公開演講的主題為契機(jī)，撰寫長文來描述他眼中「人工智能的未來」，雷鋒網(wǎng) AI 科技評論也會第一時間關(guān)注。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。