雷鋒網 AI 科技評論按，2017 年 11 月 25-26 日，中國中文信息學會 2017 學術年會暨理事會在深圳隆重舉行。會議第一天，主辦方邀請到美國伊利諾伊大學香檳分校（UIUC）計算機系教授翟成祥、中國科學院心理研究所所長傅小蘭、京東硅谷研究院主任研究員李維、清華大學醫(yī)學院生物醫(yī)學工程系宋森、今日頭條人工智能實驗室主任李航為大家?guī)砹宋鍒鼍始姵实奶匮麍蟾?。關于大會第一天的內容，雷鋒網 AI 科技評論之前有詳細報導，具體信息請參見橫跨心理學、計算機科學、神經科學，看中國中文信息學會 2017 學術年會如何引起多個領域大碰撞

在此次會議上，作為最后一位特邀報告嘉賓，李航研究員帶來了主題為《人工智能的未來—記憶、知識與語言》的分享，他此次的分享主要圍繞智能問答系統(tǒng)展開，為大家分析了 NLP 所面臨的三大挑戰(zhàn)、目前值得借鑒的應對方法以及對智能問答系統(tǒng)的展望。關鍵詞如下：長期記憶、神經處理、符號處理。

以下為他的演講內容，雷鋒網 AI 科技評論做了不改變原意的編輯和整理。

構建擁有長期記憶的智能問答系統(tǒng)，是我們現(xiàn)在的愿景

今天非常高興來到這里，與大家一起從記憶、知識和語言的角度探討自然語言處理、人工智能在未來發(fā)展的趨勢。首先我們來看記憶和智能的關系，分析自然語言處理的發(fā)展是否可以構建智能化的問答系統(tǒng)。

先來看看記憶對人的智能有多么重要。這里是一個示例，英國有一名叫 Clive Wearing 的音樂家，他現(xiàn)在七十多歲，他在四十多歲時患了腦炎，非常幸運的是他存活下來了，但不幸的是他大腦里的海馬體受到了損傷，得病了之后不能再記新的東西。日常的癥狀如下，他認識自己的太太，但不認識自己的女兒，雖然說話、行動、唱歌、彈鋼琴都沒問題，但他沒有記憶了，只有瞬間意識。大家有興趣的可以去網上搜關于他的視頻看一下。

他太太把他的病總結的非常清楚，能夠做簡單的思考，但沒有記憶。從這個案例中，可以看到記憶對人來說是非常重要的。這里面涉及到一個重要的器官，即大腦中的海馬體。這里有一張圖，是人體大腦的結構。

下面這幅圖是斯坦福的一個腦科學家 Frank Longo 畫的大腦的功能模型，他是從記憶的角度看的。大腦的記憶部分首先有感官，來感受到客觀的信息，這種感官寄存器能記住外界傳來的 1-5s 的信息，如果大腦感興趣，就會記住大概 18-30s 的內容，如果對這個內容特別感興趣，就能放到大腦的長期記憶里。

長期記憶的特點是信息的壓縮。我們大腦在記憶的過程當中，記新的東西是把已有的鏈路增強，而不是增加新的腦細胞。

剛才看的是人腦，現(xiàn)在看人工智能系統(tǒng)，比如 AlphaGo、自動駕駛等，其實這些系統(tǒng)都是沒有長期記憶的。這些系統(tǒng)里都有一定的模型，通過機器學習的方法事先學好，比如 AlphaGo 在下棋的過程中，調用訓練好的模型?，F(xiàn)在的人工智能系統(tǒng)，和我一開始提到的那個英國音樂家的案例很像，都屬于 moment to moment，沒有長期記憶。

日裔科學家 Michio Kaku 對意識的定義如下：系統(tǒng)和外界交互，如果系統(tǒng)的內部狀態(tài)發(fā)生變化，就認為這個系統(tǒng)是有意識的。從他的觀點來看，溫度計和花都是有意識的。對意識的討論大家都有不同觀點，很難達到共識。從他的定義來說，人工智能系統(tǒng)是有簡單意識的，但沒有長期記憶。

往下走智能問答系統(tǒng)應該是什么樣的呢？暢想 5-10 年后的未來，有可能構建這樣的智能系統(tǒng)，在這個系統(tǒng)中，有語言處理模塊，包括短期記憶、長期記憶，系統(tǒng)能自己不斷去讀取數(shù)據，能把數(shù)據里面的知識做壓縮表示，放到長期記憶模塊。構建這樣的擁有長期記憶的智能問答系統(tǒng)，這是我們現(xiàn)在的愿景。

在這一過程中，面臨著歧義性、多樣性、模糊性這三個問題

自然語言處理中有個非常重要的想法：把語言的表示映射到計算機內部的表示。有了這個表示，我們認為計算機進行了語言的理解，在學習知識。

這里面有好幾個挑戰(zhàn)。人類的語言到大腦的語義理解映射是多對多的，會遇到歧義性的問題，即同一個語言表達會有不同的意思。另外會遇到多樣性的問題，即不同的語言表達是同一個意思。最后一個問題是從認知的角度來看，語義是非常模糊的。

進一步來分析這三個挑戰(zhàn)，下圖中是用 claim 的幾個例子，可以擴展為不同的意思。即具有多義性。

第二是多樣性，比如太陽和地球的距離，有很多種不同的說法。

最后是知識概念的模糊性，比如 bachelor 的概念，它表示單身男子，但是未婚的父親、假結婚的人等是不是可以定義為單身，大家的觀點可能不一樣。這與語言的多樣性會有一定的關聯(lián)，我們會對典型的單身男子的概念有個共識。

從這里可以看到自然語言并不好做，在自動問答系統(tǒng)中需要去做一個映射，映射里會面臨前面提到的多義性、多樣性、知識的模糊性這三大挑戰(zhàn)。大家都在朝這樣的智能問答系統(tǒng)努力。

未來：神經系統(tǒng)和符號系統(tǒng)的結合

現(xiàn)在考慮的是神經系統(tǒng)和符號系統(tǒng)的結合。

深度學習非常熱，特別是在自然語言處理和機器翻譯方面給我們帶來了很大的進步。雖然它確實很強大，但局限性也很明顯：它不能很好地處理符號。在計算機上做語言處理，離不開符號，符號很重要，是語言的本質特點。

在自然語言處理中，深度學習在人的感知領域，比如說圖像、語音方面比較成功，所以自然就會想到，能不能用神經符號的處理方法實現(xiàn)我們所說的智能問答系統(tǒng)。這樣的智能問答系統(tǒng)，通過把神經處理和符號處理相結合，加上語言處理模塊，沿用深度學習的概念，這里面包括編碼器、解碼器。在表示信息的時候，既有符號表示，又有神經表示，用詞向量去表示單詞。將符號表示和向量表示組合起來，產生一定的結構，更好地表示知識。

這樣的工作業(yè)界已經開始在做。比如 2015 年提出的 Nell（Never Ending Language Learning) 系統(tǒng)，這個工作強調讓系統(tǒng)看大量文本內容，自動學到知識。這個系統(tǒng)能自動在互聯(lián)網上爬取數(shù)據、處理數(shù)據、抽取知識，加入到數(shù)據庫。

另外一個比較具有代表性的工作是 Percy Liang 在 2016 的研究。首先要有語法，語法通常是人定義的，通過語法產生多個解釋；然后要有模型，模型也是事先學好的；再基于上下文選擇最有可能的解釋，轉換為邏輯表達式。在這里，我們的思考是，現(xiàn)在是否能借鑒深度學習的想法，做一個端到端的系統(tǒng)，完全自動學到語言處理的編碼器、解碼器等。

為什么很多人都關注長期記憶，因為長期記憶確實是現(xiàn)在幾乎所有的人工智能系統(tǒng)所不具備的能力?，F(xiàn)在也有這方面的研究，比較有名的就是 DeepMind 的 DNC（Differentiable Neural Computers）工作，這個工作也是在關注如何把知識用矩陣的形式存儲在長期記憶里。這個系統(tǒng)里提出了三類不同的神經網絡，這三種不同的神經網絡實際上模仿了老鼠的海馬體機理，目前對老鼠的海馬體機制已經研究得比較透徹。

大家也知道 Facebook 的 Memory Networks 系統(tǒng)，這個系統(tǒng)可以根據描述做些簡單的問答。系統(tǒng)最核心的概念也是長期記憶，想法相對來說是比較傳統(tǒng)的深度學習概念，模型的構建全是神經網絡在做。

最近的最接近的工作是谷歌 16 年出的 Neural Symbolic Machines 模型，這個想法非常有意思，要做的事情也是問答，訓練數(shù)據是大量的問句和命令，去學習 Sequence to Sequence 模型，可以執(zhí)行復雜的計算機命令，找到答案。

華為諾亞方舟實驗室在神經符號處理方面的相關工作

下面是我之前在華為諾亞方舟實驗室做的兩個工作，都是神經符號處理方面的。

第一個是 GenQA。這個工作是這樣的，假設你有個知識圖譜，這里面含有大量的問答句。我們希望模型能自動學習神經網絡，去做問答，生成答案。

這個工作是基于神經符號處理的思想，其中包括長、短期記憶模塊。假設來了一個問句，現(xiàn)在有編碼器，可以把這個問句轉化為內部表示，其中既有符號表示，又有向量表示，然后用這些表示去檢索知識庫。這個過程用神經網絡來控制。這個工作主要的特點是得到的三元組可能是最好的三元組，根據問句的向量表示，檢索到三元組的向量符號表示。

在下圖中，左下方是根據語言的理解該生成什么，右邊是從長期記憶里檢索的結果，通過把兩者結合來做判斷。

第二個要介紹的是今年比較新的工作，叫做 Neural Enquirer and Symbolic Enquirer，與基于神經符號處理的思想非常一致。其中既有神經表示，又有符號表示。查詢數(shù)據庫是個非常復雜的過程，在這個工作中，我們希望把 Enquirer 做得非常好，真正去把問句的表示利用起來，很好地檢索數(shù)據庫。

怎么樣把自然語言的描述轉化為命令還是有一定的挑戰(zhàn)，這個系統(tǒng)中有兩個 Enquirer，一個是 Neural Enquirer，一個是 Symbolic Enquirer。數(shù)據庫的查詢操作用符號來表示，整個操作過程用神經網絡來控制，通過三步就能把答案找到。我們可以把數(shù)據庫查詢分解成為最基本的操作，比如 argmax、select 等，可以定義一個命令的集合來組成命令，命令每次的操作是針對一列進行的。

Symbolic Enquirer 的特點是操作的過程全是符號，底層全是用神經網絡去做。用端到端就能構建這樣的系統(tǒng)，不需要任何人的參與。假設有大量的語法，就能學習神經網絡，自動產生命令序列，訪問數(shù)據庫找到答案。另外一個對應的想法是 Neural Enquirer，同樣的問句，邏輯上也要執(zhí)行三步，我們全部用神經網絡去實現(xiàn)。這一塊用到五個 executor。

Symbolic Enquirer 在執(zhí)行上很快，它的缺點是學習非常困難。Neural Enquirer 的優(yōu)點是學習比較快，但執(zhí)行上比較慢，相當于每次都要把數(shù)據庫的表重新掃描一遍。自然的想法是將這兩個 Enquirer Couple 起來，把兩者的優(yōu)點結合。學習的時候，先學 Neural Enquirer，學好了之后再讓他去指導 Symbolic Enquirer，然后 Symbolic Enquirer 再去引導 Neural Enquirer，兩個 Enquirer 互相幫助。

總結

下面我做一個簡單的總結，今天我們暢想的是自然語言的未來，希望未來自然語言處理系統(tǒng)能慢慢實現(xiàn)長期記憶，能把深度學習和符號處理結合起來，發(fā)揮兩者的優(yōu)勢。同時，我們也要更多地參考人腦的信息處理機制，未來把自然語言處理推到另一個高度?？紤]有這樣的智能問答系統(tǒng)，能看大量的文獻，知識庫，讀取到重要的信息知識。目前業(yè)界正在做很多的相關工作，相信這在未來會是一個重要方向。

后續(xù)，李航研究員會以這次公開演講的主題為契機，撰寫長文來描述他眼中「人工智能的未來」，雷鋒網 AI 科技評論也會第一時間關注。

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。