雷鋒網(wǎng)按：2017 年 7 月 8 日，由中國計算機(jī)學(xué)會（CCF）主辦，雷鋒網(wǎng)與香港中文大學(xué)（深圳）承辦的全球人工智能與機(jī)器人峰會（CCF-GAIR）進(jìn)入第二天。在智能助手專場，來自哈爾濱工業(yè)大學(xué)的劉挺教授為我們帶來了題為“人機(jī)對話技術(shù)的進(jìn)展”的主題演講。

劉挺，哈爾濱工業(yè)大學(xué)教授，社會計算與信息檢索研究中心主任。多次擔(dān)任國家863重點項目總體組專家、973項目專家組成員、基金委會評專家，入選科技部中青年科技創(chuàng)新領(lǐng)軍人才。主要研究方向為自然語言處理和社會計算，是國家973課題、國家自然科學(xué)基金重點項目的負(fù)責(zé)人，曾獲國家科技進(jìn)步二等獎、省科技進(jìn)步一等獎、錢偉長中文信息處理科學(xué)技術(shù)一等獎。

以下內(nèi)容由雷鋒網(wǎng)整理自劉挺教授的報告，有刪減：

感謝主辦方的邀請，我是來自哈爾濱工業(yè)大學(xué)的劉挺，我的題目叫“人機(jī)對話技術(shù)的進(jìn)展”。

人機(jī)對話概述

下面是人機(jī)對話的基本框架，可以通過語音輸入和輸出，也可以通過文本直接交互。其中包括三個重要的模塊：語言理解、對話管理、語言生成。我后面的演講會提到這幾項技術(shù)。

作為一個學(xué)者，我可能不如大家對產(chǎn)業(yè)界理解得這么深入。從我的角度觀察，人機(jī)對話走過了三個階段：第一，語音助手時代；第二，2014年進(jìn)入聊天機(jī)器人時代；第三就是2016年進(jìn)入場景化的任務(wù)執(zhí)行。

語音助手時代

2011年，喬布斯臨終前在iPhone4S中推出Siri，當(dāng)時的技術(shù)還是很不成熟。2012年，中國的各個廠商紛紛效仿做語音助手。2014年，個別企業(yè)紛紛把語音助手團(tuán)隊解散。主要原因：第一，技術(shù)尚不成熟，聽得見，但聽不懂。以至于很多本來嚴(yán)肅的服務(wù)變成對語音助手的調(diào)戲；第二，語音也并不總是最自然的溝通方式，它需要私密的環(huán)境，有時候還需要圖像交互界面進(jìn)行配合。

聊天機(jī)器人時代

2014年微軟推出小冰，干脆就來聊天和娛樂，放棄語音使用，直接用文字進(jìn)行溝通。這時候深度學(xué)習(xí)被充分運用，技術(shù)水平有提高，難點在于對語境的建模和機(jī)器人自身建模方面。比如你問機(jī)器人：“你今年多大了？”，“我5歲了”。但說“你結(jié)婚了嗎？”，“我結(jié)婚10年了”，他自己會發(fā)生矛盾。 應(yīng)用上，用戶留存率并不是很高，雖然用戶量大，但持續(xù)跟機(jī)器人聊下去的并不多。

現(xiàn)在有人反思做聊天沒意義，我認(rèn)為還是有用的。主要有三方面的作用。第一，建立人和機(jī)器之間的信任。第二，聊天過程中，聊天機(jī)器人和搜索引擎相比有一個大的優(yōu)勢，搜索引擎只能被動觀察用戶的輸入，但機(jī)器可以主動向人發(fā)問。比如機(jī)器人問人喜歡看電影嗎，回復(fù)喜歡。機(jī)器人再問喜歡哪一類的，回復(fù)喜歡看動作片，機(jī)器人立刻推薦一個成龍的動作片過去。第三，情緒撫慰功能，機(jī)器人的優(yōu)點是隨叫隨到、嘴嚴(yán)、可定制。

場景化的任務(wù)執(zhí)行時代

現(xiàn)在處于實用化的努力階段，通用的做不到，既可以回退為娛樂化也可以回退在特定場景下使用。這一階段的特點是：將人機(jī)對話局限在特定場景，進(jìn)一步降低用戶期望值；利用場景約束，提高語義消歧能力。當(dāng)你坐在電視機(jī)前想點電視節(jié)目，能發(fā)出指令，并且發(fā)出指令的方式是有限的。存在的問題有兩個：一是場景切換，需要重新部署。二是工程化色彩嚴(yán)重，不能夠一攬子解決問題，研發(fā)成本增高。

當(dāng)今人機(jī)對話系統(tǒng)功能：

當(dāng)今人機(jī)對話系統(tǒng)主要有四大功能。一是聊天。聊天的目的是要讓人和機(jī)器盡可能的多聊下去，去消耗時間。另外知識問答、任務(wù)執(zhí)行、推薦這三個是比較嚴(yán)肅的功能，都是以快速的結(jié)束聊天為目標(biāo)。

人機(jī)對話系統(tǒng)又分下面這三方面：自然語言理解、對話管理、自然語言生成。這里面聊天、知識、任務(wù)、推薦，都有各自相應(yīng)的研究點。具體內(nèi)容請看PPT。

人機(jī)對話技術(shù)進(jìn)展

現(xiàn)在人機(jī)對話技術(shù)到底到了一個什么程度，主要從前面說的四方面選出兩個最重要的：聊天、任務(wù)執(zhí)行。任務(wù)執(zhí)行不同企業(yè)的叫法不一樣，我們叫任務(wù)。聊天是沒有明確目標(biāo)的，任務(wù)是定機(jī)票、定餐館等。聊天搜索空間比較大。

聊天機(jī)器人最早出現(xiàn)是在上世紀(jì)60年代，有人研究出一個能夠和精神病患者聊天的機(jī)器人，效果挺驚人，此后不斷的發(fā)展。騰訊的小Q機(jī)器人、還有微軟小冰、Tay，這都是聊天機(jī)器人的系列產(chǎn)品。提到聊天，首先會想到根據(jù)以前的聊天記錄，通過搜索，就可以回答一些問題。

單輪對話生成的進(jìn)展比較技術(shù)化。發(fā)展趨勢是不僅僅通過算法解決問題，而且要確定一個主題，借用外部資源，把話說得更豐滿。

多輪對話中，聊天和搜索有很大的區(qū)別。搜索也開始啟動多輪搜索，但是真正的多輪是在聊天當(dāng)中體現(xiàn)的，要有多個回合，這里面會產(chǎn)生指代、省略等等。如何在多輪對話里讓人感覺這是一個完整的對話很值得研究。這里面出現(xiàn)很多技術(shù)，包括深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的融合。

智能助手有一系列產(chǎn)品，從蘋果、微軟，到Facebook、亞馬遜?，F(xiàn)在很多大企業(yè)不但自己做智能助手，而且提供對話平臺。對話可以稱為對話操作系統(tǒng)或者對話人工智能。微軟在研發(fā)，很多企業(yè)在收購，百度既研發(fā)又收購，推出面向中小企業(yè)的平臺。

任務(wù)型對話系統(tǒng)的語言理解部分，通常使用語義槽來表示用戶的需求，如出發(fā)地、到達(dá)地、出發(fā)時間等信息。因此可以使用序列標(biāo)注模型來抽取語義槽。CRF （條件隨機(jī)場）是過去經(jīng)常使用的序列標(biāo)注模型，但是受限于馬爾科夫假設(shè)，它無法很好的處理長距離依賴問題。隨著深度學(xué)習(xí)方法的流行，人們使用循環(huán)神經(jīng)網(wǎng)絡(luò)，如雙向 LSTM 來解決長距離依賴問題，同時還避免了繁瑣的特征工程工作。最近，人們將這兩種方法進(jìn)行融合，即雙向 LSTM-CRF 模型，進(jìn)一步提高了槽填充的準(zhǔn)確率。

對話管理指的是根據(jù)上一步語言理解步驟識別的語義信息，決策系統(tǒng)下一步所需采取的策略，如追問、澄清還是給出結(jié)果等。最簡單也是最常用的方法是采用基于規(guī)則的方法，即根據(jù)不同的情況人工制定對話樹，這種方法需要耗費大量的人力，而且可移植性也比較差。有指導(dǎo)學(xué)習(xí)的方法只需人工針對一些具體的樣例，標(biāo)注對應(yīng)的回復(fù)策略數(shù)據(jù)，然后就可以交給機(jī)器學(xué)習(xí)了。但是這種方法需要針對每條對話進(jìn)行標(biāo)注，標(biāo)注難度很高。近年來，采用強(qiáng)化學(xué)習(xí)的方法成為研究的主流，該方法無需逐條標(biāo)注，只需要將整個對話的最終結(jié)果作為獎勵，系統(tǒng)就可以學(xué)習(xí)到最優(yōu)的策略序列。

最后對話生成模塊根據(jù)采用的不同對話策略，給出不同的系統(tǒng)回復(fù)。最簡單就是采用基于模板的方法，但是該方法很難在不同的領(lǐng)域之間遷移。后來人們采用基于語言模型的方法，直接從語料庫中學(xué)習(xí)回復(fù)的語言。近年來，深度學(xué)習(xí)中序列到序列的方法為對話生成提供了一種新的思路，不同于機(jī)器翻譯等任務(wù)所采用的序列到序列模型，這里原序列是上一步輸出的對話策略，目標(biāo)序列則是系統(tǒng)的自然語言回復(fù)。該方法具有學(xué)習(xí)簡單，生成的語言自然、多樣等優(yōu)點。

關(guān)于“笨笨”機(jī)器人的介紹

下面介紹一下我們實驗室研制的一個系統(tǒng)，叫“笨笨”。我們不敢叫“靈、百靈”，只能承認(rèn)自己笨，進(jìn)一步降低用戶的期望值。當(dāng)用戶拿著一個手機(jī)以為什么都可以問的時候，他一定會失望。我們這個研究中心是哈工大社會計算與信息檢索研究中心，這是我們的公眾號，有上萬人關(guān)注。功能包括聊天、知識問答、任務(wù)執(zhí)行、推薦。

生成式對話模型往往存在一個問題——語義相關(guān)性差。比如說問機(jī)器你今年多大了，回復(fù)說不知道。這里面產(chǎn)生問題的原因，從技術(shù)上講是生成話的第一個詞會產(chǎn)生概率很高的通用詞。比如“我”、“你”。

我們采用了專門的Learning to Start模型去生成，大家可以對比一下。

單輪對話也采用主題規(guī)劃的方式，進(jìn)行兩階段的生成。先規(guī)劃，然后響應(yīng)內(nèi)容。

多輪對話是基于DQN進(jìn)行。這個優(yōu)化和任務(wù)執(zhí)行的優(yōu)化正好反過來。聊天的優(yōu)化是要盡可能讓這個聊天能繼續(xù)下去，讓話題輪數(shù)更多。

下面是“笨笨”聊天的一些對話（見PPT），比較好玩，大家可以下去自己玩。

下面是知識問答。在各個具體的問題上，都在使用深度學(xué)習(xí)技術(shù)，知識問答方面也不例外。

這是任務(wù)執(zhí)行的系統(tǒng)框架（見PPT）。在任務(wù)執(zhí)行方面，哈工大最近也開發(fā)了一個系統(tǒng)，這個系統(tǒng)是一個平臺，各位可以在里面添加你的特定領(lǐng)域要解決的一些問題實例，添加若干實例之后，系統(tǒng)會幫你訓(xùn)練出一個特別實用的場景任務(wù)執(zhí)行系統(tǒng)。這個推薦也被嵌入到人機(jī)對話中，有些創(chuàng)業(yè)公司專門做人機(jī)對話領(lǐng)域的推薦。

在“笨笨”跟你聊天的過程中，可能跟你推薦產(chǎn)品，這就是營銷機(jī)器人。營銷機(jī)器人會先和你聊天，建立信任之后推薦產(chǎn)品。還有服務(wù)于售后的客服機(jī)器人。

人機(jī)對話評測介紹

最后講一下人機(jī)對話評測，任何一項技術(shù)要想進(jìn)步，特別依賴于它的目標(biāo)，就是怎么評測這項技術(shù)，這項技術(shù)到底是前進(jìn)還是后退了。在人機(jī)對話方面的評測比問答系統(tǒng)難。問答系統(tǒng)是單輪的，我問毛澤東出生于哪一年。你答出的是準(zhǔn)確答案，就算成功了。但是人機(jī)對話里，一輪過后，就會分岔，一旦分岔了就沒有辦法做標(biāo)準(zhǔn)答案進(jìn)行評測?，F(xiàn)在國內(nèi)在這方面的處理也是評測驅(qū)動。哈工大也在主持若干評測。以前我們也參加過美國的一些評測，現(xiàn)在有一些在參加日本NTCIR的評測。我們的理念是中國人的評測要由中國人引導(dǎo)。

我們主持了首屆中文人機(jī)對話評測，由張偉男擔(dān)任主席。我們分兩個任務(wù)，一是用戶意圖分類，區(qū)分到底是聊天還是任務(wù)，如果是任務(wù)，到底想完成一個什么樣的任務(wù)。二是特定域任務(wù)型的人機(jī)對話評測。比如定機(jī)票，問兩句話，會出現(xiàn)分岔，很難展開評測。解決辦法是人工評測，先給一個問題的描述，讓人根據(jù)這個描述和不同的機(jī)器人進(jìn)行對話，看看哪個機(jī)器人可以在最短的輪數(shù)內(nèi)把這個問題解決掉。

國際上，2017年也在開始組織評測，在自然語言處理最前沿方面，國內(nèi)學(xué)者和國際學(xué)者是齊頭并進(jìn)的。在斯坦福主持的英文閱讀理解評測中，很多巨頭都有參加。排第一位的是微軟亞洲研究院，第二位是哈佛大學(xué)一個研究實驗室。即使在英文上，國內(nèi)也并不落后。

未來的挑戰(zhàn)

最后概括，最主要的技術(shù)挑戰(zhàn)在兩方面。

一是聊天機(jī)器人未來有待解決的問題。我估計在座的各位沒有誰愿意和一個機(jī)器人持續(xù)聊超過一周。另外還有情感，對機(jī)器人說考試不及格，怎么分析是不是傷心的情緒，還有用戶畫像，回復(fù)質(zhì)量，多樣性，個性化等的研究。機(jī)器人怎么主導(dǎo)話題，如何是讓機(jī)器人具有各種各樣的性格，為每一個用戶定制多個不同性格的機(jī)器人，包括在游戲世界里，讓機(jī)器人扮演一些角色，能和人對話。還有基于主題的上下文生成、基于用戶的情緒反饋。用戶一旦罵你或者不跟你聊了，說明你回答問題的不好。

二是任務(wù)執(zhí)行中有待研究的問題。比如任務(wù)之間的切換，目前即使通過工程手段把一兩個場景做對了，擴(kuò)展到其他地方還是很難。

什么時候人機(jī)對話才能取得真正的突破，主要取決于以下幾點：自然語音處理技術(shù)的突破、機(jī)器對情境理解的進(jìn)展、機(jī)器推理能力的提升、文本生成技術(shù)的進(jìn)步等。

人機(jī)對話是自然語言處理發(fā)展的一個高峰，它的發(fā)展和自然語言處理的發(fā)展是密不可分的。我認(rèn)為自然語言處理有四個階段。從形式匹配到語義匹配，現(xiàn)在到文本推理，再下一步會到言外之意。一個小女孩對男朋友說“討厭”，這句話怎么理解，需要一些文化的背景?，F(xiàn)在已經(jīng)有人在研究隱喻這方面的工作。

最后介紹一下我們實驗室在布局的工作，研究方向如PPT所示。

我們實驗室有70多人的科研團(tuán)隊，在LTP、句法分析方面我們始終保持國內(nèi)甚至國際領(lǐng)先地位，前一段時間谷歌推動的45種語言通用句法分析評測，哈工大取得第四名的成績。很多企業(yè)在和哈工大合作，我們也希望能夠有機(jī)會和在座的其他企業(yè)建立更多的合作關(guān)系。

我今天的演講就到這里，謝謝大家！

雷鋒網(wǎng)整理。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。