NLP工程師技術(shù)解讀：智能語(yǔ)音助理類產(chǎn)品的未來(lái)在哪里？

本文作者：李超

2016-12-21 19:02

導(dǎo)語(yǔ)：聊一聊智能語(yǔ)音助理中的主要技術(shù)。

雷鋒網(wǎng)按：本文作者李超，出門問(wèn)問(wèn)NLP工程師。文中的所有觀點(diǎn)系作者個(gè)人觀點(diǎn)，不代表出門問(wèn)問(wèn)公司的立場(chǎng)。雷鋒網(wǎng)獨(dú)家文章。

最近AI熱火燒遍全國(guó)，語(yǔ)音智能助理是熱中之熱。各大公司不斷加大了對(duì)這方面的投入，做垂直或者通用領(lǐng)域的初創(chuàng)團(tuán)隊(duì)也如雨后春筍般涌現(xiàn)，競(jìng)爭(zhēng)非常激烈，不少業(yè)內(nèi)人士認(rèn)為智能助理將替代APP，成為新的交互方式。也有不少同行對(duì)目前的情況進(jìn)行反思，認(rèn)為智能助理產(chǎn)品非常不成熟，將會(huì)是過(guò)眼云煙。

這里也探討下個(gè)人對(duì)智能助理產(chǎn)品技術(shù)的一點(diǎn)認(rèn)識(shí)。

NLP工程師技術(shù)解讀：智能語(yǔ)音助理類產(chǎn)品的未來(lái)在哪里？

《為什么現(xiàn)在的人工智能助理都像人工智障？》中對(duì)各家主力產(chǎn)品的調(diào)研。從左到右分別是蘋果的SIRI、微軟的CORTANA、Google的ALLO

C公司，也就是筆者工作的出門問(wèn)問(wèn)

| 智能助理產(chǎn)品的特點(diǎn)

智能助理，顧名思義，是幫助用戶完成任務(wù)或?qū)崿F(xiàn)服務(wù)的虛擬助理。從輸入上，智能助理有語(yǔ)音輸入和文字輸入，技術(shù)上的區(qū)別是語(yǔ)音輸入要做語(yǔ)音識(shí)別，將語(yǔ)音信號(hào)轉(zhuǎn)換成文字。在相對(duì)安靜的環(huán)境下，語(yǔ)音識(shí)別的字準(zhǔn)確率可以到達(dá)97%以上。產(chǎn)品場(chǎng)景上的主要區(qū)別是語(yǔ)音對(duì)話輸入并不需要打字，在識(shí)別準(zhǔn)確的情況下輸入速度更快，并可以解放雙手和雙眼，所以各個(gè)智能助理都有語(yǔ)音識(shí)別功能。智能助理在輸出上分文字輸出、圖像輸出、語(yǔ)音輸出。目前智能助理產(chǎn)品最主要的方式是語(yǔ)音對(duì)話交互。

個(gè)人認(rèn)為智能助理的語(yǔ)音對(duì)話交互，相比傳統(tǒng)的APP交互有以下優(yōu)點(diǎn)：

1) 便捷性：不需要雙手操作，直接說(shuō)話即可完成輸入。

2) 輸入跨越性：當(dāng)用戶使用某個(gè)APP時(shí)，用戶切換到其他任務(wù)時(shí)需要打開另外一個(gè)APP；同一個(gè)APP內(nèi)用戶需要按照?qǐng)D形界面逐層深入，通過(guò)按鍵和關(guān)鍵詞搜索實(shí)現(xiàn)APP的功能；而語(yǔ)音交互可以跨越不同APP，跨APP內(nèi)部的層次，直接提出需求。

3) 輸入的多樣性：語(yǔ)音交互的跨越性自然會(huì)帶來(lái)輸入的不確定性。用戶直接通過(guò)對(duì)話完成輸入，沒(méi)有圖形界面的限制，輸入會(huì)更加無(wú)序，同時(shí)需求也會(huì)更加多樣。這就需要強(qiáng)大的自然語(yǔ)言處理技術(shù)理解用戶需求和強(qiáng)大執(zhí)行能力滿足滿足用戶需求。

同時(shí)，語(yǔ)音對(duì)話交互相對(duì)傳統(tǒng)APP交互也有如下缺點(diǎn)：

1) 輸出信息量更少：傳統(tǒng)的APP基于圖形界面，能展現(xiàn)的信息量較大，比如大眾點(diǎn)評(píng)，我們可以直接通過(guò)圖片看到餐廳的環(huán)境，菜品的賣相。而語(yǔ)音交互輸出在很多場(chǎng)景下無(wú)法展現(xiàn)這些信息，輸出的信息量更少。

2) 私密性差：語(yǔ)音對(duì)話交互需要一定音量說(shuō)出需求，這樣會(huì)將需求暴露在大庭廣眾之下。

早期的智能助理都是作為一個(gè)內(nèi)置或用戶下載的APP供用戶使用。猜測(cè)初期各家的想法是將智能助理做成一個(gè)超級(jí)APP，做成流量分發(fā)平臺(tái)，取代各個(gè)垂直領(lǐng)域的APP。目前手機(jī)助手使用率、活躍率、留存率都較低，即使SIRI也不例外。

通過(guò)對(duì)比APP，我們可以看出，在手機(jī)大屏幕，經(jīng)常在公共場(chǎng)所使用而場(chǎng)景下，語(yǔ)音對(duì)話交互無(wú)法普及的主要原因如下：

1）私密性差，所有的需求都會(huì)被周圍人知曉。

騰訊董事長(zhǎng)馬化騰最近也在文章中提到：“另外一個(gè)例子就是語(yǔ)音搜索，我們沒(méi)有作為重點(diǎn)去做，這個(gè)功能看起來(lái)方便，其實(shí)未必，比如一個(gè)人對(duì)著手機(jī)說(shuō)我要去干嘛干嘛，好傻，人一多我都不好意思這么說(shuō)，而且也不私密，寧可多按幾下。”。

2）在手機(jī)上觸屏操作APP并沒(méi)有比語(yǔ)音交互復(fù)雜太多。

3）手機(jī)上可以展現(xiàn)各種圖像信息，圖形界面的信息量大的優(yōu)勢(shì)得以保存。

最近隨著智能硬件的普及，語(yǔ)音助理逐漸被嵌入各種智能硬件中。iWatch、基于Android Wear的moto360、出門問(wèn)問(wèn)的Ticwatch等智能手表或可穿戴設(shè)備都內(nèi)置智能語(yǔ)音助理。由于可穿戴設(shè)備屏幕相對(duì)手機(jī)更小，輸入文字、點(diǎn)擊觸屏相對(duì)手機(jī)不方便；很多APP無(wú)法展現(xiàn)足夠的圖片信息；穿戴設(shè)備跟用戶的親密度更高。這些原因令用戶在使用穿戴設(shè)備時(shí)更多使用語(yǔ)音對(duì)話交互。出門問(wèn)問(wèn)的產(chǎn)品數(shù)據(jù)也驗(yàn)證了上述觀點(diǎn)，Ticwatch手表的語(yǔ)音搜索，不論是使用率、活躍率、還是留存率，都遠(yuǎn)高于出門問(wèn)問(wèn)的APP。

在用戶開車時(shí)，出于安全考慮，需要將精力放在駕駛上，除了在停車時(shí)可以進(jìn)行屏幕操作外，語(yǔ)音對(duì)話交互幾乎是唯一的交互方式。在車載場(chǎng)景下，語(yǔ)音對(duì)話交互用戶的需求相對(duì)更加集中在地點(diǎn)查詢及導(dǎo)航、音樂(lè)、音頻節(jié)目播放等幾個(gè)高頻的領(lǐng)域，用戶輸入的不確定性相對(duì)減少。同時(shí)車內(nèi)是更加私密的環(huán)境，大家在公眾場(chǎng)所使用語(yǔ)音覺(jué)得“傻”的問(wèn)題在車內(nèi)基本沒(méi)有。行車中的高安全性，對(duì)車載產(chǎn)品提出了操作的無(wú)手化、無(wú)屏化的需求。車載場(chǎng)景，將是智能助理產(chǎn)品語(yǔ)音對(duì)話交互更好的舞臺(tái)。

亞馬遜推出智能音箱Echo受到用戶追捧，來(lái)自國(guó)外權(quán)威機(jī)構(gòu)統(tǒng)計(jì)的數(shù)字，累計(jì)銷量已經(jīng)突破500萬(wàn)臺(tái)。亞馬遜研發(fā)的智能助理Alexa成為新的明星。音箱產(chǎn)品沒(méi)有屏幕，語(yǔ)音對(duì)話交互成了唯一的交互方式。除了常用的音樂(lè)、新聞、打車等功能，Alexa也打通亞馬遜賬戶支持網(wǎng)購(gòu)下單。

目前音箱也成了國(guó)內(nèi)各公司研發(fā)的新熱點(diǎn)。

今年8月在深圳參加雷鋒網(wǎng)主辦的GAIR大會(huì)，順帶去華強(qiáng)北考察，普通音箱的價(jià)格普遍在100-200元左右，加了簡(jiǎn)單語(yǔ)音控制的音箱價(jià)格飆升到700-800元，一定程度上反應(yīng)語(yǔ)音對(duì)話交互對(duì)音響產(chǎn)品的價(jià)值。家中的私密性、產(chǎn)品輸入形式的唯一性、在家中隨時(shí)說(shuō)話的方便性，都決定智能助理將會(huì)在家居產(chǎn)品上得到更加高頻的應(yīng)用。音箱上語(yǔ)音對(duì)話交互，還是要克制。以購(gòu)物為例，還是有很多問(wèn)題需要注意。首先是說(shuō)話人的識(shí)別，如果孩子通過(guò)音箱有意或無(wú)意下了很多訂單，刷爆了家長(zhǎng)的信用卡，這將會(huì)造成用戶和服務(wù)商的糾紛。其次是購(gòu)物外賣等方面，用戶可以利用音箱買標(biāo)準(zhǔn)化的產(chǎn)品，如iPhone7、麥當(dāng)勞的某款套餐。但用戶說(shuō)我想買一個(gè)藍(lán)色皮包，藍(lán)色有很多種，皮包樣式更加千奇百怪，這對(duì)于語(yǔ)音對(duì)話交互是一場(chǎng)災(zāi)難。

綜上所述，簡(jiǎn)單對(duì)比語(yǔ)音對(duì)話交互在各場(chǎng)景下的使用情況。筆者認(rèn)為，可穿戴、車載產(chǎn)品和家居產(chǎn)品將是語(yǔ)音對(duì)話交互方式更好的應(yīng)用場(chǎng)景。廣闊天地，大有可為，也將成為各類智能助理產(chǎn)品的競(jìng)技場(chǎng)。產(chǎn)品間的競(jìng)爭(zhēng)，也將推動(dòng)大家對(duì)技術(shù)的投入，智能助理也將越來(lái)越智能。

NLP工程師技術(shù)解讀：智能語(yǔ)音助理類產(chǎn)品的未來(lái)在哪里？

不同場(chǎng)景下語(yǔ)音對(duì)話交互對(duì)比

筆者因?yàn)楣ぷ髟颍?所在公司出門問(wèn)問(wèn)也在不斷尋找語(yǔ)音對(duì)話交互更好的應(yīng)用場(chǎng)景，比如車載產(chǎn)品、家居等產(chǎn)品的無(wú)手無(wú)屏交互，更能發(fā)揮語(yǔ)音對(duì)話交互特長(zhǎng)。以下簡(jiǎn)單舉幾個(gè)例子：

1）語(yǔ)音快詞（Shortcut）

在Ticmirror中，智能語(yǔ)音交互技術(shù)有所升級(jí)。例如在導(dǎo)航狀態(tài)下想要切換地圖顯示模式，不需要先說(shuō)“你好問(wèn)問(wèn)”熱詞來(lái)啟動(dòng)語(yǔ)音控制，直接說(shuō)“查看全程”、“3D模式”等語(yǔ)音快詞即可直接控制。

2）一說(shuō)而就（One shot）

用戶也可以將熱詞和查詢?cè)~一起連續(xù)說(shuō)出，而不需等待，如“你好問(wèn)問(wèn)，今天的天氣怎么樣”。

3）隨時(shí)打斷（Barge in）

車載產(chǎn)品提供音樂(lè)、音頻播放等娛樂(lè)服務(wù)，行進(jìn)途中如果用戶需要重新進(jìn)行導(dǎo)航或者查看地圖，不需要暫停歌曲，可直接打斷正在播放的歌曲來(lái)激活操作。

NLP工程師技術(shù)解讀：智能語(yǔ)音助理類產(chǎn)品的未來(lái)在哪里？

| 智能助理中的主要技術(shù)都有哪些？

智能助理產(chǎn)品的語(yǔ)音對(duì)話交互，需要強(qiáng)大的技術(shù)支持，包括語(yǔ)音識(shí)別、語(yǔ)義理解、搜索技術(shù)、智能推薦、語(yǔ)音合成等核心技術(shù)。

語(yǔ)音識(shí)別

語(yǔ)音識(shí)別技術(shù)將用戶的語(yǔ)音輸入轉(zhuǎn)化成文字。一般包括四個(gè)模塊，特征抽取模塊、聲學(xué)模型、語(yǔ)言模型和解碼器四部分。

特征抽取模塊經(jīng)過(guò)噪音消除、去除信道失真等對(duì)聲音進(jìn)行增強(qiáng)，從聲音信號(hào)中提取特征向量。在特征抽取模塊需要處理噪聲、回聲、其他人聲音干擾的影響。解決思路主要分前端和后端，前端可以利用麥克風(fēng)陣列計(jì)算說(shuō)話人的角度和距離，實(shí)現(xiàn)對(duì)說(shuō)話人聲音的定向獲取，從而實(shí)現(xiàn)將環(huán)境背景聲音過(guò)濾。在后端可以通過(guò)訓(xùn)練含有噪聲數(shù)據(jù)的模型提高系統(tǒng)的能力。

聲學(xué)模型把聲學(xué)特征對(duì)應(yīng)到音素，生成整個(gè)序列的聲學(xué)模型打分。早期利用的是隱馬爾科夫-高斯混合模型。后期鄧力和Hinton等開始開始進(jìn)行深度學(xué)習(xí)在語(yǔ)音識(shí)別的探索，DNN大幅提高了準(zhǔn)確率。目前研究者利用CTC、RNN、LSTM、TDNN進(jìn)行探索，都取得了很好的效果。

語(yǔ)言模型計(jì)算一句話對(duì)應(yīng)的詞序列的可能性。最簡(jiǎn)單的是N語(yǔ)言模型，思想很簡(jiǎn)單，在上下文中，假設(shè)當(dāng)前詞的概率只與之前N-1個(gè)詞有關(guān)，利用條件概率的連乘，得到整句的概率。現(xiàn)在已經(jīng)也利用神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型。

解碼器模塊整合聲學(xué)模型、語(yǔ)言模型的信息，找到對(duì)輸入特征向量最可能的詞序列。解碼器的核心算法是一種動(dòng)態(tài)規(guī)劃算法Viterbi。

隨著深度學(xué)習(xí)應(yīng)用在語(yǔ)音識(shí)別的聲學(xué)模型中，語(yǔ)音識(shí)別的準(zhǔn)確率得到很大發(fā)展，安靜情況下準(zhǔn)確率已經(jīng)到97%以上。

語(yǔ)義理解

語(yǔ)音識(shí)別技術(shù)將語(yǔ)音轉(zhuǎn)換為文字后，需要語(yǔ)義理解技術(shù)分析用戶的需求。語(yǔ)義理解技術(shù)不同于語(yǔ)音識(shí)別，語(yǔ)音識(shí)別有統(tǒng)一明確的優(yōu)化目標(biāo)；語(yǔ)義理解沒(méi)有固定的思路和流程，不同的團(tuán)隊(duì)會(huì)采用不同的解決辦法。盡管如此，仍有跡可循，主體離不開以下模塊：

查詢分類：對(duì)用戶的輸入進(jìn)行分類，識(shí)別出用戶需求的類別。如“北京明天的天氣”，將會(huì)被分到天氣類，“附近有什么飯店”將會(huì)分到餐館類。分類是基本的機(jī)器學(xué)習(xí)任務(wù)，主要的工作是清晰的類別定義，高準(zhǔn)確的標(biāo)注數(shù)據(jù)，選取有區(qū)分度的特征。做好數(shù)據(jù)和特征的工作，簡(jiǎn)單的線性分類器，也可以取得很不錯(cuò)的準(zhǔn)確率，但為了更加精準(zhǔn)，我們也將深度學(xué)習(xí)引入到文本分類中。

實(shí)體識(shí)別：識(shí)別出用戶輸入中的實(shí)體。如“我想聽郭德綱的相聲濟(jì)公傳”，識(shí)別出“郭德綱”是相聲演員，“濟(jì)公傳”是相聲作品。實(shí)體識(shí)別是一個(gè)典型的序列化標(biāo)注問(wèn)題，基本做法是對(duì)句子中的每個(gè)詞標(biāo)注不同的成分，最后利用機(jī)器學(xué)習(xí)方法進(jìn)行識(shí)別。如例句中被標(biāo)注成

“我-O”，“想聽-O”，“郭德剛-PER_B”，“的-O”，“濟(jì)公-BOOK_B”，“傳-BOOK_I”。PER、BOOK等是實(shí)體的類別信息，“B”、“I”是詞在實(shí)體的位置信息，“B”表示開頭，“I”表示非開頭。

指代消解：判斷出指代詞的指代關(guān)系。如“林丹的老婆是誰(shuí)，她多大了”，我們可以知道其中的“她”指的是林丹的老婆。目前指代消解問(wèn)題可以抽象成一個(gè)分類問(wèn)題或排序問(wèn)題，找到最可能的指代關(guān)系。

對(duì)話技術(shù)：對(duì)話系統(tǒng)需要理解用戶的連續(xù)輸入，滿足用戶連續(xù)的需求。如用戶連續(xù)輸入“附近的餐館”、“人均100左右”、“要川菜”，要識(shí)別出“人均”、“川菜”等都是對(duì)餐館的需求，而不是一個(gè)獨(dú)立的需求在學(xué)習(xí)用戶的行為過(guò)程中，發(fā)現(xiàn)用戶更多的是逐漸增加搜索條件，而不會(huì)一句話中提到所有的條件。我們也研發(fā)理解上下文的技術(shù)，實(shí)現(xiàn)多輪的上下文對(duì)話。“下周五要去北京，幫我查一下航班”，“有沒(méi)有國(guó)航的”這種問(wèn)法已經(jīng)搞定。

NLP工程師技術(shù)解讀：智能語(yǔ)音助理類產(chǎn)品的未來(lái)在哪里？

對(duì)話技術(shù)示例

問(wèn)答技術(shù)：問(wèn)答技術(shù)分為實(shí)體問(wèn)答和其他類，IBM做的問(wèn)答系統(tǒng)Watson最先在Jeopardy上戰(zhàn)勝人類選手。

實(shí)體類問(wèn)答結(jié)束主要分三個(gè)部分：

1）問(wèn)題分析，分析問(wèn)題的類別、需要答案的種類、問(wèn)題中的修身關(guān)系等；

2）答案抽取，選出各個(gè)候選答案；

3）答案排序，找到最佳候選答案。

最近也有學(xué)者研究將深度學(xué)習(xí)sequence to sequence的技術(shù)應(yīng)用在實(shí)體問(wèn)答。如果結(jié)合傳統(tǒng)的方法，性能上會(huì)有改進(jìn)，但如果獨(dú)立使用，并沒(méi)有目前傳統(tǒng)方法好，而且會(huì)需要大量的訓(xùn)練數(shù)據(jù)。這個(gè)例子也說(shuō)明，在自然語(yǔ)言處理領(lǐng)域，并不是所有的情況、所有的領(lǐng)域，深度學(xué)習(xí)都是最合適的算法。選擇方法時(shí)要結(jié)合規(guī)則、數(shù)據(jù)、特征、模型等進(jìn)行選擇。取法其眾，得其上；取法其上，得其中。

知識(shí)圖譜技術(shù)，在各個(gè)垂直領(lǐng)域，因?yàn)楦鱾€(gè)API的限制，有些用戶多樣性的需求目前并不能滿足。

如找餐廳，各個(gè)APP并不能支持“全家聚餐”、“有包廂”等需求的滿足。領(lǐng)域眾多，每個(gè)領(lǐng)域內(nèi)需也很復(fù)雜，所以有同行認(rèn)為這些并不可以實(shí)現(xiàn)。對(duì)這種觀點(diǎn)個(gè)人持保留態(tài)度，首先需求不是被造出來(lái)的，而是實(shí)在的存在于用戶的行為中；其次每個(gè)領(lǐng)域的需求雖然眾多，但在一定時(shí)間內(nèi)可以認(rèn)為幾乎是一個(gè)近似封閉的集合。通過(guò)用戶的行為分析，先將問(wèn)題定性，再將問(wèn)題定量。在音樂(lè)、餐館、景點(diǎn)導(dǎo)航等泛poi類這些車載、音箱等場(chǎng)景下的重點(diǎn)領(lǐng)域，我們將進(jìn)行深入的知識(shí)圖譜挖掘，逐步將數(shù)據(jù)結(jié)構(gòu)化，并建立自己的搜索引擎，打破API的限制。

搜索技術(shù)

當(dāng)明確用戶需求后，除了對(duì)接各種APP的API外，還需要搜索技術(shù)滿足用戶的需求。

搜索技術(shù)比較成熟，主要分為爬蟲、索引、檢索、排序等。抓取技術(shù)用來(lái)從互聯(lián)網(wǎng)爬取信息，抓取技術(shù)的技術(shù)要點(diǎn)在于抓取的覆蓋率、實(shí)效性和頁(yè)面的精準(zhǔn)解析。爬取信息后將內(nèi)容進(jìn)行索引，需要倒排索引和正排索引。倒排索引建立關(guān)鍵詞和文檔id的關(guān)系，并存儲(chǔ)某一文檔中出現(xiàn)的位置，用來(lái)找到包含關(guān)鍵詞的文檔；正排索引跟倒排索引相對(duì)，建立文檔和文檔中詞和其他屬性的關(guān)系，主要用來(lái)對(duì)召回的文檔進(jìn)行排序。最后是檢索，當(dāng)用戶進(jìn)行查詢時(shí)，需要分析用戶的需求，找到滿足用戶需求的結(jié)果。

當(dāng)我們從數(shù)據(jù)中學(xué)習(xí)到用戶的習(xí)慣、偏好后，需要推薦技術(shù)為用戶推薦合適的信息、服務(wù)和產(chǎn)品。推薦系統(tǒng)有很多不同的底層實(shí)現(xiàn)，最基本的方法是協(xié)同過(guò)濾，協(xié)同過(guò)濾的思想是如果兩個(gè)用戶對(duì)一系列物品的評(píng)價(jià)相似度很高，則一個(gè)用戶對(duì)一個(gè)物品的評(píng)價(jià)很可能類似于另一個(gè)用戶。推薦系統(tǒng)需要解決的幾個(gè)問(wèn)題是系統(tǒng)冷啟動(dòng)、推薦的多樣性和時(shí)效性等。

最后，需要將文字轉(zhuǎn)化語(yǔ)音進(jìn)行播報(bào)的語(yǔ)音合成技術(shù)。語(yǔ)音合成技術(shù)比較主流的是混合系統(tǒng)，根據(jù)統(tǒng)計(jì)參數(shù)模型，計(jì)算出大概的譜參數(shù)和基頻信息，指導(dǎo)拼接系統(tǒng)從語(yǔ)音庫(kù)中找出最佳的語(yǔ)音基本單元序列，并調(diào)整成流利連續(xù)的語(yǔ)音。