11 月 14 日，微軟亞洲研究院迎來(lái)了18周年的紀(jì)念日，并宣布成立微軟亞洲研究院院友會(huì)。來(lái)自阿里巴巴的初敏博士為大家?guī)?lái)了名為《語(yǔ)音交互-物聯(lián)網(wǎng)時(shí)代的入口》的演講，她認(rèn)為語(yǔ)音交互成為風(fēng)口的主要原因是數(shù)據(jù)驅(qū)動(dòng)和廣泛的硬件端接口的布局，阿里云 ET 在雙十一的字幕表現(xiàn)并不理想，主要是因?yàn)楝F(xiàn)場(chǎng)環(huán)境十分復(fù)雜，而自然語(yǔ)言理解是后續(xù)做好語(yǔ)音交互的關(guān)鍵所在。

(初敏博士)

以下為初敏博士演講摘錄。

我最好的年齡和時(shí)間就是在 MSRA 里度過(guò)的。其實(shí)在 MSRA 最后兩年沒(méi)有再做語(yǔ)音，因?yàn)楫?dāng)時(shí)的感覺就是世界發(fā)生了天翻地覆的變化，但是跟語(yǔ)音沒(méi)關(guān)系，所以后來(lái)就轉(zhuǎn)向做大數(shù)據(jù)之類的事情。

后來(lái)到了阿里也幾乎沒(méi)有做語(yǔ)音，一直到了 2014 年底，阿里才開始要做語(yǔ)音。所以做的時(shí)間并不長(zhǎng)，但這次有一個(gè)大的不一樣的感覺：誒，這次好像真的是到風(fēng)口上了。現(xiàn)在的數(shù)據(jù)、計(jì)算能力跟之前非常不一樣，有很多的語(yǔ)音的需要和應(yīng)用場(chǎng)景。

我今天不會(huì)太多地講技術(shù)，會(huì)主要講一些應(yīng)用場(chǎng)景及在應(yīng)用中碰到的困難。

為什么語(yǔ)音火起來(lái)了：數(shù)據(jù)驅(qū)動(dòng)和廣泛的接口

今天為什么人工智能、深度學(xué)習(xí)這一塊能火起來(lái)，主要是因?yàn)榻裉煊小皵?shù)據(jù)驅(qū)動(dòng)”：數(shù)據(jù)和計(jì)算能力的增強(qiáng)，使得我們可以在很多方面做得精細(xì)。

另外就是，入口在變化。今天手機(jī)已經(jīng)幾乎能夠處理 PC 做的事情，另外家里的汽車、音箱、電視等設(shè)備，也成為新的入口。我們?cè)诓煌O(shè)備之間切換，語(yǔ)音會(huì)成為這些設(shè)備最好的交互方式，因?yàn)樗亲罘奖愕?、最自然的交互方式?/span>

語(yǔ)音的概念在改變，傳統(tǒng)講語(yǔ)音，指的就是語(yǔ)音合成、語(yǔ)音識(shí)別等。如今的語(yǔ)音，一定是一個(gè)泛概念，一定包含著后續(xù)的自然語(yǔ)言處理。如果一句話被你識(shí)別出來(lái)做出文字內(nèi)容，但你理解不了這些文字包含的內(nèi)容，其實(shí)后續(xù)很多事情都是做不了的。

語(yǔ)音交互有兩個(gè)層面可以做，一個(gè)是在操作系統(tǒng)底層做，可以跨設(shè)備使用；另外就只是一個(gè) API，任何一個(gè) App 都可以調(diào)用。

阿里云 ET 在雙十一：字幕并不理想

我們阿里這邊，最近的展示阿里云 ET，它其實(shí)是代表了各種人工智能技術(shù)的集合。而人類能與阿里云 ET 真正互動(dòng)起來(lái)，其實(shí)是靠語(yǔ)音。

前兩天雙十一晚會(huì)有一個(gè)變魔術(shù)的節(jié)目，其實(shí)是非常困難的，因?yàn)樗侵辈?。我們做下?lái)最大的體驗(yàn)就是：真的想用，還是很不容易的。

現(xiàn)場(chǎng)一堆問(wèn)題，我們要對(duì)接 10 多個(gè)團(tuán)隊(duì)，音頻信號(hào)團(tuán)隊(duì)、視頻信號(hào)團(tuán)隊(duì)、導(dǎo)演彩排等，我們到最后一次彩排都是出問(wèn)題的。

我們當(dāng)時(shí)也打了字幕，我個(gè)人認(rèn)為當(dāng)天的字幕并不理想，因?yàn)槿粘叹o張，主持人語(yǔ)速很快，這就是很大的挑戰(zhàn)。

雙十一當(dāng)晚，我們?cè)诿襟w中心的活動(dòng)上也打了字幕，這個(gè)字幕效果就好很多。我們后來(lái)統(tǒng)計(jì)這一場(chǎng)的錯(cuò)誤率大概 3% 左右，其實(shí)就是因?yàn)檫@一場(chǎng)的環(huán)境簡(jiǎn)單。

所以我們到今天也還在思考：這個(gè)真的能用了嗎？如何把這樣一個(gè)看似很成熟的技術(shù)，能在各種真實(shí)的場(chǎng)景中應(yīng)用起來(lái)，這還是一個(gè)系統(tǒng)工程的事情。

打字幕這個(gè)功能，我們目前真正在用的場(chǎng)景就是法院，快速形成庭審的速記稿。這在浙江的高等法院已經(jīng)部署了，這個(gè)反應(yīng)是比較好的。以前法官為了要讓書記員記下來(lái)，他是要控制節(jié)奏的，而且速記員在記得過(guò)程中也要篩減內(nèi)容。在庭審的幾場(chǎng)演示中，基本都可以做到 95-96% 的準(zhǔn)確率，這就很能用了，而且稿子都是法官原汁原味講出來(lái)的。

最大的挑戰(zhàn)：端語(yǔ)音信號(hào)處理

有了云的平臺(tái)架構(gòu)的基礎(chǔ)之后，任何一個(gè)端接進(jìn)來(lái)，最主要的挑戰(zhàn)都是端上語(yǔ)音信號(hào)的采集和處理。

我們語(yǔ)音的一個(gè)應(yīng)用就是：個(gè)人助理。我們?cè)?YunOS 操作系統(tǒng)上做了個(gè)人助理，另外還包括汽車?yán)锏?。汽車?yán)镞€是要解決降噪的問(wèn)題，我們最近做的事情就是，開著車窗、播著音樂(lè)，如何在這樣的環(huán)境下讓系統(tǒng)可以喚醒地很好。因?yàn)槲覀儨y(cè)試的汽車上只有一個(gè)麥克風(fēng)，主駕駛和副駕駛上的人說(shuō)話是不一樣的，一個(gè)人抬著頭和低著頭說(shuō)話是不一樣的，所以在接入的時(shí)候會(huì)有很多很多這樣細(xì)節(jié)的問(wèn)題。

另外還有應(yīng)用的直達(dá)。以支付寶為例，這個(gè) App 里有很多小的功能，你想找一個(gè)事情是很痛苦的。我們做了一個(gè)稱為“Open Dialogue”的小架構(gòu)，業(yè)務(wù)方在這個(gè)基礎(chǔ)之上自己去開發(fā)一些簡(jiǎn)單的理解。比如用戶對(duì)著手機(jī)說(shuō)“我要給某某轉(zhuǎn)賬多少錢”，那么就會(huì)直接加載出這么一個(gè)轉(zhuǎn)賬的界面。這樣用戶就不用在各種界面里選，我覺得這將是語(yǔ)音給我們帶來(lái)的最大價(jià)值：在有太多選擇的時(shí)候，用說(shuō)話就能觸達(dá)到我要的那個(gè)點(diǎn)。

但要做到這一點(diǎn)，背后的技術(shù)就不僅僅是識(shí)別，而是你如何快速地接入任何一個(gè)場(chǎng)景。因?yàn)槟銚Q一個(gè) App，你說(shuō)的話就是不一樣的，語(yǔ)義理解上要覆蓋的 Domain 是不一樣的。這里的挑戰(zhàn)就是你要怎樣建立一個(gè)可擴(kuò)展的的架構(gòu)，讓任何一個(gè)新的業(yè)務(wù)、新的 Domain 來(lái)快速地接入。

我們還有一個(gè)嘗試領(lǐng)域就是客服。中國(guó)目前的客服很多都是打電話，然后按很多數(shù)字選項(xiàng)才能接入到你想要的客服選項(xiàng)。這當(dāng)中其實(shí)有很多數(shù)據(jù)是可以沉淀下來(lái)的，沉淀下來(lái)之后就可以進(jìn)行學(xué)習(xí)。

在客服系統(tǒng)中分為幾個(gè)部分，一個(gè)部分就是語(yǔ)音識(shí)別，把語(yǔ)音轉(zhuǎn)為文字，另一個(gè)就是問(wèn)題的分類，分類到兩個(gè)地方，一個(gè)是機(jī)器人自助的服務(wù)（常規(guī)的、簡(jiǎn)潔的資詢類問(wèn)題），一個(gè)是人工服務(wù)，來(lái)解決更復(fù)雜的問(wèn)題。

阿里集團(tuán)的客服，基本上走的是這個(gè)路子：90% 的客服請(qǐng)求，基本都是機(jī)器處理掉的。

這個(gè)過(guò)程中，電話被文字化，數(shù)據(jù)會(huì)不斷地沉淀下來(lái)，有很多價(jià)值待發(fā)掘。一個(gè)就是質(zhì)檢客服質(zhì)量，這其實(shí)是一個(gè)剛需，還有就是用來(lái)發(fā)掘用戶喜歡什么樣的產(chǎn)品。

我們?nèi)缃窈茈y做到一個(gè)通用的模型，來(lái)適應(yīng)不同的場(chǎng)景。數(shù)據(jù)先驗(yàn)的分布，跟你所定義的場(chǎng)景有關(guān)。讓一個(gè)模型快速適應(yīng)不同的場(chǎng)景，這是現(xiàn)在最大的挑戰(zhàn)。

做好語(yǔ)音的瓶頸: 自然語(yǔ)言理解

不同的應(yīng)用場(chǎng)景，需要技術(shù)手段是不一樣的。比如我們最常見的，問(wèn)個(gè)天氣、酒店、航班等信息，他是很結(jié)構(gòu)化的 Domain，針對(duì)特定的  Domain 做，是很容易的。

但用戶不會(huì)遵循 Domain 說(shuō)話，他會(huì)跳來(lái)跳去，那難點(diǎn)就是，上下文當(dāng)中哪些信息該繼承，哪些信息不該繼承。

另外，在客服的過(guò)程中，如何把用戶的幾萬(wàn)條語(yǔ)義計(jì)算出來(lái)，認(rèn)為它們是相同的，這也是難點(diǎn)。傳統(tǒng)是用搜索的方法來(lái)做，但搜索只是擊中了幾個(gè)關(guān)鍵詞，有時(shí)經(jīng)常會(huì)答非所問(wèn)。

所以我們覺得人機(jī)交互往后最大的瓶頸可能就是在這個(gè)地方，就是自然語(yǔ)言處理是否能做的更好。

我們今天的團(tuán)隊(duì)任務(wù)很集中，只做了語(yǔ)言的交互，并沒(méi)有做數(shù)據(jù)本身，因?yàn)樽鰯?shù)據(jù)這個(gè)工程實(shí)在是太大了。所以要把很多的數(shù)據(jù)服務(wù)接進(jìn)來(lái)，但是有時(shí)這些數(shù)據(jù)與語(yǔ)音接入的時(shí)候，并不是很友好，這是一個(gè)需要改進(jìn)的地方。

所以這一盤，如果要做通的話，是一個(gè)非常大的范圍，也不是一個(gè)兩個(gè)團(tuán)隊(duì)自己能做完的，要靠生態(tài)來(lái)完成。

延伸閱讀：

徐一華首揭真相：中國(guó)做工業(yè)機(jī)器人的沒(méi)有哪家是賺錢的 | 微軟亞洲研究院院友會(huì)

凌海濱：未來(lái)AR要實(shí)現(xiàn)非平面的識(shí)別和跟蹤 | 微軟亞洲研究院院友會(huì)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。