0
| 本文作者： 趙青暉 | 2016-06-04 12:26 | 專題：雷峰網(wǎng)公開課 |
今年8月，雷鋒網(wǎng)將在深圳舉辦一場盛況空前，且有全球影響力的人工智能與機(jī)器人創(chuàng)新大會。屆時(shí)雷鋒網(wǎng)將發(fā)布“人工智能&機(jī)器人Top25創(chuàng)新企業(yè)榜”榜單。目前，我們正在拜訪人工智能、機(jī)器人領(lǐng)域的相關(guān)公司，從中篩選最終入選榜單的公司名單。如果你也想加入我們的榜單之中，請聯(lián)系：2020@leiphone.com。
編者按：本文整理自搜狗公司王硯峰在雷鋒網(wǎng)硬創(chuàng)公開課上的演講。王硯峰是搜狗公司桌面事業(yè)部高級總監(jiān)，桌面研究部和語音交互技術(shù)中心負(fù)責(zé)人。承擔(dān)輸入法、號碼通、個(gè)性化新聞等搜狗桌面產(chǎn)品在大數(shù)據(jù)和算法研究方面的工作，通過研究能力提升產(chǎn)品核心品質(zhì)推動產(chǎn)品創(chuàng)新。同時(shí)負(fù)責(zé)搜狗智能語音交互技術(shù)，帶領(lǐng)語音和語義技術(shù)團(tuán)隊(duì)實(shí)現(xiàn)了業(yè)內(nèi)頂尖的語音交互能力，并致力于智能語音技術(shù)的產(chǎn)品化創(chuàng)新。個(gè)人主要研究領(lǐng)域?yàn)椋鹤匀徽Z言處理、機(jī)器學(xué)習(xí)、推薦系統(tǒng)、語義理解、機(jī)器智能等。
所謂語義理解簡而言之就是讓機(jī)器懂得人的話語，理解人的意圖，并且返回給用戶相應(yīng)的答案或者內(nèi)容，來解決用戶需求。如果我們把語音識別作為機(jī)器的耳朵，那么語義理解就是機(jī)器的大腦。
比如用戶問“怎么去天安門”，語義理解需要得到的結(jié)果是用戶有出行需求，并且出行的目的地是天安門；如果用戶問“周圍有沒有好吃的川菜”，那么用戶此時(shí)的目的是找餐館，并且對餐館的類型有要求，菜系是川菜；如果用戶說“我想看一些湖人隊(duì)最新的消息”，那么此時(shí)用戶的需求是看一些新聞資訊，主體限定在NBA的湖人隊(duì)上。
因此可以看到語義理解技術(shù)至少有兩個(gè)關(guān)鍵的因素，第一是自然語言處理技術(shù)，利用統(tǒng)計(jì)自然語言處理算法提取文本中的實(shí)體詞以及依存關(guān)系；第二是要有全面而豐富的知識庫，配合自然語言處理技術(shù)，才能得到用戶的準(zhǔn)確意圖。
結(jié)合到上面的例子，如果知識庫中“天安門”是作為一個(gè)地名，那么“怎么去天安門”，就可以被以很高的準(zhǔn)確率劃分為用戶出行意圖。但如果地名庫中有一個(gè)數(shù)據(jù)叫“黑眼圈”，那么“怎么去黑眼圈”就非常有可能被劃分到出行，而不是一個(gè)知識問答。
從大的范疇來講，我會把語義理解劃分為三個(gè)層次。
第一個(gè)層次，是限定在一個(gè)已有服務(wù)相對成熟的垂直領(lǐng)域來解決用戶的實(shí)際需求。比如導(dǎo)航、餐飲、旅館、天氣、音樂等領(lǐng)域，這類問題的特點(diǎn)是用戶需求相對收斂，知識庫也相對成熟，并且經(jīng)過了多年的整理和沉淀已經(jīng)具有一定的結(jié)構(gòu)化特性，知識之間已經(jīng)不是孤立的知識點(diǎn)，而是通過知識之間的關(guān)系連成了網(wǎng)絡(luò)?！爸R圖譜”其實(shí)就是某種這樣的網(wǎng)絡(luò)。限定在垂直領(lǐng)域的語義理解問題因?yàn)橛脩粜枨蟮氖諗啃院椭R庫的成熟，技術(shù)上會更容易，同時(shí)也會更有能力實(shí)際的解決用戶的問題和需求。據(jù)統(tǒng)計(jì)，在車內(nèi)通用安吉星或者豐田GBOOK這種車內(nèi)call center提供的服務(wù)中，80%的需求都是問路或者導(dǎo)航，至少這是可以很大程度上通過機(jī)器語義理解解決的。在垂直領(lǐng)域下的語義理解，考驗(yàn)的更多是構(gòu)建知識庫本身的能力。
第二個(gè)層次，就是仍然在解決用戶的實(shí)際問題，但是問題本身已經(jīng)偏長尾，需求本身更加離散，并且知識也沒有很好的結(jié)構(gòu)化。比如“天空為什么是藍(lán)色的”。往往這個(gè)時(shí)候各個(gè)語義理解引擎會借助于搜索引擎，但實(shí)際上結(jié)果相對能夠保證的也只有搜索引擎整理出來的百科和問答資源。尤其對于問答，目前大部分的語義理解引擎仍然是靠搜索方式來解決，通過搜索技術(shù)尋找問答庫中和用戶問題最匹配的問題。而且無論是百度知道還是搜狗問問，問答庫中大部分的問答內(nèi)容其質(zhì)量本身也不能得到好的判斷，更不用說需要從大量文本中抽取整理答案了。這對于自然語言理解技術(shù)是非常大的考驗(yàn)，并且目前國內(nèi)做語義理解的公司整體上都沒有很好的效果，也是搜狗目前正在嘗試突破的話題。
最高的層次，就是做到跟人一樣的交談?，F(xiàn)在市面上的對話機(jī)器人，以“小冰”為代表，都在渲染這方面的能力。但實(shí)際上目前是做不到的。因?yàn)槿祟愒谧匀粚υ捴?，會帶入大量的歷史信息，場景信息，感情信息以及預(yù)先的認(rèn)知信息，實(shí)際上計(jì)算機(jī)目前從根本上都沒有一個(gè)好的建模方法來描述人類的思想和認(rèn)知過程，更不要提在思想活動和認(rèn)知過程之后產(chǎn)生的語言。因此當(dāng)前機(jī)器在這方面的能力，不要說解決用戶實(shí)際問題，就連閑聊的對話幾輪下來也經(jīng)不住用戶的考驗(yàn)。目前這個(gè)能力唯一實(shí)際一些的用途的就是在兒童產(chǎn)品中，給沒有邏輯能力和判斷能力的小朋友帶來歡樂。而對于成人，此類產(chǎn)品的用戶留存率從來低的可憐。
因此整體上，語義理解這個(gè)領(lǐng)域仍然是剛剛開始，雖然經(jīng)歷了不錯(cuò)的發(fā)展，但是從技術(shù)本質(zhì)上目前還沒有突破。距離很多公司鼓吹的強(qiáng)人工智能，還有很長的路要走。
Q：“結(jié)合上下文的‘多對話解析’”是如何做到的？其中的難點(diǎn)是什么？
談多輪對話，先要從單輪對話講起。單輪對話完全不需要考慮到用戶的歷史問題，只針對用戶當(dāng)前問題做答。一般是先對問題進(jìn)行實(shí)體詞識別，然后再結(jié)合實(shí)體詞上下文對問題進(jìn)行分類，判斷用戶的意圖分類，然后結(jié)合意圖分類和實(shí)體詞，得到用戶精確的意圖。所以本質(zhì)上單輪對話的核心是線性分類問題，隨著類別的增加，問題本身沒有變的更加復(fù)雜。并且隨著用戶數(shù)據(jù)的累積，分類的訓(xùn)練數(shù)據(jù)就會不停增加，分類的準(zhǔn)確率就會不斷提升，這是一個(gè)很經(jīng)典的機(jī)器學(xué)習(xí)的問題。
而多輪對話在單輪對話的基礎(chǔ)上引入了上下文，因此當(dāng)前的狀態(tài)不僅取決于上文，而且可能取決于上上文或者更遠(yuǎn)的上文。因此多輪對話實(shí)際上是一個(gè)有限狀態(tài)機(jī)（簡單的說就是是表示有限個(gè)狀態(tài)以及在這些狀態(tài)之間的轉(zhuǎn)移和動作等行為的數(shù)學(xué)模型。），用戶從一個(gè)狀態(tài)跳到另一個(gè)狀態(tài)的過程，其實(shí)就是一輪交互，而且交互反饋是根據(jù)上一個(gè)狀態(tài)生成的。隨著類別的增大，狀態(tài)機(jī)的規(guī)模會非常大的膨脹起來。如果實(shí)現(xiàn)一個(gè)靜態(tài)的狀態(tài)機(jī)，假定用戶行為是可預(yù)測的，那更多是工程能力上的問題。但實(shí)際環(huán)境下用戶行為往往是不可預(yù)測的，會產(chǎn)生出很多新的行為范式，反映出來的就是狀態(tài)機(jī)會增加更多的狀態(tài)以及狀態(tài)之間的邊，那么如何根據(jù)用戶產(chǎn)生出來的數(shù)據(jù)，動態(tài)的不停的構(gòu)建或者調(diào)整狀態(tài)機(jī)，這是多輪交互里面最大的難點(diǎn)。因?yàn)槊孔詣由梢粋€(gè)狀態(tài)節(jié)點(diǎn)，都需要同時(shí)生成一個(gè)在這個(gè)節(jié)點(diǎn)上用戶可理解的反饋方式以及抽象概念。
這是我認(rèn)為多輪對話中最難的部分，也是即使是當(dāng)前很流行的一些助手類產(chǎn)品都不支持多輪對話的原因。主要是很難根據(jù)用戶數(shù)據(jù)自動的把多輪交互的能力構(gòu)建出來。這部分搜狗目前也不能做到自動，仍然需要人的抽象總結(jié)能力的介入，尤其是交互話術(shù)，還需要人為來定義。
Q：語義理解的準(zhǔn)確率，整個(gè)行業(yè)目前最高能達(dá)到多少？如何提高？
這里談到的準(zhǔn)確率主要就是指單輪交互而言了。結(jié)合到我在第一個(gè)問題中的闡述，語義理解在垂直場景和領(lǐng)域下的準(zhǔn)確率已經(jīng)有了一定的可用性，但是在更開放的場景中以及對話流中，準(zhǔn)確率還是低得可憐。
在垂直場景中，假設(shè)知識庫以及對應(yīng)的分類模型已經(jīng)比較完善，在用戶常見問題上達(dá)到80%以上的準(zhǔn)確率是可以的。提高的路徑也是比較明確，就是一方面完善知識庫的數(shù)據(jù)能力，另一方面用更多的用戶語料提升模型的準(zhǔn)確度。
Q：如何解決中英文混合語句的語義分析問題（比如，“幫我呼叫Stephen William Hawking”）？中英文區(qū)分的難點(diǎn)在哪？
我認(rèn)為中英文混合語句的語音分析比純粹的中文技術(shù)上甚至還更容易，因?yàn)橛⑽囊呀?jīng)是非常好的斷句了，而不需要中文還要對分詞有所依賴。
目前中英文語義分析問題主要的兩個(gè)實(shí)際難點(diǎn)，一方面目前的語義產(chǎn)品形態(tài)上多和語音相結(jié)合，語義拿到的是語音識別的結(jié)果。然而中英文混合語音識別錯(cuò)誤率目前仍然偏高，主要是受到中英文發(fā)音建模方式的不同以及語料本身的缺失。錯(cuò)誤的中英文語音識別結(jié)果會加大語義理解的難度。
另一方面語義理解會非常重的依賴知識和對應(yīng)的服務(wù)，而這方面中國互聯(lián)網(wǎng)公司和國際上的內(nèi)容服務(wù)商的對接成本和困難要高于國內(nèi)，但是這個(gè)困難不本質(zhì)。
Q：在深度學(xué)習(xí)的狀態(tài)下，機(jī)器能夠?qū)τ脩舻恼Z言習(xí)慣適應(yīng)到什么程度？能理解用戶的一些情緒上的語言習(xí)慣嗎（如諷刺等話語）？
深度學(xué)習(xí)在語音圖像方面取得了重大突破，這些年在自然語言處理方面也取得了可觀的進(jìn)展，體現(xiàn)出來更強(qiáng)的語言理解能力。但是需要強(qiáng)調(diào)的是，深度學(xué)習(xí)比起傳統(tǒng)的機(jī)器學(xué)習(xí)模型，主要是通過提升模型的復(fù)雜度來增加模型能力。但是模型本身并不能對人類產(chǎn)生語言的方式進(jìn)行好的建模，本質(zhì)上還是統(tǒng)計(jì)機(jī)器學(xué)習(xí)的范疇，所以會非常大的依賴數(shù)據(jù)。實(shí)際上深度學(xué)習(xí)本身也是在大數(shù)據(jù)這個(gè)背景下才得以發(fā)揮。因此只要有足夠的用戶話語數(shù)據(jù)，深度學(xué)習(xí)還是有能力給出更好的結(jié)果。
但是往往用戶的語言還是會取決于對話歷史，而不是單純的只看一句話。因此訓(xùn)練一個(gè)模型，需要大量的對話數(shù)據(jù)，深度學(xué)習(xí)的優(yōu)勢才能體現(xiàn)出來。但目前受限于用戶對話內(nèi)容的隱私保護(hù)，業(yè)界拿不到足夠“大”的數(shù)據(jù)，因此取得的效果也會很有限。
Q：與科大訊飛、思必馳等同行技術(shù)的差異化（包括語音識別、語義/邏輯分析）？
語音識別方面，因?yàn)槲覀兙哂兴压份斎敕ㄟ@樣大的用戶產(chǎn)品，因此在獲得真實(shí)用戶語音語料方面，尤其是噪音環(huán)境和口音，我們都具有非常大的優(yōu)勢。科大訊飛有自己的輸入法，比起來我們的優(yōu)勢還沒有那么明顯，而相對思必馳云知聲這種用戶量小的公司而言這個(gè)優(yōu)勢是巨大的。
相比科大訊飛，搜狗主要的優(yōu)勢還是在語義理解以及背后的服務(wù)上。如前所述，語義理解能力一方面是考驗(yàn)垂直場景的知識能力，另一方面考驗(yàn)搜索問答能力。而這方面搜狗的能力是完備的，具有網(wǎng)頁搜索，各類垂搜以及搜狗地圖等產(chǎn)品，而這些都是訊飛不具備的。以導(dǎo)航中的多輪交互為例，如果拿不到地圖核心的結(jié)構(gòu)化數(shù)據(jù)，多輪交互是無從談起的。
比如北京的用戶要去化工大學(xué)昌平校區(qū)，首先化工大學(xué)在北京有多個(gè)分校，其次每個(gè)分校都有多個(gè)對應(yīng)的POI，以及用戶很多時(shí)候并不具備“化工大學(xué)北校區(qū)就是昌平校區(qū)”這樣的知識，只能通過地標(biāo)的方式“我想去昌平的那個(gè)”來描述。因此如果語音交互模塊不能深度的理解地圖的結(jié)構(gòu)化數(shù)據(jù)以及地標(biāo)信息，那么是很難做到智能交互的。
另外搜狗是一個(gè)互聯(lián)網(wǎng)產(chǎn)品公司，用戶的理解和產(chǎn)品能力相比起來也會更強(qiáng)，因此在做從技術(shù)到產(chǎn)品的轉(zhuǎn)換過程中，我們更有機(jī)會做出來用戶體驗(yàn)更好價(jià)值更大的產(chǎn)品。
Q：有沒有機(jī)會實(shí)現(xiàn) Google Now 那樣的功能？比如語音調(diào)取應(yīng)用，檢索其它應(yīng)用內(nèi)的信息，自動給出答案。
這個(gè)問題不是技術(shù)問題而是系統(tǒng)問題。只要從系統(tǒng)權(quán)限上可以調(diào)用應(yīng)用，那從語義理解上來講是非常容易的事情，只是簡單地命令識別。
至于檢索其他應(yīng)用內(nèi)信息，也是主要是否可以拿到應(yīng)用服務(wù)的數(shù)據(jù)或者借口。比如目前國內(nèi)餐飲方面的語義理解和服務(wù)，大眾點(diǎn)評就是非常好的服務(wù)方?？梢酝ㄟ^合作拿到餐廳的元數(shù)據(jù)，也可以通過數(shù)據(jù)協(xié)議訪問其平臺和搜索，這樣餐飲的需求就可以直接給出答案。技術(shù)上目前都是相對已經(jīng)很成熟的。
Q：今年8月，雷鋒網(wǎng)將在深圳舉辦“全球人工智能與機(jī)器人創(chuàng)新大會”（簡稱：GAIR）。想了解下，您對人工智能的未來趨勢怎么看？
從大的趨勢上來看，人工智能的未來一定是樂觀的。目前人工智能有些過熱，行業(yè)以及媒體對人工智能的期望以及概念的炒作已經(jīng)遠(yuǎn)遠(yuǎn)大于其本身的能力了，不過當(dāng)一個(gè)新興行業(yè)或者產(chǎn)業(yè)在被催生的時(shí)候，堆泡沫的過程也是必要的。
我個(gè)人是個(gè)理性的樂觀派，我相信未來機(jī)器一定能替代人去做更多的事情，但是我比較同意Google吳軍老師的觀點(diǎn)，所謂的人工智能其實(shí)只是機(jī)器智能，因?yàn)槟壳皺C(jī)器對事物的理解和人對事物的理解是不一樣的。機(jī)器智能多數(shù)依靠大數(shù)據(jù)才能完成工作，而人不需要大數(shù)據(jù)就能去感知、理解和判斷事物。但是只要給你機(jī)器足夠多的數(shù)據(jù)，機(jī)器就能創(chuàng)造出無限的可能。當(dāng)下我們每天在手機(jī)上制造的大量數(shù)據(jù)，未來的物聯(lián)網(wǎng)的時(shí)代，傳感器、camera和mic會進(jìn)一步帶來數(shù)據(jù)上的爆發(fā)。那么機(jī)器智能就能借著大數(shù)據(jù)在各個(gè)方面達(dá)到更高的高度。就像我們剛才講的語義理解的問題，之所以在人機(jī)對話方面處在這么低的智商水平，也是因?yàn)檎Z料庫不夠大，如果未來大數(shù)據(jù)充足，我相信，機(jī)器智能在語義理解方面一定也能解決更多的問題。
眾所周知，在信息處理方面，人工智能主要解決兩個(gè)問題， 第一個(gè)是交互和感知，第二個(gè)是信息的獲得。交互和感知方面，語音和圖像的識別已經(jīng)取得了長足進(jìn)步，錯(cuò)誤率會越來越低，最終會在技術(shù)上徹底解決的。而信息獲取方面，我們都在努力讓信息有更好的表示以及索引方式，讓互聯(lián)網(wǎng)上的雜亂信息變得更加知識化結(jié)構(gòu)化，甚至?xí)ㄟ^語音和圖像來索引信息觸達(dá)信息。 我心目中人工智能的價(jià)值就是在于提升我們獲取信息的能力和效率、讓人與機(jī)器的交互更容易、知識獲取更容易。在這個(gè)方向上，人工智能也一定能取得穩(wěn)定的健康的發(fā)展，逐漸改變我們的生活。
至于讓機(jī)器有人類的思維包括情感，這與我們目前所講的機(jī)器智能其實(shí)本質(zhì)上不是一碼事。這個(gè)方向我整體上不看好，也不是我們應(yīng)該努力的方向，從哲學(xué)上說，機(jī)器和人只有相互不可替代，才能持續(xù)發(fā)展。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
