0
| 本文作者： 趙青暉 | 2016-06-04 12:26 | 專題：雷峰網(wǎng)公開課 |
今年8月，雷鋒網(wǎng)將在深圳舉辦一場盛況空前，且有全球影響力的人工智能與機器人創(chuàng)新大會。屆時雷鋒網(wǎng)將發(fā)布“人工智能&機器人Top25創(chuàng)新企業(yè)榜”榜單。目前，我們正在拜訪人工智能、機器人領域的相關公司，從中篩選最終入選榜單的公司名單。如果你也想加入我們的榜單之中，請聯(lián)系：2020@leiphone.com。
編者按：本文整理自搜狗公司王硯峰在雷鋒網(wǎng)硬創(chuàng)公開課上的演講。王硯峰是搜狗公司桌面事業(yè)部高級總監(jiān)，桌面研究部和語音交互技術中心負責人。承擔輸入法、號碼通、個性化新聞等搜狗桌面產(chǎn)品在大數(shù)據(jù)和算法研究方面的工作，通過研究能力提升產(chǎn)品核心品質推動產(chǎn)品創(chuàng)新。同時負責搜狗智能語音交互技術，帶領語音和語義技術團隊實現(xiàn)了業(yè)內(nèi)頂尖的語音交互能力，并致力于智能語音技術的產(chǎn)品化創(chuàng)新。個人主要研究領域為：自然語言處理、機器學習、推薦系統(tǒng)、語義理解、機器智能等。
所謂語義理解簡而言之就是讓機器懂得人的話語，理解人的意圖，并且返回給用戶相應的答案或者內(nèi)容，來解決用戶需求。如果我們把語音識別作為機器的耳朵，那么語義理解就是機器的大腦。
比如用戶問“怎么去天安門”，語義理解需要得到的結果是用戶有出行需求，并且出行的目的地是天安門；如果用戶問“周圍有沒有好吃的川菜”，那么用戶此時的目的是找餐館，并且對餐館的類型有要求，菜系是川菜；如果用戶說“我想看一些湖人隊最新的消息”，那么此時用戶的需求是看一些新聞資訊，主體限定在NBA的湖人隊上。
因此可以看到語義理解技術至少有兩個關鍵的因素，第一是自然語言處理技術，利用統(tǒng)計自然語言處理算法提取文本中的實體詞以及依存關系；第二是要有全面而豐富的知識庫，配合自然語言處理技術，才能得到用戶的準確意圖。
結合到上面的例子，如果知識庫中“天安門”是作為一個地名，那么“怎么去天安門”，就可以被以很高的準確率劃分為用戶出行意圖。但如果地名庫中有一個數(shù)據(jù)叫“黑眼圈”，那么“怎么去黑眼圈”就非常有可能被劃分到出行，而不是一個知識問答。
從大的范疇來講，我會把語義理解劃分為三個層次。
第一個層次，是限定在一個已有服務相對成熟的垂直領域來解決用戶的實際需求。比如導航、餐飲、旅館、天氣、音樂等領域，這類問題的特點是用戶需求相對收斂，知識庫也相對成熟，并且經(jīng)過了多年的整理和沉淀已經(jīng)具有一定的結構化特性，知識之間已經(jīng)不是孤立的知識點，而是通過知識之間的關系連成了網(wǎng)絡。“知識圖譜”其實就是某種這樣的網(wǎng)絡。限定在垂直領域的語義理解問題因為用戶需求的收斂性和知識庫的成熟，技術上會更容易，同時也會更有能力實際的解決用戶的問題和需求。據(jù)統(tǒng)計，在車內(nèi)通用安吉星或者豐田GBOOK這種車內(nèi)call center提供的服務中，80%的需求都是問路或者導航，至少這是可以很大程度上通過機器語義理解解決的。在垂直領域下的語義理解，考驗的更多是構建知識庫本身的能力。
第二個層次，就是仍然在解決用戶的實際問題，但是問題本身已經(jīng)偏長尾，需求本身更加離散，并且知識也沒有很好的結構化。比如“天空為什么是藍色的”。往往這個時候各個語義理解引擎會借助于搜索引擎，但實際上結果相對能夠保證的也只有搜索引擎整理出來的百科和問答資源。尤其對于問答，目前大部分的語義理解引擎仍然是靠搜索方式來解決，通過搜索技術尋找問答庫中和用戶問題最匹配的問題。而且無論是百度知道還是搜狗問問，問答庫中大部分的問答內(nèi)容其質量本身也不能得到好的判斷，更不用說需要從大量文本中抽取整理答案了。這對于自然語言理解技術是非常大的考驗，并且目前國內(nèi)做語義理解的公司整體上都沒有很好的效果，也是搜狗目前正在嘗試突破的話題。
最高的層次，就是做到跟人一樣的交談?，F(xiàn)在市面上的對話機器人，以“小冰”為代表，都在渲染這方面的能力。但實際上目前是做不到的。因為人類在自然對話中，會帶入大量的歷史信息，場景信息，感情信息以及預先的認知信息，實際上計算機目前從根本上都沒有一個好的建模方法來描述人類的思想和認知過程，更不要提在思想活動和認知過程之后產(chǎn)生的語言。因此當前機器在這方面的能力，不要說解決用戶實際問題，就連閑聊的對話幾輪下來也經(jīng)不住用戶的考驗。目前這個能力唯一實際一些的用途的就是在兒童產(chǎn)品中，給沒有邏輯能力和判斷能力的小朋友帶來歡樂。而對于成人，此類產(chǎn)品的用戶留存率從來低的可憐。
因此整體上，語義理解這個領域仍然是剛剛開始，雖然經(jīng)歷了不錯的發(fā)展，但是從技術本質上目前還沒有突破。距離很多公司鼓吹的強人工智能，還有很長的路要走。
Q：“結合上下文的‘多對話解析’”是如何做到的？其中的難點是什么？
談多輪對話，先要從單輪對話講起。單輪對話完全不需要考慮到用戶的歷史問題，只針對用戶當前問題做答。一般是先對問題進行實體詞識別，然后再結合實體詞上下文對問題進行分類，判斷用戶的意圖分類，然后結合意圖分類和實體詞，得到用戶精確的意圖。所以本質上單輪對話的核心是線性分類問題，隨著類別的增加，問題本身沒有變的更加復雜。并且隨著用戶數(shù)據(jù)的累積，分類的訓練數(shù)據(jù)就會不停增加，分類的準確率就會不斷提升，這是一個很經(jīng)典的機器學習的問題。
而多輪對話在單輪對話的基礎上引入了上下文，因此當前的狀態(tài)不僅取決于上文，而且可能取決于上上文或者更遠的上文。因此多輪對話實際上是一個有限狀態(tài)機（簡單的說就是是表示有限個狀態(tài)以及在這些狀態(tài)之間的轉移和動作等行為的數(shù)學模型。），用戶從一個狀態(tài)跳到另一個狀態(tài)的過程，其實就是一輪交互，而且交互反饋是根據(jù)上一個狀態(tài)生成的。隨著類別的增大，狀態(tài)機的規(guī)模會非常大的膨脹起來。如果實現(xiàn)一個靜態(tài)的狀態(tài)機，假定用戶行為是可預測的，那更多是工程能力上的問題。但實際環(huán)境下用戶行為往往是不可預測的，會產(chǎn)生出很多新的行為范式，反映出來的就是狀態(tài)機會增加更多的狀態(tài)以及狀態(tài)之間的邊，那么如何根據(jù)用戶產(chǎn)生出來的數(shù)據(jù)，動態(tài)的不停的構建或者調(diào)整狀態(tài)機，這是多輪交互里面最大的難點。因為每自動生成一個狀態(tài)節(jié)點，都需要同時生成一個在這個節(jié)點上用戶可理解的反饋方式以及抽象概念。
這是我認為多輪對話中最難的部分，也是即使是當前很流行的一些助手類產(chǎn)品都不支持多輪對話的原因。主要是很難根據(jù)用戶數(shù)據(jù)自動的把多輪交互的能力構建出來。這部分搜狗目前也不能做到自動，仍然需要人的抽象總結能力的介入，尤其是交互話術，還需要人為來定義。
Q：語義理解的準確率，整個行業(yè)目前最高能達到多少？如何提高？
這里談到的準確率主要就是指單輪交互而言了。結合到我在第一個問題中的闡述，語義理解在垂直場景和領域下的準確率已經(jīng)有了一定的可用性，但是在更開放的場景中以及對話流中，準確率還是低得可憐。
在垂直場景中，假設知識庫以及對應的分類模型已經(jīng)比較完善，在用戶常見問題上達到80%以上的準確率是可以的。提高的路徑也是比較明確，就是一方面完善知識庫的數(shù)據(jù)能力，另一方面用更多的用戶語料提升模型的準確度。
Q：如何解決中英文混合語句的語義分析問題（比如，“幫我呼叫Stephen William Hawking”）？中英文區(qū)分的難點在哪？
我認為中英文混合語句的語音分析比純粹的中文技術上甚至還更容易，因為英文已經(jīng)是非常好的斷句了，而不需要中文還要對分詞有所依賴。
目前中英文語義分析問題主要的兩個實際難點，一方面目前的語義產(chǎn)品形態(tài)上多和語音相結合，語義拿到的是語音識別的結果。然而中英文混合語音識別錯誤率目前仍然偏高，主要是受到中英文發(fā)音建模方式的不同以及語料本身的缺失。錯誤的中英文語音識別結果會加大語義理解的難度。
另一方面語義理解會非常重的依賴知識和對應的服務，而這方面中國互聯(lián)網(wǎng)公司和國際上的內(nèi)容服務商的對接成本和困難要高于國內(nèi)，但是這個困難不本質。
Q：在深度學習的狀態(tài)下，機器能夠對用戶的語言習慣適應到什么程度？能理解用戶的一些情緒上的語言習慣嗎（如諷刺等話語）？
深度學習在語音圖像方面取得了重大突破，這些年在自然語言處理方面也取得了可觀的進展，體現(xiàn)出來更強的語言理解能力。但是需要強調(diào)的是，深度學習比起傳統(tǒng)的機器學習模型，主要是通過提升模型的復雜度來增加模型能力。但是模型本身并不能對人類產(chǎn)生語言的方式進行好的建模，本質上還是統(tǒng)計機器學習的范疇，所以會非常大的依賴數(shù)據(jù)。實際上深度學習本身也是在大數(shù)據(jù)這個背景下才得以發(fā)揮。因此只要有足夠的用戶話語數(shù)據(jù)，深度學習還是有能力給出更好的結果。
但是往往用戶的語言還是會取決于對話歷史，而不是單純的只看一句話。因此訓練一個模型，需要大量的對話數(shù)據(jù)，深度學習的優(yōu)勢才能體現(xiàn)出來。但目前受限于用戶對話內(nèi)容的隱私保護，業(yè)界拿不到足夠“大”的數(shù)據(jù)，因此取得的效果也會很有限。
Q：與科大訊飛、思必馳等同行技術的差異化（包括語音識別、語義/邏輯分析）？
語音識別方面，因為我們具有搜狗輸入法這樣大的用戶產(chǎn)品，因此在獲得真實用戶語音語料方面，尤其是噪音環(huán)境和口音，我們都具有非常大的優(yōu)勢。科大訊飛有自己的輸入法，比起來我們的優(yōu)勢還沒有那么明顯，而相對思必馳云知聲這種用戶量小的公司而言這個優(yōu)勢是巨大的。
相比科大訊飛，搜狗主要的優(yōu)勢還是在語義理解以及背后的服務上。如前所述，語義理解能力一方面是考驗垂直場景的知識能力，另一方面考驗搜索問答能力。而這方面搜狗的能力是完備的，具有網(wǎng)頁搜索，各類垂搜以及搜狗地圖等產(chǎn)品，而這些都是訊飛不具備的。以導航中的多輪交互為例，如果拿不到地圖核心的結構化數(shù)據(jù)，多輪交互是無從談起的。
比如北京的用戶要去化工大學昌平校區(qū)，首先化工大學在北京有多個分校，其次每個分校都有多個對應的POI，以及用戶很多時候并不具備“化工大學北校區(qū)就是昌平校區(qū)”這樣的知識，只能通過地標的方式“我想去昌平的那個”來描述。因此如果語音交互模塊不能深度的理解地圖的結構化數(shù)據(jù)以及地標信息，那么是很難做到智能交互的。
另外搜狗是一個互聯(lián)網(wǎng)產(chǎn)品公司，用戶的理解和產(chǎn)品能力相比起來也會更強，因此在做從技術到產(chǎn)品的轉換過程中，我們更有機會做出來用戶體驗更好價值更大的產(chǎn)品。
Q：有沒有機會實現(xiàn) Google Now 那樣的功能？比如語音調(diào)取應用，檢索其它應用內(nèi)的信息，自動給出答案。
這個問題不是技術問題而是系統(tǒng)問題。只要從系統(tǒng)權限上可以調(diào)用應用，那從語義理解上來講是非常容易的事情，只是簡單地命令識別。
至于檢索其他應用內(nèi)信息，也是主要是否可以拿到應用服務的數(shù)據(jù)或者借口。比如目前國內(nèi)餐飲方面的語義理解和服務，大眾點評就是非常好的服務方?？梢酝ㄟ^合作拿到餐廳的元數(shù)據(jù)，也可以通過數(shù)據(jù)協(xié)議訪問其平臺和搜索，這樣餐飲的需求就可以直接給出答案。技術上目前都是相對已經(jīng)很成熟的。
Q：今年8月，雷鋒網(wǎng)將在深圳舉辦“全球人工智能與機器人創(chuàng)新大會”（簡稱：GAIR）。想了解下，您對人工智能的未來趨勢怎么看？
從大的趨勢上來看，人工智能的未來一定是樂觀的。目前人工智能有些過熱，行業(yè)以及媒體對人工智能的期望以及概念的炒作已經(jīng)遠遠大于其本身的能力了，不過當一個新興行業(yè)或者產(chǎn)業(yè)在被催生的時候，堆泡沫的過程也是必要的。
我個人是個理性的樂觀派，我相信未來機器一定能替代人去做更多的事情，但是我比較同意Google吳軍老師的觀點，所謂的人工智能其實只是機器智能，因為目前機器對事物的理解和人對事物的理解是不一樣的。機器智能多數(shù)依靠大數(shù)據(jù)才能完成工作，而人不需要大數(shù)據(jù)就能去感知、理解和判斷事物。但是只要給你機器足夠多的數(shù)據(jù)，機器就能創(chuàng)造出無限的可能。當下我們每天在手機上制造的大量數(shù)據(jù)，未來的物聯(lián)網(wǎng)的時代，傳感器、camera和mic會進一步帶來數(shù)據(jù)上的爆發(fā)。那么機器智能就能借著大數(shù)據(jù)在各個方面達到更高的高度。就像我們剛才講的語義理解的問題，之所以在人機對話方面處在這么低的智商水平，也是因為語料庫不夠大，如果未來大數(shù)據(jù)充足，我相信，機器智能在語義理解方面一定也能解決更多的問題。
眾所周知，在信息處理方面，人工智能主要解決兩個問題， 第一個是交互和感知，第二個是信息的獲得。交互和感知方面，語音和圖像的識別已經(jīng)取得了長足進步，錯誤率會越來越低，最終會在技術上徹底解決的。而信息獲取方面，我們都在努力讓信息有更好的表示以及索引方式，讓互聯(lián)網(wǎng)上的雜亂信息變得更加知識化結構化，甚至會通過語音和圖像來索引信息觸達信息。 我心目中人工智能的價值就是在于提升我們獲取信息的能力和效率、讓人與機器的交互更容易、知識獲取更容易。在這個方向上，人工智能也一定能取得穩(wěn)定的健康的發(fā)展，逐漸改變我們的生活。
至于讓機器有人類的思維包括情感，這與我們目前所講的機器智能其實本質上不是一碼事。這個方向我整體上不看好，也不是我們應該努力的方向，從哲學上說，機器和人只有相互不可替代，才能持續(xù)發(fā)展。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
專題
