如果橫向?qū)Ρ日Z音和視覺兩種技術(shù)，大多數(shù)人可能會(huì)直觀地認(rèn)為視覺是比語音更復(fù)雜的一種技術(shù)，但事實(shí)真是如此嗎？

在17日舉辦的中國人工智能產(chǎn)業(yè)大會(huì)上，思必馳首席科學(xué)家、“思必馳-上海交大智能人機(jī)交互聯(lián)合實(shí)驗(yàn)室”主任、上海交通大學(xué)計(jì)算機(jī)教授俞凱博士在接受雷鋒網(wǎng)采訪時(shí)表示，“語音和視覺是兩種不同的模態(tài)，前者是一維信號，后者是二維信號，視覺的幀率比語音低很多，因?yàn)橐曈X可能是一張圖片或者是視頻，視頻一秒24幀，而語音1秒鐘100幀就能聽出來差別，所以從實(shí)時(shí)性來看，語音的難度要高于視覺，但是從本身處理的信息量來講，視覺則會(huì)難于語音。”

當(dāng)然語音交互涉及到的問題不僅如此，它所做的不僅僅是語音識(shí)別。

語音識(shí)別屬于感知層，而感知只是語音交互的一部分

從上圖來看，一個(gè)端到端的語音交互方案包括了感知、認(rèn)知和知識(shí)處理三個(gè)部分。俞凱表示，“識(shí)別和合成都屬于感知范疇，這部分的目的是把語音信號轉(zhuǎn)為編碼文字，在后端需要對轉(zhuǎn)成的編碼文字進(jìn)行相應(yīng)的理解決策以及相關(guān)的表述，這是認(rèn)知?！比绾伟迅兄驼J(rèn)知連接起來是一個(gè)問題，也是目前思必馳正在做的一件事情。

如果只看感知和認(rèn)知部分，大數(shù)據(jù)和深度學(xué)習(xí)無疑是最核心的兩個(gè)因素。

俞凱舉了兩個(gè)例子：

不久前，微軟研究院發(fā)布的最新的語音識(shí)別測試結(jié)果顯示，電話語音在語音識(shí)別的測試當(dāng)中已經(jīng)達(dá)到了人類的水平（上圖左上角），人類的水平是在5.9，而這次測試的數(shù)據(jù)達(dá)到了5.8。俞凱指出，語音識(shí)別能夠達(dá)到這一水平的關(guān)鍵就是大幅度的計(jì)算。

第二個(gè)例子是上圖左下角展示的結(jié)果，這是思必馳利用極深的神經(jīng)網(wǎng)絡(luò)在一組抗噪的語音識(shí)別上做的測試，測試結(jié)果是7.1，這是一個(gè)什么樣的概念？

俞凱解釋，在深度學(xué)習(xí)產(chǎn)生之前，全世界最好的結(jié)果是13.4，深度學(xué)習(xí)產(chǎn)生之后這一數(shù)值降到了12，而7.1是目前最好的結(jié)果，如果做到5以下，就達(dá)到了人類水平，事實(shí)上，在一些特定場景下，結(jié)合深度學(xué)習(xí)以及大數(shù)據(jù)的技術(shù)已經(jīng)可以達(dá)到人的水平。因此，大數(shù)據(jù)和深度學(xué)習(xí)對人工智能的意義是顯而易見的。

但俞凱強(qiáng)調(diào)，站在學(xué)術(shù)界和產(chǎn)業(yè)界的角度看，感知層并不是最高深的問題，遠(yuǎn)場和外噪聲環(huán)境下的語音識(shí)別、非配合式的語音交互這些問題學(xué)術(shù)界和從業(yè)者進(jìn)一步深入研究就可以解決。認(rèn)知問題，是深度學(xué)習(xí)和大數(shù)據(jù)組合之外，業(yè)界需要探索的方向。

“認(rèn)知的難點(diǎn)在于你并不知道什么是好的什么是壞的，我們很難去理解在什么程度上是好的，交互決策用什么精確的指標(biāo)來客觀的衡量它，現(xiàn)在有很多不同的指標(biāo)提出來，所以在學(xué)術(shù)界和產(chǎn)業(yè)界都會(huì)存在很大的難點(diǎn)?！?/p>

認(rèn)知計(jì)算是什么？

如果在網(wǎng)上查閱資料，你會(huì)發(fā)現(xiàn)認(rèn)知計(jì)算算不上高頻詞，至少相比深度學(xué)習(xí)，認(rèn)知計(jì)算在業(yè)界的熱度還沒那么高，俞凱坦言，關(guān)于認(rèn)知計(jì)算業(yè)界目前還沒有一個(gè)統(tǒng)一的定義。

那么它和深度學(xué)習(xí)相比有什么特點(diǎn)？

俞凱向雷鋒網(wǎng)解釋道，“深度學(xué)習(xí)是一種方法，我們可以把它用在人工智能和控制上，它解決的是輸入和輸出之間的映射（算法），例如輸入語音，輸出的是文字；而認(rèn)知計(jì)算解決的是理解、反饋和學(xué)習(xí)問題，它對應(yīng)于人腦當(dāng)中比較抽象的推理部分，認(rèn)知的輸入和輸出都不明確?！?/p>

它用坐標(biāo)描述了語音交互在認(rèn)知計(jì)算上的分類。按照對話的應(yīng)用場景來看，以輪回的次數(shù)作為橫坐標(biāo)，結(jié)構(gòu)的引進(jìn)程度作為縱軸，我們就可以在坐標(biāo)的象限里分成四個(gè)部分（如上圖）：命令式、問答式、閑聊式和任務(wù)式四種場景。可以看出，命令式的交互和閑聊式的交互本質(zhì)上都沒有引進(jìn)絕對的結(jié)構(gòu)化信息，命令相對簡單，閑聊會(huì)更復(fù)雜，而問答和任務(wù)這兩種交互場景是目前應(yīng)用得比較多的類型。

再來看看認(rèn)知計(jì)算涉及到的技術(shù)，它包括深度（序列）學(xué)習(xí)、知識(shí)與數(shù)據(jù)雙輪驅(qū)動(dòng)以及強(qiáng)化學(xué)習(xí)。

1.深度學(xué)習(xí)帶動(dòng)了包括語音識(shí)別、對話交互在內(nèi)的技術(shù)進(jìn)步，而在認(rèn)知系統(tǒng)里，最大的進(jìn)步還是深度序列學(xué)習(xí)，即把整個(gè)文字序列看成學(xué)習(xí)目標(biāo)。

2.知識(shí)與數(shù)據(jù)雙輪驅(qū)動(dòng)的應(yīng)用越來越多，這其中出現(xiàn)了很多基于規(guī)則和統(tǒng)計(jì)混合的新的技術(shù)。

3.強(qiáng)化學(xué)習(xí)在AlphaGo之后被廣泛關(guān)注，其在對話交互當(dāng)中已經(jīng)成為最前沿的一種方式，現(xiàn)在深度Q網(wǎng)絡(luò)也已經(jīng)被廣泛應(yīng)用起來了。

認(rèn)知計(jì)算需要解決大數(shù)據(jù)和深度學(xué)習(xí)之外的問題

俞凱認(rèn)為，深度學(xué)習(xí)和大數(shù)據(jù)是基礎(chǔ)，但它們并不是萬能的，認(rèn)知計(jì)算需要解決的就是深度學(xué)習(xí)和大數(shù)據(jù)不能解決的問題。例如，一個(gè)方言識(shí)別器準(zhǔn)確率即便達(dá)到了95%以上也不代表就有了好的交互體驗(yàn)，這涉及到的是深度學(xué)習(xí)和大數(shù)據(jù)之外的問題。

首先，在深度學(xué)習(xí)之外，有兩個(gè)需要解決的問題：交互時(shí)機(jī)和異常處理。交互時(shí)機(jī)是指在對的時(shí)間切入交互，這里面包含了信號增強(qiáng)、對話狀態(tài)追蹤、失真及重疊語音的識(shí)別等任務(wù)；異常處理就是要知道如何去糾正，這其中的問題有異常檢測及置信度衡量、異常類型劃分等等。

除此之外，俞凱還介紹，大數(shù)據(jù)之外也涉及到了兩個(gè)問題，即語義理解范疇延伸、知識(shí)庫和應(yīng)用規(guī)劃的結(jié)合，這些都不是通過收集到的原始大數(shù)據(jù)就能解決的，它們都需要加入很多算法。

一言以蔽之，認(rèn)知計(jì)算需要解決上述問題才能夠在用戶層面有好的交互體驗(yàn)。

“我們會(huì)看到大數(shù)據(jù)和深度學(xué)習(xí)對普適模型以及大一統(tǒng)方案上將有很大的進(jìn)步，但是真正實(shí)際使用過程中，要一些新型技術(shù)結(jié)合進(jìn)去才有可能解決，科學(xué)上的進(jìn)步往往是從產(chǎn)業(yè)上的問題作為入手點(diǎn)，而提出的解決方案可能會(huì)超越大家現(xiàn)在的想象?！庇釀P如此表示。言下之意，至少在語音交互上，產(chǎn)業(yè)界還存在很多問題亟待解決。

但我們對未來還是要保持樂觀的心態(tài)，隨著技術(shù)問題的進(jìn)一步解決，語音交互領(lǐng)域未來會(huì)產(chǎn)生一些新的商業(yè)模式。俞凱告訴雷鋒網(wǎng)，預(yù)計(jì)明年將會(huì)有很多專業(yè)領(lǐng)域提供語音識(shí)別服務(wù)的公司會(huì)涌現(xiàn)出來，如醫(yī)療、金融和教育等領(lǐng)域，這些都需要專業(yè)的人來做數(shù)據(jù)模型，他們只需要用一套標(biāo)準(zhǔn)化的方案就可以實(shí)現(xiàn)應(yīng)用。換言之，雖然未來可能很難再有類似思必馳這些向第三方提供lisense的平臺(tái)型的公司出現(xiàn)，但創(chuàng)業(yè)企業(yè)可以從這些平臺(tái)公司獲取基礎(chǔ)技術(shù)，再根據(jù)細(xì)分行業(yè)的具體需求來形成應(yīng)用，這是語音交互產(chǎn)業(yè)的未來一個(gè)發(fā)展方向。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。