作者 | Migüel Jetté
編輯 | 陳彩嫻
在過去的兩年中，自動語音識別（Automatic Speech Recognition, ASR）在商用上取得了重要的發(fā)展，其中一個衡量指標(biāo)就是：多個完全基于神經(jīng)網(wǎng)絡(luò)的企業(yè)級 ASR 模型成功上市，如 Alexa、Rev、AssemblyAI、ASAPP等。2016年，微軟研究院發(fā)表了一篇文章，宣布他們的模型在已有25年歷史的“Switchboard”數(shù)據(jù)集上，達(dá)到了人類水平（通過單詞錯誤率來衡量）。ASR 的準(zhǔn)確性仍在不斷提高，在更多的數(shù)據(jù)集和用例中逐漸達(dá)到人類水平。
圖源：Awni Hannun 的博文 “Speech Recognition is not Solved”
隨著 ASR 技術(shù)的識別準(zhǔn)確度大幅提升，同時應(yīng)用場景越來越豐富，我們相信：現(xiàn)在還不是 ASR 商用的巔峰，該領(lǐng)域的研究與市場應(yīng)用還有待發(fā)掘。我們預(yù)計未來十年 AI 語音的相關(guān)研究和商業(yè)系統(tǒng)將重點攻克以下五個領(lǐng)域 ：“在未來十年，我們將在生產(chǎn)環(huán)境中部署真正的多語言模型，使開發(fā)人員能夠構(gòu)建任何人都能理解任意語言的應(yīng)用程序，從而真正向全世界釋放語音識別的力量?！?/span>
圖源：Alexis Conneau 等人在 2020 年發(fā)表的“Unsupervised cross-lingual representation learning for speech recognition”論文如今的商用 ASR 模型主要使用英語數(shù)據(jù)集進(jìn)行訓(xùn)練，因此對英語輸入具有更高的準(zhǔn)確性。由于數(shù)據(jù)可用性和市場需求，學(xué)術(shù)界和工業(yè)界對英語的長期關(guān)注度更高。法語、西班牙語、葡萄牙語和德語等商業(yè)流行語言的識別準(zhǔn)確度雖然也較為合理，但顯然存在一個訓(xùn)練數(shù)據(jù)有限且ASR輸出質(zhì)量相對較低的語言長尾。此外，大多數(shù)商業(yè)系統(tǒng)都是基于單一語言，這無法適用于許多社會特有的多語言場景。多語言可以采用背靠背語言的形式，例如雙語國家的媒體節(jié)目。亞馬遜最近推出了一款集成語言識別（LID）和ASR的產(chǎn)品，在處理這一問題上取得了長足進(jìn)步。相比之下，跨語言（也稱為語碼轉(zhuǎn)換）是個人使用的一種語言系統(tǒng)，該系統(tǒng)可以將兩種語言的單詞和語法結(jié)合在同一個句子中。這是一個學(xué)術(shù)界繼續(xù)取得有趣進(jìn)展的領(lǐng)域。正如自然語言處理領(lǐng)域采用多語言方法一樣，我們將會看到ASR在未來十年也會效仿。隨著我們學(xué)習(xí)如何利用新興的端到端技術(shù)，我們將會訓(xùn)練可以在多種語言之間進(jìn)行遷移學(xué)習(xí)的大規(guī)模多語言模型。Meta的XLS-R就是一個很好的例子：在一個演示中，體驗者可以說21種語言中的任何一種，而不需要指定某種語言，模型最終都會翻譯成英語。通過理解和應(yīng)用語言之間的相似性，這些更智能的ASR系統(tǒng)將為低資源語言和混合語言用例提供高質(zhì)量的ASR可用性，并將實現(xiàn)商業(yè)級別的應(yīng)用。“在未來十年，我們相信商業(yè) ASR 系統(tǒng)將輸出更豐富的轉(zhuǎn)錄對象，其中包含的內(nèi)容將不止簡單的單詞。此外，我們預(yù)計，這種更豐富的輸出將得到W3C等標(biāo)準(zhǔn)組織的認(rèn)可，以便所有API都將返回類似構(gòu)造的輸出。這將進(jìn)一步釋放世界上每個人的語音應(yīng)用潛力。”盡管國家標(biāo)準(zhǔn)技術(shù)研究院（NIST）在探索“豐富轉(zhuǎn)錄”方面有著悠久傳統(tǒng)，但在將其納入ASR輸出的標(biāo)準(zhǔn)化和可擴展格式方面仍是淺嘗輒止。豐富轉(zhuǎn)錄的概念最初涉及大寫、標(biāo)點和日記化，但在某種程度上擴展到說話人角色和一系列非語言性言語事件。預(yù)期的創(chuàng)新包括轉(zhuǎn)錄來自不同說話者、不同情緒和其他副語言特征的重疊語音，以及一系列非語言甚至非人類的語音場景和事件，還可以轉(zhuǎn)錄基于文本或語言多樣性的信息。Tanaka等人描繪了一個用戶可能希望在不同豐富程度的轉(zhuǎn)錄選項中進(jìn)行選擇的場景，顯然，我們預(yù)測的附加信息的數(shù)量和性質(zhì)是可指定的，這取決于下游應(yīng)用。傳統(tǒng)的ASR系統(tǒng)能夠在識別口語單詞的過程中生成多個假設(shè)的網(wǎng)格，這些已被證明在人工輔助轉(zhuǎn)錄、口語對話系統(tǒng)和信息檢索中大有裨益。在豐富的輸出格式中包含n-best信息將鼓勵更多用戶使用ASR系統(tǒng)，從而改善用戶體驗。雖然目前不存在用于構(gòu)建或存儲語音解碼過程中當(dāng)前生成或可能生成的附加信息的標(biāo)準(zhǔn)，但CallMiner的開放語音轉(zhuǎn)錄標(biāo)準(zhǔn)（OVTS）朝這個方向邁出了堅實的一步，使企業(yè)易于探索和選擇多個ASR供應(yīng)商。我們預(yù)測，在未來，ASR系統(tǒng)將以標(biāo)準(zhǔn)格式產(chǎn)生更豐富的輸出，從而支持更強大的下游應(yīng)用程序。例如，ASR系統(tǒng)可能會輸出全部可能網(wǎng)格，并且應(yīng)用程序可以在編輯轉(zhuǎn)錄內(nèi)容時使用這些附加數(shù)據(jù)進(jìn)行智能自動轉(zhuǎn)錄。類似地，包括附加元數(shù)據(jù)（如檢測到的區(qū)域方言、口音、環(huán)境噪聲或情緒）的ASR轉(zhuǎn)錄可以實現(xiàn)更強大的搜索應(yīng)用。“在這十年中，大規(guī)模的 ASR（即私有化、可負(fù)擔(dān)、可靠和快速）將成為每個人日常生活的一部分。這些系統(tǒng)將能夠搜索視頻，索引我們參與的所有媒體內(nèi)容，并使世界各地的聽力受損消費者能夠訪問每個視頻。ASR將是對每一個音頻和視頻都實現(xiàn)可訪問和可操作的關(guān)鍵?！?/span>我們可能都在大量使用音視頻軟件：播客、社交媒體流、在線視頻、實時群聊、Zoom會議等等。然而相關(guān)的內(nèi)容實際上很少被轉(zhuǎn)錄。如今，內(nèi)容轉(zhuǎn)錄已經(jīng)成為ASR API的最大市場之一，并將在未來十年呈指數(shù)級增長，特別是考慮到它們準(zhǔn)確性和經(jīng)濟性。話雖如此，ASR轉(zhuǎn)錄目前僅用于特定應(yīng)用程序（廣播視頻、某些會議和播客等）。因此，許多人無法訪問此媒體內(nèi)容，并且在廣播或活動結(jié)束后很難找到相關(guān)信息。在未來，這種情況將會改變。正如Matt Thompson在2010年預(yù)測的那樣，在某種程度上，ASR價格廉價并被廣泛普及，以至于我們將體驗到他所謂的“演講性”。我們預(yù)計，未來幾乎所有音頻和視頻內(nèi)容都將被轉(zhuǎn)錄，并且可立即訪問、可存儲、可大規(guī)模搜索。但ASR的發(fā)展不會到此停滯，我們還希望這些內(nèi)容具有可操作性。我們希望消費或參與的每個音視頻會提供額外的上下文，例如從播客或會議中自動生成的見解，或視頻中關(guān)鍵時刻的自動總結(jié)等等，我們希望NLP系統(tǒng)可以將上述處理日常化。“到本世紀(jì)末，我們將擁有不斷發(fā)展的ASR系統(tǒng)，它就像一個活的有機體，在人類的幫助或自我監(jiān)督下不斷學(xué)習(xí)。這些系統(tǒng)將從現(xiàn)實世界中的不同渠道學(xué)習(xí)， 以實時而非異步的方式理解新單詞和語言變體，自我調(diào)試并自動監(jiān)控不同的用法?！?/span>隨著ASR成為主流并涵蓋越來越多的用例，人機協(xié)同將發(fā)揮關(guān)鍵作用。ASR模型的訓(xùn)練很好地體現(xiàn)了這一點。如今，開源數(shù)據(jù)集和預(yù)訓(xùn)練模型降低了ASR供應(yīng)商的準(zhǔn)入門檻。然而，訓(xùn)練過程仍然相當(dāng)簡單：收集數(shù)據(jù)、注釋數(shù)據(jù)、訓(xùn)練模型、評估結(jié)果、改進(jìn)模型。但這是一個緩慢的過程，并且在許多情況下，由于調(diào)整困難或數(shù)據(jù)不足而容易出錯。Garnerin等人觀察到，元數(shù)據(jù)缺失和跨語料庫表示的不一致性使得在ASR性能方面難以保證同等的準(zhǔn)確性，這也是Reid和Walker在開發(fā)元數(shù)據(jù)標(biāo)準(zhǔn)時試圖解決的問題。在未來，人類將通過智能手段高效地監(jiān)督ASR訓(xùn)練，在加速機器學(xué)習(xí)方面發(fā)揮日益重要的作用。人在回路方法將人工審查員置于機器學(xué)習(xí)/反饋循環(huán)中，可以對模型結(jié)果進(jìn)行持續(xù)審查和調(diào)整。這會使機器學(xué)習(xí)更快、更高效，從而產(chǎn)生更高質(zhì)量的輸出。今年早些時候，我們討論了ASR的改進(jìn)如何使Rev的人工轉(zhuǎn)錄員（稱為“Revvers”）能夠?qū)SR草案進(jìn)行后期編輯，從而提高工作效率。Revver的轉(zhuǎn)錄可以直接輸入到改進(jìn)的ASR模型中，形成良性循環(huán)。對于ASR，人類語言專家仍然不可或缺的一個領(lǐng)域是反向文本規(guī)范化（ITN），他們將識別的字符串（如“five dollars”）轉(zhuǎn)換為預(yù)期的書面形式（如“$5”）。Pusateri等人提出了一種使用“手工語法和統(tǒng)計模型”的混合方法，Zhang等人繼續(xù)沿用這些思路，用人工制作的FST約束RNN。“與所有人工智能系統(tǒng)一樣，未來的ASR系統(tǒng)將堅持更嚴(yán)格的人工智能倫理原則，以便系統(tǒng)平等對待所有人，可解釋性程度更高、對其決策負(fù)責(zé)、并尊重用戶及其數(shù)據(jù)的隱私?！?/span>未來的ASR系統(tǒng)將遵循人工智能倫理的四項原則：公平性、可解釋性、尊重隱私和問責(zé)制。公平性：無論說話者的背景、社會經(jīng)濟地位或其他特征如何，公平的ASR系統(tǒng)都能識別語音。值得注意的是，構(gòu)建這樣的系統(tǒng)需要識別并減少我們的模型和訓(xùn)練數(shù)據(jù)中的偏差。幸運的是，政府、非政府組織和企業(yè)已經(jīng)著手創(chuàng)建識別和減輕偏見的基礎(chǔ)設(shè)施。可解釋性：ASR系統(tǒng)將不再是“黑盒”：它們將根據(jù)要求對數(shù)據(jù)收集與分析、模型性能與輸出過程進(jìn)行解釋。這種附加的透明度要求可以對模型訓(xùn)練和性能進(jìn)行更好的人為監(jiān)督。與Gerlings等人一樣，我們從一系列利益相關(guān)者（包括研究人員、開發(fā)人員、客戶，以及Rev案例中的轉(zhuǎn)錄學(xué)家）的角度來看待可解釋性。研究人員可能想知道輸出錯誤文本的原因，以便緩解問題；而轉(zhuǎn)錄學(xué)家可能需要一些證據(jù)來證明ASR為什么會這么認(rèn)為，以幫助他們評估其有效性，特別是在嘈雜的情況下，ASR可能比人“聽”得更好。Weitz等人在音頻關(guān)鍵詞識別的背景下，為終端用戶實現(xiàn)可解釋性采取了重要的初步措施。Laguarta和Subirana已將臨床醫(yī)生指導(dǎo)的解釋納入用于阿爾茨海默癥檢測的語音生物標(biāo)記系統(tǒng)。尊重隱私：根據(jù)各種美國和國際法律，“語音”被視為“個人數(shù)據(jù)”，因此，語音記錄的收集和處理受到嚴(yán)格的個人隱私保護(hù)。在Rev，我們已經(jīng)提供了數(shù)據(jù)安全和控制功能，未來的ASR系統(tǒng)將進(jìn)一步尊重用戶數(shù)據(jù)的隱私和模型的隱私。在許多情況下，這很可能涉及將ASR模型推向邊緣（在設(shè)備或瀏覽器上）。語音隱私挑戰(zhàn)正在推動這一領(lǐng)域的研究，許多司法管轄區(qū)，如歐盟，已經(jīng)開展立法工作。隱私保護(hù)機器學(xué)習(xí)領(lǐng)域有望引起大家對技術(shù)這一關(guān)鍵方面的重視，使其能夠被公眾廣泛接受和信任。問責(zé)制：我們將對ASR系統(tǒng)進(jìn)行監(jiān)控，以確保其遵守前三項原則。反過來需要投入資源和基礎(chǔ)設(shè)施，以設(shè)計和開發(fā)必要的監(jiān)測系統(tǒng)，并針對調(diào)查結(jié)果采取措施。部署ASR系統(tǒng)的公司將對其技術(shù)的使用負(fù)責(zé)，并為遵守ASR倫理原則做出具體努力。值得一提的是，作為ASR系統(tǒng)的設(shè)計者、維護(hù)者和消費者，人類將負(fù)責(zé)實施和執(zhí)行這些原則——這是人機協(xié)同的又一個示例。https://thegradient.pub/the-future-of-speech-recognition/https://awni.github.io/speech-recognition/掃碼添加 AI 科技評論 微信號，投稿&進(jìn)群：
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
