0
| 本文作者： 楊麗 | 2020-10-23 10:05 |
雷鋒網(wǎng)訊，“某些語(yǔ)音識(shí)別系統(tǒng)（ASR）的準(zhǔn)確性可能要比之前假定的差很多?！边@是最近約翰·霍普金斯大學(xué)、波蘭波茲南工業(yè)大學(xué)、弗羅茨瓦夫科技大學(xué)以及初創(chuàng)公司Avaya的研究人員一項(xiàng)正在進(jìn)行的研究主要發(fā)現(xiàn)。
這項(xiàng)研究對(duì)內(nèi)部創(chuàng)建的數(shù)據(jù)集上的商業(yè)語(yǔ)音識(shí)別模型進(jìn)行了基準(zhǔn)測(cè)試。共同作者聲稱，詞錯(cuò)誤率（Word Error Rate, WER）（一種常見的語(yǔ)音識(shí)別性能指標(biāo)）要顯著高于最佳報(bào)告結(jié)果，這可能表明自然語(yǔ)言處理（NLP）領(lǐng)域存在更多待克服的問(wèn)題。
據(jù)了解，目前ASR已廣泛應(yīng)用于諸多場(chǎng)景中，如電話會(huì)議、電子郵件、智能設(shè)備等。ASR模型的綜合基準(zhǔn)中，標(biāo)準(zhǔn)語(yǔ)料庫(kù)的WER僅有2%~3%，而正是這一統(tǒng)計(jì)數(shù)據(jù)遭到了上述作者的質(zhì)疑。他們聲稱，大多數(shù)ASR的交互場(chǎng)景都是在“類似于聊天機(jī)器人”的背景下進(jìn)行的，說(shuō)話人往往因?yàn)橐庾R(shí)到跟他們的交互對(duì)象是聊天機(jī)器人，因此通常會(huì)將命令簡(jiǎn)化成結(jié)構(gòu)緊湊的簡(jiǎn)短詞語(yǔ)，而非正常的自然對(duì)話。
作者基于來(lái)自1595個(gè)供應(yīng)商和1261個(gè)客戶的50個(gè)呼叫中心對(duì)話數(shù)據(jù)集對(duì)幾套ASR系統(tǒng)進(jìn)行了評(píng)估。其通常時(shí)間長(zhǎng)達(dá)8.5個(gè)小時(shí)，其中2.2個(gè)小時(shí)是對(duì)話。通過(guò)測(cè)試，作者發(fā)現(xiàn)ASR系統(tǒng)的錯(cuò)誤率基本在15%以下，這與基準(zhǔn)測(cè)試中的2%相悖。
而基于保險(xiǎn)、通信、預(yù)定等金融行業(yè)的語(yǔ)料庫(kù)中，作者發(fā)現(xiàn)其WER的測(cè)試結(jié)果高達(dá)23.31%。其中，預(yù)定和通信的錯(cuò)誤率最高，可能是因?yàn)閷?duì)話涉及特定的日期、時(shí)間、訂單金額、地點(diǎn)、產(chǎn)品和公司名稱等。但在所有領(lǐng)域的測(cè)試中，其錯(cuò)誤率均高于13.73%。
研究人員將這一問(wèn)題歸結(jié)為領(lǐng)域適應(yīng)性問(wèn)題——基準(zhǔn)測(cè)試使用了單一性語(yǔ)料，例如Librispeech（1000小時(shí)英語(yǔ)有聲讀物錄音）、WSJ（新聞口述的談話）和Switchboard（電話交談），這些都可能太過(guò)簡(jiǎn)單而無(wú)法真正挑戰(zhàn)ASR系統(tǒng)的可靠性。
而且，盡管他們?cè)噲D刻意模仿真實(shí)、自發(fā)的對(duì)話，但本質(zhì)上還是受約束的，比如需要配音演員，就某一合適主題進(jìn)行腳本/半腳本對(duì)話，而且正是由于配音演員的存在，幾乎都不需要考慮因性別、母語(yǔ)因素而產(chǎn)生的發(fā)音問(wèn)題。
作為一種補(bǔ)救措施，研究人員建議ASR和NLP社區(qū)收集和注釋音頻數(shù)據(jù)集，使其更好地與ASR系統(tǒng)的實(shí)際應(yīng)用場(chǎng)景保持一致，他們還呼吁建立更具包容性的聲學(xué)模型，更廣泛的方言語(yǔ)料庫(kù)，這些改變將會(huì)促進(jìn)音頻信號(hào)處理的技術(shù)改進(jìn)。
因此，這些問(wèn)題并非無(wú)法克服。“學(xué)界和工業(yè)界應(yīng)該深思熟慮，考慮可以創(chuàng)建高質(zhì)量的測(cè)試數(shù)據(jù)集。我們認(rèn)為，對(duì)ASR準(zhǔn)確性的過(guò)于樂(lè)觀會(huì)損害NLP領(lǐng)域下游應(yīng)用程序的開發(fā)?！毖芯咳藛T最后表示。
雷鋒網(wǎng)訊，“某些語(yǔ)音識(shí)別系統(tǒng)（ASR）的準(zhǔn)確性可能要比之前假定的差很多。”這是最近約翰·霍普金斯大學(xué)、波蘭波茲南工業(yè)大學(xué)、弗羅茨瓦夫科技大學(xué)以及初創(chuàng)公司Avaya的研究人員一項(xiàng)正在進(jìn)行的研究主要發(fā)現(xiàn)。
這項(xiàng)研究對(duì)內(nèi)部創(chuàng)建的數(shù)據(jù)集上的商業(yè)語(yǔ)音識(shí)別模型進(jìn)行了基準(zhǔn)測(cè)試。共同作者聲稱，詞錯(cuò)誤率（Word Error Rate, WER）（一種常見的語(yǔ)音識(shí)別性能指標(biāo)）要顯著高于最佳報(bào)告結(jié)果，這可能表明自然語(yǔ)言處理（NLP）領(lǐng)域存在更多待克服的問(wèn)題。
據(jù)了解，目前ASR已廣泛應(yīng)用于諸多場(chǎng)景中，如電話會(huì)議、電子郵件、智能設(shè)備等。ASR模型的綜合基準(zhǔn)中，標(biāo)準(zhǔn)語(yǔ)料庫(kù)的WER僅有2%~3%，而正是這一統(tǒng)計(jì)數(shù)據(jù)遭到了上述作者的質(zhì)疑。他們聲稱，大多數(shù)ASR的交互場(chǎng)景都是在“類似于聊天機(jī)器人”的背景下進(jìn)行的，說(shuō)話人往往因?yàn)橐庾R(shí)到跟他們的交互對(duì)象是聊天機(jī)器人，因此通常會(huì)將命令簡(jiǎn)化成結(jié)構(gòu)緊湊的簡(jiǎn)短詞語(yǔ)，而非正常的自然對(duì)話。
作者基于來(lái)自1595個(gè)供應(yīng)商和1261個(gè)客戶的50個(gè)呼叫中心對(duì)話數(shù)據(jù)集對(duì)幾套ASR系統(tǒng)進(jìn)行了評(píng)估。其通常時(shí)間長(zhǎng)達(dá)8.5個(gè)小時(shí)，其中2.2個(gè)小時(shí)是對(duì)話。通過(guò)測(cè)試，作者發(fā)現(xiàn)ASR系統(tǒng)的錯(cuò)誤率基本在15%以下，這與基準(zhǔn)測(cè)試中的2%相悖。
而基于保險(xiǎn)、通信、預(yù)定等金融行業(yè)的語(yǔ)料庫(kù)中，作者發(fā)現(xiàn)其WER的測(cè)試結(jié)果高達(dá)23.31%。其中，預(yù)定和通信的錯(cuò)誤率最高，可能是因?yàn)閷?duì)話涉及特定的日期、時(shí)間、訂單金額、地點(diǎn)、產(chǎn)品和公司名稱等。但在所有領(lǐng)域的測(cè)試中，其錯(cuò)誤率均高于13.73%。
研究人員將這一問(wèn)題歸結(jié)為領(lǐng)域適應(yīng)性問(wèn)題——基準(zhǔn)測(cè)試使用了單一性語(yǔ)料，例如Librispeech（1000小時(shí)英語(yǔ)有聲讀物錄音）、WSJ（新聞口述的談話）和Switchboard（電話交談），這些都可能太過(guò)簡(jiǎn)單而無(wú)法真正挑戰(zhàn)ASR系統(tǒng)的可靠性。
而且，盡管他們?cè)噲D刻意模仿真實(shí)、自發(fā)的對(duì)話，但本質(zhì)上還是受約束的，比如需要配音演員，就某一合適主題進(jìn)行腳本/半腳本對(duì)話，而且正是由于配音演員的存在，幾乎都不需要考慮因性別、母語(yǔ)因素而產(chǎn)生的發(fā)音問(wèn)題。
作為一種補(bǔ)救措施，研究人員建議ASR和NLP社區(qū)收集和注釋音頻數(shù)據(jù)集，使其更好地與ASR系統(tǒng)的實(shí)際應(yīng)用場(chǎng)景保持一致，他們還呼吁建立更具包容性的聲學(xué)模型，更廣泛的方言語(yǔ)料庫(kù)，這些改變將會(huì)促進(jìn)音頻信號(hào)處理的技術(shù)改進(jìn)。
因此，這些問(wèn)題并非無(wú)法克服?！皩W(xué)界和工業(yè)界應(yīng)該深思熟慮，考慮可以創(chuàng)建高質(zhì)量的測(cè)試數(shù)據(jù)集。我們認(rèn)為，對(duì)ASR準(zhǔn)確性的過(guò)于樂(lè)觀會(huì)損害NLP領(lǐng)域下游應(yīng)用程序的開發(fā)?！毖芯咳藛T最后表示。
（雷鋒網(wǎng)雷鋒網(wǎng)）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
