0
近日谷歌團(tuán)隊(duì)發(fā)布了一篇關(guān)于在線語(yǔ)音識(shí)別的序列到序列模型論文，雷鋒網(wǎng)了解到，該模型可以實(shí)現(xiàn)在線實(shí)時(shí)的語(yǔ)音識(shí)別功能，并且對(duì)來(lái)自不同揚(yáng)聲器的聲音具有識(shí)別能力。
以下內(nèi)容是雷鋒網(wǎng)AI科技評(píng)論根據(jù)論文內(nèi)容進(jìn)行的部分編譯。
生成式模型一直是語(yǔ)音識(shí)別的主要方法。然而，這些模型的成功依賴于使用的精密的組合和復(fù)雜方法。最近，關(guān)于深入學(xué)習(xí)方面的最新研究已經(jīng)產(chǎn)生了一種可以替代生成式模型的識(shí)別模型，稱為“序列到序列模型”。這種模型的準(zhǔn)確性幾乎可以與最先進(jìn)的生成模型相匹配。該模型在機(jī)器翻譯，語(yǔ)音識(shí)別，圖像標(biāo)題生成等方面取得了相當(dāng)大的經(jīng)驗(yàn)成果。由于這些模型可以在同一個(gè)步驟中端對(duì)端地進(jìn)行培訓(xùn)，因此該模型是非常易于訓(xùn)練的，但它們?cè)趯?shí)踐中卻具有限制，即只能用于離線識(shí)別。這是因?yàn)樵撃Ｐ鸵笤谝欢卧掗_(kāi)始時(shí)就輸入序列的整體以供使用，然而這對(duì)實(shí)時(shí)語(yǔ)音識(shí)別等任務(wù)來(lái)說(shuō)是沒(méi)有任何意義的。
圖. 1：本文使用的模型的總體架構(gòu)
為了解決這個(gè)問(wèn)題，谷歌團(tuán)隊(duì)最近引入了在線序列模型。這種在線序列模型具有將產(chǎn)生的輸出作為輸入的 特性，同時(shí)還可以保留序列到序列模型的因果性質(zhì)。這些模型具有在任何時(shí)間t產(chǎn)生的輸出將會(huì)影響隨后計(jì)算結(jié)果的特征。其中，有一種模型將使用二進(jìn)制隨機(jī)變量來(lái)選擇產(chǎn)生輸出的時(shí)間步長(zhǎng)。該團(tuán)隊(duì)將這個(gè)模型稱為神經(jīng)自回歸傳感器（NAT）。這個(gè)模型將使用策略梯度方法來(lái)訓(xùn)練隨機(jī)變量。
圖. 2：熵正則化對(duì)排放位置的影響。 每行顯示為輸入示例的發(fā)射預(yù)測(cè)，每個(gè)符號(hào)表示3個(gè)輸入時(shí)間步長(zhǎng)。 'x'表示模型選擇在時(shí)間步長(zhǎng)發(fā)出輸出，而“ - ”則表示相反的情況。 頂線 - 沒(méi)有熵懲罰，模型在輸入的開(kāi)始或結(jié)束時(shí)發(fā)出符號(hào)，并且無(wú)法獲得有意義的梯度來(lái)學(xué)習(xí)模型。 中線 – 使用熵正規(guī)化，該模型及時(shí)避免了聚類排放預(yù)測(cè)，并學(xué)習(xí)有意義地?cái)U(kuò)散排放和學(xué)習(xí)模型。 底線 - 使用KL發(fā)散規(guī)則排放概率，同時(shí)也可以緩解聚類問(wèn)題，盡管不如熵正則化那樣有效。
通過(guò)使用估計(jì)目標(biāo)序列相對(duì)于參數(shù)模型的對(duì)數(shù)概率的梯度來(lái)訓(xùn)練該模型。 雖然這個(gè)模型并不是完全可以微分的，因?yàn)樗褂玫氖遣豢晌⒎值亩M(jìn)制隨機(jī)單元，但是可以通過(guò)使用策略梯度法來(lái)估計(jì)關(guān)于模型參數(shù)的梯度。更詳細(xì)地說(shuō)，通過(guò)使用監(jiān)督學(xué)習(xí)來(lái)訓(xùn)練網(wǎng)絡(luò)進(jìn)行正確的輸出預(yù)測(cè)，并使用加強(qiáng)學(xué)習(xí)以訓(xùn)練網(wǎng)絡(luò)來(lái)決定何時(shí)發(fā)出各種輸出。
圖. 3：在TIMIT上運(yùn)行示例培訓(xùn)
圖3b和3c分別示出了混合比例分別為0.25和0.5的兩種情況的訓(xùn)練曲線的實(shí)例。 在這兩種情況下，都可以看出，該模型學(xué)習(xí)了過(guò)適合數(shù)據(jù)。
谷歌團(tuán)隊(duì)還研究使用該模型進(jìn)行噪聲輸入，其中以不同混合比例將兩個(gè)揚(yáng)聲器的單聲道混合語(yǔ)音作為模型的輸入。
使用這個(gè)模型對(duì)兩種不同的語(yǔ)音語(yǔ)料庫(kù)進(jìn)行了實(shí)驗(yàn)。 第一組實(shí)驗(yàn)是對(duì)TIMIT進(jìn)行了初步實(shí)驗(yàn)，以評(píng)估可能導(dǎo)致模型穩(wěn)定行為的超參數(shù)。 第二組實(shí)驗(yàn)是在不同混合比例下從兩個(gè)不同的揚(yáng)聲器（一個(gè)男性和一個(gè)女性）混合的語(yǔ)音進(jìn)行的。 這些實(shí)驗(yàn)被稱為Multi-TIMIT。
A：TIMIT
TIMIT數(shù)據(jù)集是音素識(shí)別任務(wù)，其中必須從輸入音頻語(yǔ)音推斷音素序列。有關(guān)訓(xùn)練曲線的示例，請(qǐng)參見(jiàn)圖3。 可以看出，在學(xué)習(xí)有意義的模型之前，該模型需要更多的更新（> 100K）。 然而，一旦學(xué)習(xí)開(kāi)始，即使模型受到策略梯度的訓(xùn)練，實(shí)現(xiàn)了穩(wěn)定的過(guò)程。
表I顯示了通過(guò)這種方法與其他更成熟的模型對(duì)TIMIT實(shí)現(xiàn)的結(jié)果。 可以看出，該模型與其他單向模型比較，如CTC，DNN-HMM等。如果結(jié)合更復(fù)雜的功能，如卷積模型應(yīng)該可以產(chǎn)生更好的結(jié)果。 此外，該模型具有吸收語(yǔ)言模型的能力，因此，應(yīng)該比基于CTC和DNNHMM的模型更適合端到端的培訓(xùn)，該模型不能固有地捕獲語(yǔ)言模型。
表I：針對(duì)各種模型使用單向LSTM的TIMIT結(jié)果
B：Multi-TIMIT
通過(guò)從原始TIMIT數(shù)據(jù)混合男性聲音和女性聲音來(lái)生成新的數(shù)據(jù)集。 原始TIMIT數(shù)據(jù)對(duì)中的每個(gè)發(fā)音都有來(lái)自相反性別的聲音。
表II：Multi-TIMIT的結(jié)果：該表顯示了該模型在不同比例的混合中為干擾語(yǔ)音所實(shí)現(xiàn)的音素誤差率（PER）。 還顯示了深層LSTM 和RNN-自感器 的CTC的結(jié)果
表II顯示了使用混合揚(yáng)聲器的不同混合比例的結(jié)果。 可以看出，隨著混合比例的增加，模型的結(jié)果越來(lái)越糟糕。 對(duì)于實(shí)驗(yàn)而言，每個(gè)音頻輸入始終與相同的混音音頻輸入配對(duì)。 有趣的是，可以發(fā)現(xiàn)，將相同的音頻與多個(gè)混淆的音頻輸入配對(duì)會(huì)產(chǎn)生更差的結(jié)果，這是由于產(chǎn)生了更為糟糕的過(guò)度配對(duì)。 這可能是因?yàn)樵撃Ｐ蛷?qiáng)大到足以復(fù)制整個(gè)轉(zhuǎn)錄的結(jié)果。
圖. 5：Multi-TIMIT的聲音分布：該圖顯示了在TIMIT中發(fā)出干凈話語(yǔ)的情況下發(fā)出令牌的概率以及Multi-TIMIT中對(duì)應(yīng)的噪聲發(fā)音。 可以看出，對(duì)于Multi-TIMIT語(yǔ)句，該模型稍稍比TIMIT語(yǔ)句發(fā)出符號(hào)要晚一點(diǎn)。
圖5顯示為示例Multi-TIMIT話語(yǔ)的模型發(fā)出的符號(hào)。 并與一個(gè)干凈模型的發(fā)出進(jìn)行比較。 一般來(lái)說(shuō)，與TIMIT發(fā)出的模型相比，該模型選擇稍后再發(fā)布Multi-TIMIT。
在本文中，谷歌團(tuán)隊(duì)引入了一種新的在線序列到序列模型的訓(xùn)練方式，并將其應(yīng)用于具有噪音輸入的環(huán)境。 作為因果模型的結(jié)果，這些模型可以結(jié)合語(yǔ)言模型，并且還可以為相同的音頻輸入生成多個(gè)不同的 轉(zhuǎn)錄結(jié)果。 這使它成為一類非常強(qiáng)大的模型。 即使在與TIMIT一樣小的數(shù)據(jù)集上，該模型依然能夠適應(yīng)混合語(yǔ)音。 從實(shí)驗(yàn)分析的角度來(lái)說(shuō)，每個(gè)揚(yáng)聲器只耦合到一個(gè)干擾揚(yáng)聲器，因此數(shù)據(jù)集的大小是有限的。 通過(guò)將每個(gè)揚(yáng)聲器與多個(gè)其他揚(yáng)聲器配對(duì)，并將每個(gè)揚(yáng)聲器預(yù)測(cè)為輸出，應(yīng)該能夠?qū)崿F(xiàn)更強(qiáng)的魯棒性。 由于這種能力，該團(tuán)隊(duì)希望可以將這些模型應(yīng)用到未來(lái)的多通道、多揚(yáng)聲器識(shí)別中。
via arxiv，雷鋒網(wǎng)編譯
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
