雷鋒網(wǎng)注：曹立新，地平線機(jī)器人語(yǔ)音算法工程師。2011年7月畢業(yè)于哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)，曾任百度語(yǔ)音資深研發(fā)工程師。負(fù)責(zé)百度超大語(yǔ)言模型訓(xùn)練，語(yǔ)音交互技術(shù)研發(fā)以及語(yǔ)音搜索、語(yǔ)音輸入法、語(yǔ)音助手等產(chǎn)品的語(yǔ)音識(shí)別優(yōu)化?，F(xiàn)在地平線負(fù)責(zé)語(yǔ)音識(shí)別、自然語(yǔ)言處理等相關(guān)技術(shù)算法研究。

語(yǔ)言模型技術(shù)

語(yǔ)言模型技術(shù)廣泛應(yīng)用于語(yǔ)音識(shí)別、OCR、機(jī)器翻譯、輸入法等產(chǎn)品上。語(yǔ)言模型建模過(guò)程中，包括詞典、語(yǔ)料、模型選擇，對(duì)產(chǎn)品的性能有至關(guān)重要的影響。語(yǔ)言模型的建模需要利用復(fù)雜的模型公式進(jìn)行模擬計(jì)算，是人工智能領(lǐng)域的關(guān)鍵技術(shù)之一。

語(yǔ)言模型的背景

語(yǔ)言模型是針對(duì)某種語(yǔ)言建立的概率模型，目的是建立一個(gè)能夠描述給定詞序列在語(yǔ)言中的出現(xiàn)的概率的分布。給定下邊兩句話：

"定義機(jī)器人時(shí)代的大腦引擎，讓生活更便捷、更有趣、更安全"。

"代時(shí)人機(jī)器定義引擎的大腦，生活讓更便捷，有趣更，安更全"。

語(yǔ)言模型會(huì)告訴你，第一句話的概率更高，更像一句"人話"。

語(yǔ)言模型技術(shù)廣泛應(yīng)用于語(yǔ)音識(shí)別、OCR、機(jī)器翻譯、輸入法等產(chǎn)品上。語(yǔ)言模型建模過(guò)程中，包括詞典、語(yǔ)料、模型選擇，對(duì)產(chǎn)品的性能有至關(guān)重要的影響。Ngram模型是最常用的建模技術(shù)，采用了馬爾科夫假設(shè)，目前廣泛地應(yīng)用于工業(yè)界。

語(yǔ)言模型的技術(shù)難點(diǎn)

語(yǔ)言模型的性能，很大程度上取決于語(yǔ)料的質(zhì)量和體量。和特定任務(wù)匹配的大語(yǔ)料，永遠(yuǎn)是最重要的。但是實(shí)際應(yīng)用中，這樣的語(yǔ)料往往可遇不可求。

傳統(tǒng)的Ngram建模技術(shù)，對(duì)長(zhǎng)距離的依賴(lài)處理的欠佳。如工業(yè)界常用的四元模型，即當(dāng)前詞的概率，只依賴(lài)三個(gè)歷史詞。因此，更遠(yuǎn)距離的歷史詞在建模中，沒(méi)有對(duì)當(dāng)前詞概率產(chǎn)生影響。

此外，Ngram模型建模的參數(shù)空間過(guò)于龐大。同樣以四元模型為例，詞典大小為V，參數(shù)空間就是V⁴。實(shí)際應(yīng)用中V大小為幾萬(wàn)到幾百萬(wàn)，可想而知，參數(shù)空間有多大。在這樣的參數(shù)規(guī)模下，多大的數(shù)據(jù)顯得都有些稀疏。

近年來(lái)提出的神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型技術(shù)，一定程度上解決了參數(shù)空間大，長(zhǎng)距離依賴(lài)的問(wèn)題。而且對(duì)于相似的詞，概率估計(jì)上自帶一定程度的平滑，從另一個(gè)角度解決了數(shù)據(jù)稀疏的問(wèn)題。但是神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的缺點(diǎn)是訓(xùn)練時(shí)間長(zhǎng)，實(shí)際應(yīng)用中查詢(xún)速度較慢，需要結(jié)合硬件做加速。

Ngram語(yǔ)言模型

如上所說(shuō)，Ngram語(yǔ)言模型是應(yīng)用最常見(jiàn)的語(yǔ)言模型。它采用了n元依賴(lài)假設(shè)，即當(dāng)前詞的概率，只依賴(lài)于前n-1個(gè)詞。即：

不考慮平滑，模型概率估計(jì)使用最大似然概率：

這種估計(jì)理解起來(lái)比較簡(jiǎn)單，即當(dāng)前歷史詞下出現(xiàn)當(dāng)前詞，占當(dāng)前歷史詞下出現(xiàn)所有可能詞的比重。然而這種估計(jì)方法，會(huì)遇到我們上述提到的參數(shù)空間過(guò)大的問(wèn)題。語(yǔ)料中不可能覆蓋Vⁿ個(gè)估計(jì)場(chǎng)景，肯定會(huì)有很多零點(diǎn)，如果使用最大似然，最后很多句子的概率都會(huì)是0，這會(huì)導(dǎo)致Ngram基本不可用。

平滑技術(shù)

平滑技術(shù)，可以說(shuō)是ngram得以應(yīng)用的重要原因，它很好地解決了參數(shù)空間大，數(shù)據(jù)稀疏的問(wèn)題。工業(yè)應(yīng)用中，最常用的是Katz平滑和KN平滑技術(shù)。

平滑理解起來(lái)很簡(jiǎn)單，就是把概率高的文法進(jìn)行折扣，折扣出來(lái)的概率分給低概率的文法，即“劫富濟(jì)貧”。以下圖為例，即將w1到w4的概率，分給w5到w10。

加一平滑是最簡(jiǎn)單的平滑算法，可以幫助我們理解平滑的本質(zhì)。所有的文法的頻次都加1，這樣就不存在概率為0的文法了。反之，高頻詞文法的概率得到了一定程度的降低。

語(yǔ)言模型的評(píng)價(jià)指標(biāo)

交叉熵和困惑度是用來(lái)評(píng)估語(yǔ)言模型最重要的兩個(gè)指標(biāo)。

交叉熵(crossentropy)的定義來(lái)自預(yù)測(cè)概率與壓縮算法的關(guān)系，給定語(yǔ)言模型下可以得到一個(gè)壓縮算法，對(duì)一個(gè)概率為的句子，用bits保存該句子。交叉熵可以理解為，在給定語(yǔ)言模型下的壓縮算法，對(duì)句子中每個(gè)詞需要的平均bits數(shù)。

交叉熵一般用下面的公式計(jì)算，m為概率p的模型:

2^H這個(gè)值即為困惑度(ppl)。從直覺(jué)上，我們可以把困惑度理解為在隨機(jī)實(shí)驗(yàn)中選擇隨機(jī)變量的加權(quán)平均數(shù)。越小的困惑度對(duì)應(yīng)一個(gè)越好的語(yǔ)言模型，語(yǔ)言模型的預(yù)測(cè)能力越強(qiáng)。

此外，實(shí)際產(chǎn)品中的性能，如語(yǔ)音識(shí)別中的字錯(cuò)誤率，輸入法中的句準(zhǔn)確率等，也是衡量模型好壞的標(biāo)準(zhǔn)。

語(yǔ)言模型技術(shù)的最新進(jìn)展

語(yǔ)言模型的最新進(jìn)展，主要集中在神經(jīng)網(wǎng)絡(luò)的應(yīng)用上。Bengio最早提出nnlm，將幾個(gè)歷史詞拼在一起作為輸入，將當(dāng)前詞放在輸出層作為目標(biāo)。為了解決詞典的高維數(shù)問(wèn)題，nnlm利用了映射層，對(duì)輸入進(jìn)行降維。Nnlm屬于連續(xù)型模型，自帶平滑，對(duì)相同的詞歷史有一定的聚類(lèi)功能，一定程度上增加了模型的魯棒性。如果和ngram模型進(jìn)行融合，實(shí)驗(yàn)中會(huì)獲得進(jìn)一步的提升。

因Rnn在序列建模上有很大的優(yōu)勢(shì)，Mikolov在nnlm上的基礎(chǔ)上，提出了rnnlm。Rnnlm將詞歷史抽象成一個(gè)state，降低了輸入維數(shù)。此外，為了解決輸出維數(shù)，將輸出層的詞進(jìn)行聚類(lèi)，通過(guò)因式分解，降低了計(jì)算復(fù)雜度。

Mikolov的rnnlm之后，lstm、cnn在語(yǔ)言模型上也有研究陸續(xù)在跟進(jìn)。此外，在輸入層，引入語(yǔ)義特征，也會(huì)帶來(lái)性能的提升。語(yǔ)言模型作為語(yǔ)音識(shí)別、OCR、輸入法等產(chǎn)品中的重要模型，未來(lái)如何融合語(yǔ)義和產(chǎn)品、提升用戶體驗(yàn)，我們充滿期待。

雷鋒網(wǎng)注：本文為雷鋒網(wǎng)大牛講堂授權(quán)雷鋒網(wǎng)發(fā)布，如需轉(zhuǎn)載請(qǐng)聯(lián)系原作者，并注明作者和出處，不得刪減內(nèi)容。如有興趣可關(guān)注公號(hào)地平線機(jī)器人技術(shù)，了解最新消息。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。