雷鋒網(wǎng)注：曹立新，地平線機器人語音算法工程師。2011年7月畢業(yè)于哈爾濱工業(yè)大學(xué)計算機科學(xué)與技術(shù)專業(yè)，曾任百度語音資深研發(fā)工程師。負責(zé)百度超大語言模型訓(xùn)練，語音交互技術(shù)研發(fā)以及語音搜索、語音輸入法、語音助手等產(chǎn)品的語音識別優(yōu)化?，F(xiàn)在地平線負責(zé)語音識別、自然語言處理等相關(guān)技術(shù)算法研究。

語言模型技術(shù)

語言模型技術(shù)廣泛應(yīng)用于語音識別、OCR、機器翻譯、輸入法等產(chǎn)品上。語言模型建模過程中，包括詞典、語料、模型選擇，對產(chǎn)品的性能有至關(guān)重要的影響。語言模型的建模需要利用復(fù)雜的模型公式進行模擬計算，是人工智能領(lǐng)域的關(guān)鍵技術(shù)之一。

語言模型的背景

語言模型是針對某種語言建立的概率模型，目的是建立一個能夠描述給定詞序列在語言中的出現(xiàn)的概率的分布。給定下邊兩句話：

"定義機器人時代的大腦引擎，讓生活更便捷、更有趣、更安全"。

"代時人機器定義引擎的大腦，生活讓更便捷，有趣更，安更全"。

語言模型會告訴你，第一句話的概率更高，更像一句"人話"。

語言模型技術(shù)廣泛應(yīng)用于語音識別、OCR、機器翻譯、輸入法等產(chǎn)品上。語言模型建模過程中，包括詞典、語料、模型選擇，對產(chǎn)品的性能有至關(guān)重要的影響。Ngram模型是最常用的建模技術(shù)，采用了馬爾科夫假設(shè)，目前廣泛地應(yīng)用于工業(yè)界。

語言模型的技術(shù)難點

語言模型的性能，很大程度上取決于語料的質(zhì)量和體量。和特定任務(wù)匹配的大語料，永遠是最重要的。但是實際應(yīng)用中，這樣的語料往往可遇不可求。

傳統(tǒng)的Ngram建模技術(shù)，對長距離的依賴處理的欠佳。如工業(yè)界常用的四元模型，即當(dāng)前詞的概率，只依賴三個歷史詞。因此，更遠距離的歷史詞在建模中，沒有對當(dāng)前詞概率產(chǎn)生影響。

此外，Ngram模型建模的參數(shù)空間過于龐大。同樣以四元模型為例，詞典大小為V，參數(shù)空間就是V⁴。實際應(yīng)用中V大小為幾萬到幾百萬，可想而知，參數(shù)空間有多大。在這樣的參數(shù)規(guī)模下，多大的數(shù)據(jù)顯得都有些稀疏。

近年來提出的神經(jīng)網(wǎng)絡(luò)語言模型技術(shù)，一定程度上解決了參數(shù)空間大，長距離依賴的問題。而且對于相似的詞，概率估計上自帶一定程度的平滑，從另一個角度解決了數(shù)據(jù)稀疏的問題。但是神經(jīng)網(wǎng)絡(luò)語言模型的缺點是訓(xùn)練時間長，實際應(yīng)用中查詢速度較慢，需要結(jié)合硬件做加速。

Ngram語言模型

如上所說，Ngram語言模型是應(yīng)用最常見的語言模型。它采用了n元依賴假設(shè)，即當(dāng)前詞的概率，只依賴于前n-1個詞。即：

不考慮平滑，模型概率估計使用最大似然概率：

這種估計理解起來比較簡單，即當(dāng)前歷史詞下出現(xiàn)當(dāng)前詞，占當(dāng)前歷史詞下出現(xiàn)所有可能詞的比重。然而這種估計方法，會遇到我們上述提到的參數(shù)空間過大的問題。語料中不可能覆蓋Vⁿ個估計場景，肯定會有很多零點，如果使用最大似然，最后很多句子的概率都會是0，這會導(dǎo)致Ngram基本不可用。

平滑技術(shù)

平滑技術(shù)，可以說是ngram得以應(yīng)用的重要原因，它很好地解決了參數(shù)空間大，數(shù)據(jù)稀疏的問題。工業(yè)應(yīng)用中，最常用的是Katz平滑和KN平滑技術(shù)。

平滑理解起來很簡單，就是把概率高的文法進行折扣，折扣出來的概率分給低概率的文法，即“劫富濟貧”。以下圖為例，即將w1到w4的概率，分給w5到w10。

加一平滑是最簡單的平滑算法，可以幫助我們理解平滑的本質(zhì)。所有的文法的頻次都加1，這樣就不存在概率為0的文法了。反之，高頻詞文法的概率得到了一定程度的降低。

語言模型的評價指標(biāo)

交叉熵和困惑度是用來評估語言模型最重要的兩個指標(biāo)。

交叉熵(crossentropy)的定義來自預(yù)測概率與壓縮算法的關(guān)系，給定語言模型下可以得到一個壓縮算法，對一個概率為的句子，用bits保存該句子。交叉熵可以理解為，在給定語言模型下的壓縮算法，對句子中每個詞需要的平均bits數(shù)。

交叉熵一般用下面的公式計算，m為概率p的模型:

2^H這個值即為困惑度(ppl)。從直覺上，我們可以把困惑度理解為在隨機實驗中選擇隨機變量的加權(quán)平均數(shù)。越小的困惑度對應(yīng)一個越好的語言模型，語言模型的預(yù)測能力越強。

此外，實際產(chǎn)品中的性能，如語音識別中的字錯誤率，輸入法中的句準確率等，也是衡量模型好壞的標(biāo)準。

語言模型技術(shù)的最新進展

語言模型的最新進展，主要集中在神經(jīng)網(wǎng)絡(luò)的應(yīng)用上。Bengio最早提出nnlm，將幾個歷史詞拼在一起作為輸入，將當(dāng)前詞放在輸出層作為目標(biāo)。為了解決詞典的高維數(shù)問題，nnlm利用了映射層，對輸入進行降維。Nnlm屬于連續(xù)型模型，自帶平滑，對相同的詞歷史有一定的聚類功能，一定程度上增加了模型的魯棒性。如果和ngram模型進行融合，實驗中會獲得進一步的提升。

因Rnn在序列建模上有很大的優(yōu)勢，Mikolov在nnlm上的基礎(chǔ)上，提出了rnnlm。Rnnlm將詞歷史抽象成一個state，降低了輸入維數(shù)。此外，為了解決輸出維數(shù)，將輸出層的詞進行聚類，通過因式分解，降低了計算復(fù)雜度。

Mikolov的rnnlm之后，lstm、cnn在語言模型上也有研究陸續(xù)在跟進。此外，在輸入層，引入語義特征，也會帶來性能的提升。語言模型作為語音識別、OCR、輸入法等產(chǎn)品中的重要模型，未來如何融合語義和產(chǎn)品、提升用戶體驗，我們充滿期待。

雷鋒網(wǎng)注：本文為雷鋒網(wǎng)大牛講堂授權(quán)雷鋒網(wǎng)發(fā)布，如需轉(zhuǎn)載請聯(lián)系原作者，并注明作者和出處，不得刪減內(nèi)容。如有興趣可關(guān)注公號地平線機器人技術(shù)，了解最新消息。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。