微軟研究院在IJCAI2016的Tutorial上講述了自己將深度學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于不同場景的情況，之前第一部分提到了其應(yīng)用于語義理解上的一些經(jīng)驗和收獲，本文為第二部分。

聯(lián)合編譯：Blake、章敏、陳圳

統(tǒng)計機器翻譯（SMT）包括：

l  統(tǒng)計結(jié)果

l  來源渠道模型

l  翻譯模型

l  語言模型

l  對數(shù)線性模型

l  評價指標：BLEU分數(shù)（越高越好）

基于短語的統(tǒng)計機器翻譯（SMT）將中文翻譯成英文

核心問題：針對什么建模？

l  針對詞匯可能性

   語言模型

   LM/w 來源

l  基于短語的機器翻譯  翻譯/錄制可能性

   翻譯

   錄制

l  基于二元的機器翻譯

l  ITG模型

神經(jīng)網(wǎng)絡(luò)在基于短語的SMT中的示例

l  神經(jīng)網(wǎng)絡(luò)作為線性模型中的組成部分

   翻譯模型

   預(yù)壓模型 卷曲神經(jīng)網(wǎng)絡(luò)的使用

   聯(lián)合模型 FFLM與原始詞匯

l  神經(jīng)機器翻譯（NMT）

   建立一個單一、大型的神經(jīng)網(wǎng)絡(luò)用來讀取句子并輸出翻譯

   RNN 編碼-解碼

   長短時期記憶

   聯(lián)合學(xué)習(xí)順序、翻譯

   NMT在WMT任務(wù)上超過了最好的結(jié)果

短語翻譯模型雖然簡單，但是解決了數(shù)據(jù)稀少的問題。

深度語義相似模型（DSSM）

l  計算語義相似性btw文本

l  針對自然語義處理任務(wù)的DSSM

DSSM 針對短語翻譯模型

l  兩個神經(jīng)網(wǎng)絡(luò)（一個是來源方向，一個是導(dǎo)向方向）

   輸入

   輸出

l  短語翻譯分數(shù)=矢量點積

   分數(shù)

   為了緩解數(shù)據(jù)稀疏性，允許復(fù)雜的分數(shù)函數(shù)

N-gram語言模型

l  詞語n-gram模型（如n=3）

l  使用長歷史的問題

    稀少的事件：不可靠的可能性預(yù)估

RNN LMs需要返回到句子剛開始的時段，這也使得動態(tài)規(guī)劃更加困難。為了給新詞匯評分每一個解碼器的狀態(tài)都需要維持在h，通過傳統(tǒng)的n-gram語境和最好的h來合并假設(shè)，進行重新組合。

模擬S需要3個條件：1.整個源句子或者均衡的源詞匯 2.S作為詞匯序列，詞匯包，或者矢量代表 3.如何學(xué)習(xí)S的矢量代表？神經(jīng)網(wǎng)絡(luò)聯(lián)合模型基于遞歸神經(jīng)網(wǎng)絡(luò)語言模型和前饋神經(jīng)語言模型。

前饋神經(jīng)語言模型

擴展前饋LM，使它包含周圍有均衡源詞匯的窗口。如果要對齊多個源詞匯，選擇正中間的位置；如果無需對齊，則繼承最近目標詞匯的隊列。同時用隊列在文本中進行訓(xùn)練；優(yōu)化目標的可能性。

神經(jīng)機器翻譯，建立一個單獨的，大型的NN，閱讀句子并輸入翻譯。不像基于短語的系統(tǒng)需要很多零件模型組成。編碼器-解碼器基礎(chǔ)方法是：一個編碼器RNN進行閱讀和將一個源句子編碼到固定長度的矢量中，一個解碼器RNN從編碼器矢量中輸出可變長度的翻譯，最后編碼器-解碼器RNNs聯(lián)合學(xué)習(xí)文本，優(yōu)化目標可能性。

[Sutskever+2014]編碼器-解碼器模型

將MT當成普遍的序列到序列的翻譯，閱讀源頭；累積隱狀態(tài)；生成目標。其中<EOS>是停止遞歸進程的符號。在練習(xí)中，反向閱讀源句子會導(dǎo)致更好的MT結(jié)果。在文本中進行訓(xùn)練，并使用SGD優(yōu)化目標可能性。

潛能和困難

在理論上，RNN可以將所有過去輸入的信息“儲存”在h中，但在現(xiàn)實中標準的RNN無法捕獲長距離的依賴。解決反向傳播中梯度消失和爆炸和不穩(wěn)定噪音問題的方法是：長的短期記憶。

長短期記憶細胞

RNN中一個LSTM單元的信息流的圖解和數(shù)學(xué)公式。W`s是權(quán)重矩陣，雖然沒有顯示但可以從圖中輕松的推理出來。

兩個門的記憶細胞

圖2：提出的隱激活函數(shù)。更新門z決定隱藏狀態(tài)是否更新了新的隱藏狀態(tài)h。復(fù)位門r決定先前的隱藏狀態(tài)是否被忽略。

排列和翻譯的聯(lián)合學(xué)習(xí)

SMT編碼器-譯碼器模型存在一個問題問題：壓縮源信息到一個固定長度矢量中，使得RNN很難復(fù)雜長句子。注意力模型就是：編碼輸入句子到矢量隊列，并在解碼時選擇矢量的子集

它類似的想法于[Devlin+14]。

 [ Bahdanan+15]的注意力模型

編碼器：雙向RNN編碼每一個單詞和文本

解碼器：尋找一系列與預(yù)測的目標詞匯最相關(guān)的源詞匯，并基于源詞匯和所有先前生成詞匯相關(guān)的文本矢量預(yù)測目標詞匯。這樣翻譯長句子的表現(xiàn)接近最佳性能。

 MSR`s神經(jīng)對話引擎

總結(jié)：

這一部分主要介紹了深度神經(jīng)網(wǎng)絡(luò)對于問題進行分類的實例，以及在統(tǒng)計機器翻譯和對話中深度學(xué)習(xí)的應(yīng)用，對于語義表達學(xué)習(xí)和自然語言的理解也有所提及。

PS : 本文由雷鋒網(wǎng)獨家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。