雷鋒網(wǎng) AI 科技評論按：不久前，微軟發(fā)布了用于學(xué)習(xí)通用語言嵌入的多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型——MT-DNN，它集成了 MTL 和 BERT 語言模型預(yù)訓(xùn)練二者的優(yōu)勢，在 10 項(xiàng) NLU 任務(wù)上的表現(xiàn)都超過了 BERT，并在通用語言理解評估（GLUE）、斯坦福自然語言推理（SNLI）以及 SciTail 等多個常用 NLU 基準(zhǔn)測試中取得了當(dāng)前最佳成績。微軟在官方博客上對該模型進(jìn)行了介紹，雷鋒網(wǎng) AI 科技評論編譯如下。

語言嵌入（Language embedding）是將符號化的自然語言文本（例如單詞、短語和句子）映射到語義向量表示的過程，它是自然語言理解（NLU）深度學(xué)習(xí)方法的基礎(chǔ)。語言嵌入通用于眾多 NLU 任務(wù)，因此很值得大家學(xué)習(xí)。

學(xué)習(xí)語言嵌入有兩種常用方法：語言模型預(yù)訓(xùn)練和多任務(wù)學(xué)習(xí)（MTL）。語言模型預(yù)訓(xùn)練通過利用大量未標(biāo)注的數(shù)據(jù)來學(xué)習(xí)通用語言嵌入，而 MTL 則能有效利用來自許多相關(guān)任務(wù)的監(jiān)督數(shù)據(jù)，并通過減輕對特定任務(wù)的過度擬合從正規(guī)化效應(yīng)（regularization effect）中獲利，從而使學(xué)習(xí)的嵌入對任務(wù)具有通用性。

不久前，微軟研究人員發(fā)布了 MT-DNN，它是一個用于學(xué)習(xí)通用語言嵌入的多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型。MT-DNN 集成了 MTL 和 BERT 語言模型預(yù)訓(xùn)練二者的優(yōu)勢，在 10 項(xiàng) NLU 任務(wù)上的表現(xiàn)都超過了 BERT，并在通用語言理解評估（GLUE）、斯坦福自然語言推理（SNLI）以及 SciTail 等多個常用 NLU 基準(zhǔn)測試中取得了當(dāng)前最佳成績。

MT-DNN 架構(gòu) 

MT-DNN 通過整合由 Google AI 開發(fā)的預(yù)訓(xùn)練雙向變換器語言模型（BERT），擴(kuò)展了微軟在 2015 年提出的多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型。MT-DNN 模型的架構(gòu)如下圖所示。較低層在所有任務(wù)中共享，而頂層是針對任務(wù)特定的。首先，輸入 X（一個句子或一對句子）在 l_1 層中被表示為嵌入向量序列，每個單詞都對應(yīng)一個嵌入向量序列。然后，基于變換器的編碼器捕獲每個單詞的上下文信息，并在 l_2 層中生成共享的上下文嵌入向量。最后，額外的特定任務(wù)層針對每個任務(wù)生成特定任務(wù)表示，隨后是分類、相似性評分或相關(guān)性排序所必需的操作。MT-DNN 使用 BERT 將其共享層初始化，然后通過 MTL 對其進(jìn)行優(yōu)化。

MT-DNN 架構(gòu)

域適應(yīng)結(jié)果

評估語言嵌入通用性的一種方法是，測算嵌入適應(yīng)新任務(wù)的速度，或者需要多少特定任務(wù)標(biāo)簽才能在新任務(wù)上獲得相當(dāng)好的結(jié)果。嵌入越通用，所需要的特定任務(wù)標(biāo)簽也越少。MT-DNN 的論文作者在域適應(yīng)中對 MT-DNN 和 BERT 進(jìn)行了比較，其中兩個模型都能夠通過逐漸增加用于適應(yīng)的域內(nèi)數(shù)據(jù)的大小來適應(yīng)新任務(wù)。SNLI 和 SciTail 兩個任務(wù)上的結(jié)果如下表和下圖所示：在僅有 0.1％的域內(nèi)數(shù)據(jù)（SNLI 中的樣本量為 549 個；SciTail 中的樣本量為 23 個）的情況下，MT-DNN 的準(zhǔn)確率達(dá)到+ 80％，而 BERT 的準(zhǔn)確度大約為 50％，這證明了通過 MT-DNN 學(xué)習(xí)的語言嵌入比通過 BERT 學(xué)習(xí)的語言嵌入通用性更強(qiáng)。

SNLI 和 SciTail 數(shù)據(jù)集上，MT-DNN 和 BERT 的準(zhǔn)確度對比

開源消息

不久后，微軟將在 Github 社區(qū)（https://github.com/namisan/mt-dnn）中開源 MT-DNN，開源包中包含預(yù)訓(xùn)練模型、源代碼以及說明文檔（逐步描述了如何復(fù)現(xiàn) MT-DNN 論文中實(shí)現(xiàn)的結(jié)果，以及如何通過域適應(yīng)讓預(yù)訓(xùn)練的 MT-DNN 模型適用于任意新任務(wù)）。

via：https://www.microsoft.com/en-us/research/blog/towards-universal-language-embeddings/ 雷鋒網(wǎng) AI 科技評論編譯。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。