雷鋒網(wǎng) AI 科技評(píng)論按：不久前，微軟發(fā)布了用于學(xué)習(xí)通用語(yǔ)言嵌入的多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型——MT-DNN，它集成了 MTL 和 BERT 語(yǔ)言模型預(yù)訓(xùn)練二者的優(yōu)勢(shì)，在 10 項(xiàng) NLU 任務(wù)上的表現(xiàn)都超過(guò)了 BERT，并在通用語(yǔ)言理解評(píng)估（GLUE）、斯坦福自然語(yǔ)言推理（SNLI）以及 SciTail 等多個(gè)常用 NLU 基準(zhǔn)測(cè)試中取得了當(dāng)前最佳成績(jī)。微軟在官方博客上對(duì)該模型進(jìn)行了介紹，雷鋒網(wǎng) AI 科技評(píng)論編譯如下。

語(yǔ)言嵌入（Language embedding）是將符號(hào)化的自然語(yǔ)言文本（例如單詞、短語(yǔ)和句子）映射到語(yǔ)義向量表示的過(guò)程，它是自然語(yǔ)言理解（NLU）深度學(xué)習(xí)方法的基礎(chǔ)。語(yǔ)言嵌入通用于眾多 NLU 任務(wù)，因此很值得大家學(xué)習(xí)。

學(xué)習(xí)語(yǔ)言嵌入有兩種常用方法：語(yǔ)言模型預(yù)訓(xùn)練和多任務(wù)學(xué)習(xí)（MTL）。語(yǔ)言模型預(yù)訓(xùn)練通過(guò)利用大量未標(biāo)注的數(shù)據(jù)來(lái)學(xué)習(xí)通用語(yǔ)言嵌入，而 MTL 則能有效利用來(lái)自許多相關(guān)任務(wù)的監(jiān)督數(shù)據(jù)，并通過(guò)減輕對(duì)特定任務(wù)的過(guò)度擬合從正規(guī)化效應(yīng)（regularization effect）中獲利，從而使學(xué)習(xí)的嵌入對(duì)任務(wù)具有通用性。

不久前，微軟研究人員發(fā)布了 MT-DNN，它是一個(gè)用于學(xué)習(xí)通用語(yǔ)言嵌入的多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型。MT-DNN 集成了 MTL 和 BERT 語(yǔ)言模型預(yù)訓(xùn)練二者的優(yōu)勢(shì)，在 10 項(xiàng) NLU 任務(wù)上的表現(xiàn)都超過(guò)了 BERT，并在通用語(yǔ)言理解評(píng)估（GLUE）、斯坦福自然語(yǔ)言推理（SNLI）以及 SciTail 等多個(gè)常用 NLU 基準(zhǔn)測(cè)試中取得了當(dāng)前最佳成績(jī)。

MT-DNN 架構(gòu) 

MT-DNN 通過(guò)整合由 Google AI 開(kāi)發(fā)的預(yù)訓(xùn)練雙向變換器語(yǔ)言模型（BERT），擴(kuò)展了微軟在 2015 年提出的多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型。MT-DNN 模型的架構(gòu)如下圖所示。較低層在所有任務(wù)中共享，而頂層是針對(duì)任務(wù)特定的。首先，輸入 X（一個(gè)句子或一對(duì)句子）在 l_1 層中被表示為嵌入向量序列，每個(gè)單詞都對(duì)應(yīng)一個(gè)嵌入向量序列。然后，基于變換器的編碼器捕獲每個(gè)單詞的上下文信息，并在 l_2 層中生成共享的上下文嵌入向量。最后，額外的特定任務(wù)層針對(duì)每個(gè)任務(wù)生成特定任務(wù)表示，隨后是分類、相似性評(píng)分或相關(guān)性排序所必需的操作。MT-DNN 使用 BERT 將其共享層初始化，然后通過(guò) MTL 對(duì)其進(jìn)行優(yōu)化。

MT-DNN 架構(gòu)

域適應(yīng)結(jié)果

評(píng)估語(yǔ)言嵌入通用性的一種方法是，測(cè)算嵌入適應(yīng)新任務(wù)的速度，或者需要多少特定任務(wù)標(biāo)簽才能在新任務(wù)上獲得相當(dāng)好的結(jié)果。嵌入越通用，所需要的特定任務(wù)標(biāo)簽也越少。MT-DNN 的論文作者在域適應(yīng)中對(duì) MT-DNN 和 BERT 進(jìn)行了比較，其中兩個(gè)模型都能夠通過(guò)逐漸增加用于適應(yīng)的域內(nèi)數(shù)據(jù)的大小來(lái)適應(yīng)新任務(wù)。SNLI 和 SciTail 兩個(gè)任務(wù)上的結(jié)果如下表和下圖所示：在僅有 0.1％的域內(nèi)數(shù)據(jù)（SNLI 中的樣本量為 549 個(gè)；SciTail 中的樣本量為 23 個(gè)）的情況下，MT-DNN 的準(zhǔn)確率達(dá)到+ 80％，而 BERT 的準(zhǔn)確度大約為 50％，這證明了通過(guò) MT-DNN 學(xué)習(xí)的語(yǔ)言嵌入比通過(guò) BERT 學(xué)習(xí)的語(yǔ)言嵌入通用性更強(qiáng)。

SNLI 和 SciTail 數(shù)據(jù)集上，MT-DNN 和 BERT 的準(zhǔn)確度對(duì)比

開(kāi)源消息

不久后，微軟將在 Github 社區(qū)（https://github.com/namisan/mt-dnn）中開(kāi)源 MT-DNN，開(kāi)源包中包含預(yù)訓(xùn)練模型、源代碼以及說(shuō)明文檔（逐步描述了如何復(fù)現(xiàn) MT-DNN 論文中實(shí)現(xiàn)的結(jié)果，以及如何通過(guò)域適應(yīng)讓預(yù)訓(xùn)練的 MT-DNN 模型適用于任意新任務(wù)）。

via：https://www.microsoft.com/en-us/research/blog/towards-universal-language-embeddings/ 雷鋒網(wǎng) AI 科技評(píng)論編譯。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。