0
| 本文作者： 楊鯉萍 | 2019-06-20 18:44 |
雷鋒網(wǎng) AI 科技評論按：去年 11 月份，谷歌研究團(tuán)隊(duì)在 GitHub 上發(fā)布了萬眾期待的 BERT，它不僅在 11 項(xiàng) NLP 測試中刷新了最高成績，甚至還表現(xiàn)出全面超越人類的驚人結(jié)果。但 BERT 帶來的震撼還未平息，今日又一個(gè)令眾多 NLPer 興奮的消息發(fā)布： CMU 與谷歌大腦提出的全新 XLNet 在 20 個(gè)任務(wù)上超過了 BERT 的表現(xiàn)，并在 18 個(gè)任務(wù)上取得了當(dāng)前最佳效果！而更令人激動(dòng)的是，目前 XLNet 已經(jīng)開放了訓(xùn)練代碼和大型預(yù)訓(xùn)練模型。雷鋒網(wǎng) AI 科技評論將其具體內(nèi)容整理如下。
XLNet 信息發(fā)布
BERT 與 XLNet 的關(guān)系
與基于自回歸語言建模的預(yù)訓(xùn)練處理方法相比，基于自編碼的預(yù)訓(xùn)練處理方法（比如 BERT）具有良好的雙向上下文建模能力。然而，由于依賴于使用掩碼破壞輸入，BERT 忽略了掩碼位置之間的依賴關(guān)系，并出現(xiàn)了預(yù)訓(xùn)練-微調(diào)（ pretrain-finetune） 差異。
XLNet 則是基于 BERT 的優(yōu)缺點(diǎn)，提出的一種泛化自回歸預(yù)訓(xùn)練方法。它通過最大化因子分解順序所有排列的期望似然來實(shí)現(xiàn)雙向上下文的學(xué)習(xí)；通過自回歸公式克服了 BERT 的局限性，并將來自 Transformer-XL(最先進(jìn)的自回歸模型) 的思想集成到預(yù)訓(xùn)練中，在長文本表示的語言任務(wù)中表現(xiàn)出了優(yōu)異的性能。
XLNet 誕生背景
首先，我們要理解兩個(gè)概念：自回歸 (AR) 語言建模和自編碼 (AE)。
無監(jiān)督表示學(xué)習(xí)在自然語言處理領(lǐng)域非常成功。通常，這些方法首先在大規(guī)模無標(biāo)記文本語料庫上對神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，然后對下游任務(wù)的模型或表示進(jìn)行微調(diào)。在這一共同的高層次思想下，不同的無監(jiān)督預(yù)訓(xùn)練目標(biāo)在相關(guān)文獻(xiàn)中得到了探索。其中，自回歸語言建模和自編碼是兩個(gè)最成功的預(yù)訓(xùn)練目標(biāo)。
AR 語言建模是利用自回歸模型估計(jì)文本語料庫的概率分布。具體來說，給定一個(gè)文本序列 x = (x1, … ,xT)，AR 語言模型將這種可能性分解為前向乘積或后向乘積。一個(gè)參數(shù)模型 (如神經(jīng)網(wǎng)絡(luò)) 被訓(xùn)練來對每個(gè)條件分布建模。由于 AR 語言模型僅被訓(xùn)練為編碼單向上下文 (向前或向后)，因此它在建模深層雙向上下文時(shí)并沒有產(chǎn)生效果。相反的是下游語言理解任務(wù)，通常需要雙向上下文信息。這導(dǎo)致了 AR 語言建模和有效的預(yù)訓(xùn)練之間的差距。
給定相同輸入序列 x 但因子分解順序不同的情況下，預(yù)測 x3 的置換語言建模目標(biāo)的說明
相比之下，基于 AE 的預(yù)訓(xùn)練不執(zhí)行顯式密度估計(jì)，而是旨在從輸入重構(gòu)原始數(shù)據(jù)。而一個(gè)著名的例子就是 BERT，它采用了最先進(jìn)的預(yù)訓(xùn)練方法。給定輸入 token 序列，用一個(gè)特殊符號(hào) [MASK] 替換其中的特定部分，并且訓(xùn)練模型從損壞的版本中恢復(fù)原 token。
由于密度估計(jì)不是目標(biāo)的一部分，BERT 可以利用雙向上下文進(jìn)行重建。直接的好處就是這消除了 AR 語言建模中的雙向信息差距，從而提高了性能。然而，BERT 在預(yù)訓(xùn)練使用的 [MASK] 等人工符號(hào)實(shí)際數(shù)據(jù)中并不存在，導(dǎo)致了預(yù)訓(xùn)練的網(wǎng)絡(luò)差距。此外，由于預(yù)測的 token 在輸入中被重新掩蓋，BERT 無法像 AR 語言建模一樣使用乘積規(guī)則對聯(lián)合概率進(jìn)行建模。
因此，針對現(xiàn)有語言預(yù)訓(xùn)練目標(biāo)的優(yōu)缺點(diǎn)，CMU 與谷歌大腦提出了將 AR 和 AE 的優(yōu)點(diǎn)充分結(jié)合的泛化自回歸預(yù)訓(xùn)練模型 XLNet。
XLNet 詳解
首先，XLNet 不使用傳統(tǒng) AR 模型中固定的前向或后向因式分解順序，而是最大化所有可能因式分解順序的期望對數(shù)似然。因?yàn)槭菍σ蚴椒纸忭樞虻呐帕胁僮?，每個(gè)位置的上下文都可以由來自左右兩邊的 token 組成。在期望中，每個(gè)位置都要學(xué)會(huì)利用來自所有位置的上下文信息，即捕獲雙向上下文。
其次，作為一種泛化的 AR 語言模型，XLNet 不依賴于殘余數(shù)據(jù)。因此，XLNet 不受 BERT 的預(yù)訓(xùn)練-微調(diào)差異的影響。同時(shí)，自回歸目標(biāo)也提供了一種自然的方法來使用乘積規(guī)則對預(yù)測 token 的聯(lián)合概率執(zhí)行因式分解，消除了 BERT 中做出的獨(dú)立性假設(shè)。
除了一個(gè)新的預(yù)訓(xùn)練目標(biāo)，XLNet 還改進(jìn)了預(yù)訓(xùn)練的架構(gòu)設(shè)計(jì)。
受 AR 語言建模最新進(jìn)展的啟發(fā)，XLNet 將 Transformer-XL 的分段重復(fù)機(jī)制和相對編碼方案集成到預(yù)訓(xùn)練中，在較長文本序列的任務(wù)中提高了性能。需要注意的是，將 Transformer(-XL) 架構(gòu)簡單應(yīng)用于基于排列的語言建模是不起作用的，因?yàn)榉纸忭樞蚴侨我獾那夷繕?biāo)是模糊的。作為一種解決方案，研究者們提出重新參數(shù)化 Transformer(-XL) 網(wǎng)絡(luò)，以消除歧義。
實(shí)驗(yàn)結(jié)果
截至 2019 年 6 月 19 日，XLNet 在 20 個(gè)任務(wù)上超過了 BERT 的表現(xiàn)，并在 18 個(gè)任務(wù)上取得了當(dāng)前最佳效果（state-of-the-art），包括機(jī)器問答、自然語言推斷、情感分析和文檔排序。
以下是 XLNet-Large 和 Bert-Large 的一些比較：
閱讀理解任務(wù)
文本分類任務(wù)
ClueWeb09-B 文檔排名任務(wù)
在最終的 20 項(xiàng)任務(wù)中，XLNet 的表現(xiàn)優(yōu)于 BERT，并且在 18 項(xiàng)任務(wù)中取得了最先進(jìn)的結(jié)果。
發(fā)布模型
截至目前，已提供以下模式：
XLNet-Large, Cased：24-layer, 1024-hidden, 16-heads,
每個(gè).zip 文件包含三個(gè)項(xiàng)：
TensorFlow checkpoint(xlnet_model.ckpt)，包含預(yù)先訓(xùn)練的權(quán)重。
SentencePiece 模型 (spiece.model)，用于 (de) 標(biāo)記化。
一個(gè)配置文件 (xlnet_config.json)，指定模型的超參數(shù)。
未來釋放計(jì)劃
后續(xù)開發(fā)者還計(jì)劃在不同的環(huán)境下繼續(xù)發(fā)布更多的訓(xùn)練模型，包括：
基本模型——將在 2019 年 6 月底發(fā)布一個(gè) XLNet-Base。
Uncased 模型——目前，Cased XLNet-Large 比 Uncased XLNet-Large 性能更好。開發(fā)者仍在觀察與研究，當(dāng)?shù)贸鼋Y(jié)論時(shí)，他們將馬上發(fā)布 Uncased 模型。（預(yù)計(jì)時(shí)間不會(huì)太久）
在維基百科上進(jìn)行微調(diào)的預(yù)訓(xùn)練模型，這可用于維基百科文本的任務(wù)，如 SQuAD 和 HotpotQA。
其他超參數(shù)配置的預(yù)訓(xùn)練模型，可以用于特定的下游任務(wù)。
與新技術(shù)關(guān)聯(lián)的預(yù)訓(xùn)練模型。
相關(guān)鏈接
論文地址
https://arxiv.org/pdf/1906.08237.pdf
預(yù)訓(xùn)練模型及代碼地址
雷鋒網(wǎng) AI 科技評論
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
