無監(jiān)督學(xué)習(xí)和transformers如何在OpenAI手里玩出新花樣

本文作者： sanman

編輯：楊曉凡

2018-08-03 18:46

導(dǎo)語(yǔ)：Transformer模型的NLP任務(wù)表現(xiàn)

雷鋒網(wǎng) AI 科技評(píng)論按：OpenAI 近期更新了一篇博客，他們利用一個(gè)任務(wù)無關(guān)的可擴(kuò)展系統(tǒng)在多語(yǔ)言任務(wù)上取得了卓越進(jìn)展。論文及代碼已經(jīng)公布。他們的方法結(jié)合了 transformers 和無監(jiān)督學(xué)習(xí)兩個(gè)已經(jīng)存在的方法。項(xiàng)目結(jié)果證明了將監(jiān)督學(xué)習(xí)和無監(jiān)督預(yù)訓(xùn)練結(jié)合的方法十分有效。這是很多人設(shè)想過的方法，他們希望他們的成果可以激勵(lì)更多人將該方法應(yīng)用于更大更復(fù)雜的數(shù)據(jù)集上。原文發(fā)表在 OpenAI 的博客上，雷鋒網(wǎng)對(duì)博客內(nèi)容編譯如下。

無監(jiān)督學(xué)習(xí)和transformers如何在OpenAI手里玩出新花樣

他們的系統(tǒng)分兩個(gè)階段工作。首先他們利用無監(jiān)督的方式在超大數(shù)據(jù)集上訓(xùn)練一個(gè) transformer 模型，過程中使用語(yǔ)言建模作為訓(xùn)練信號(hào)，然后放在較小數(shù)據(jù)集上進(jìn)行微調(diào)使它可以處理一些特定任務(wù)。該方法基于他們情感神經(jīng)元的相關(guān)工作，在那項(xiàng)工作中他們發(fā)現(xiàn)當(dāng)訓(xùn)練數(shù)據(jù)量達(dá)到一定程度時(shí)，無監(jiān)督學(xué)習(xí)會(huì)表現(xiàn)出令人驚訝的區(qū)分性特征。因此，他們決定驗(yàn)證一個(gè)想法，即是否可以開發(fā)一個(gè)模型，先以無監(jiān)督的方式在大數(shù)據(jù)集上進(jìn)行訓(xùn)練，然后再進(jìn)行微調(diào)以保證應(yīng)對(duì)不同任務(wù)時(shí)的表現(xiàn)。而結(jié)果顯示，此方法效果拔群。相同的核心模型只要進(jìn)行極小的微調(diào)就可以應(yīng)對(duì)不同任務(wù)。

本工作基于半監(jiān)督序列學(xué)習(xí)中介紹到的方法，該方法先對(duì) LSTM 進(jìn)行無監(jiān)督的預(yù)訓(xùn)練然后再進(jìn)行有監(jiān)督的微調(diào)，以此來優(yōu)化文本分類效果。該方法還拓展了 ULMFiT 中提到的方法，ULMFiT 介紹了如何對(duì)單個(gè)訓(xùn)練集未知的 LSTM 模型進(jìn)行微調(diào)使它可以在不同的文本分類數(shù)據(jù)集上取得優(yōu)秀的成績(jī)。OpenAI 的工作為基于 Transformer 的模型提供了調(diào)整方案，讓這些模型可以適應(yīng)多種任務(wù)，這些任務(wù)不限于文本分類，還有常識(shí)推理，語(yǔ)義相似性研究，閱讀理解等。本工作與 ELMo 類似，但在任務(wù)無關(guān)性上更勝一籌，ELMo 也使用了預(yù)訓(xùn)練，但使用了針對(duì)任務(wù)定制的架構(gòu)以保證在各種任務(wù)中取得最優(yōu)表現(xiàn)。

僅需少量調(diào)整即可達(dá)成他們的目標(biāo)。所有的數(shù)據(jù)集都使用單一的前向語(yǔ)言模型，且不包含任何集成方法，絕大多數(shù)研究成果使用的是完全相同的超參數(shù)配置。

他們的方法在 COPA， RACE 和 ROCStories 這三個(gè)數(shù)據(jù)集上的表現(xiàn)著實(shí)亮眼，這三個(gè)數(shù)據(jù)集就是用來測(cè)試常識(shí)推理和閱讀理解的。他們的模型在這些數(shù)據(jù)集上取得了最優(yōu)的成績(jī)，且進(jìn)步斐然。這些數(shù)據(jù)集著重測(cè)試多語(yǔ)句推理能力和重要世界知識(shí)的知識(shí)量，在這些數(shù)據(jù)集上取得優(yōu)異成績(jī)說明他們的模型通過無監(jiān)督學(xué)習(xí)顯著的提升了這些能力。這也為使用無監(jiān)督學(xué)習(xí)去開發(fā)復(fù)雜語(yǔ)言理解能力的研究帶來了希望。

為什么是無監(jiān)督學(xué)習(xí)？

監(jiān)督學(xué)習(xí)是目前大多數(shù)機(jī)器學(xué)習(xí)成功案例的核心。但是，監(jiān)督學(xué)習(xí)需要使用到大數(shù)據(jù)集，這些大數(shù)據(jù)集必須標(biāo)注明確，保持超低錯(cuò)誤率，因此成本很高。無監(jiān)督學(xué)習(xí)由于可以規(guī)避這些缺點(diǎn)所以顯得很值得研究。由于無監(jiān)督學(xué)習(xí)突破了“人類明確標(biāo)注”這一瓶頸，所以隨著算力的提升和原始數(shù)據(jù)可用性的增加，無監(jiān)督學(xué)習(xí)也發(fā)展的越來越快。無監(jiān)督學(xué)習(xí)是一個(gè)很熱門的研究領(lǐng)域，但是實(shí)際應(yīng)用還是很受限制。

近期有人嘗試使用無監(jiān)督學(xué)習(xí)向系統(tǒng)中添加大量無標(biāo)注數(shù)據(jù)，想以此來提升語(yǔ)言能力。通過無監(jiān)督學(xué)習(xí)訓(xùn)練出來的詞表征可以使用 TB 級(jí)的數(shù)據(jù)集，而且如果和監(jiān)督學(xué)習(xí)結(jié)合起來就可以大幅提升處理各種 NLP 任務(wù)的效果。直到最近，這些應(yīng)用于 NLP 的無監(jiān)督技術(shù)（比如 GLoVe 和 word2vec）使用簡(jiǎn)單模型（詞向量）和已訓(xùn)練的信號(hào)（詞局部共生）。Skip-Thought Vectors 是一個(gè)值得注意的早期嘗試，它顯示了更復(fù)雜的方法可能達(dá)到的潛在改進(jìn)。但現(xiàn)在使用的新技術(shù)也可以大幅提升性能。這些新技術(shù)包括預(yù)訓(xùn)練語(yǔ)句表征模型，語(yǔ)境化詞向量（尤其值得注意的是 ELMo 和 CoVE），以及 OpenAI 的可以融合無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)的定制架構(gòu)。

無監(jiān)督學(xué)習(xí)和transformers如何在OpenAI手里玩出新花樣

在大型文本語(yǔ)料庫(kù)上預(yù)訓(xùn)練我們模型可以提升它在極具挑戰(zhàn)性的自然語(yǔ)言處理任務(wù)（如 Winograd Schema Resolution）上的表現(xiàn)

OpenAI 發(fā)現(xiàn)他們可以使用底層語(yǔ)言模型去執(zhí)行任務(wù)且不需要訓(xùn)練。例如，隨著底層語(yǔ)言模型的優(yōu)化，模型做選擇題這種任務(wù)時(shí)的表現(xiàn)在穩(wěn)步提升。雖然這些方法的絕對(duì)性能相較于當(dāng)前最優(yōu)的監(jiān)督方法來說往往更加低下（在問答任務(wù)中，還是簡(jiǎn)單滑動(dòng)窗口基線模型表現(xiàn)更好），但是這些方法在各種任務(wù)中表現(xiàn)出的魯棒性令人鼓舞。不包含任何任務(wù)信息和現(xiàn)實(shí)信息的隨機(jī)初始化網(wǎng)絡(luò)的表現(xiàn)不比啟發(fā)式隨機(jī)初始化網(wǎng)絡(luò)好。這也為生成式預(yù)訓(xùn)練為什么可以提升下游任務(wù)的表現(xiàn)這個(gè)問題提供了一些啟發(fā)意見。

OpenAI 還可以用模型中已有的語(yǔ)言功能來執(zhí)行情感分析。斯坦福情緒樹數(shù)據(jù)集（Stanford Sentiment Treebank）由電影的正/負(fù)面評(píng)論組成，他們可以用語(yǔ)言模型來猜測(cè)評(píng)論是積極的還是消極的，具體方法是在評(píng)論句子后面加上「very」，然后再觀察模型把這個(gè)「very」判斷為「積極」還是「消極」。這種方法不需要根據(jù)任務(wù)去調(diào)整模型，其性能與經(jīng)典基線相當(dāng)，準(zhǔn)確度能達(dá)到 80％。

OpenAI 的工作驗(yàn)證了 transformer 結(jié)構(gòu)的魯棒性和實(shí)用性，也表明它足夠靈活，不需要復(fù)雜的任務(wù)定制和超參數(shù)調(diào)整就可以在各種任務(wù)中拔得頭籌。

缺點(diǎn)

這個(gè)項(xiàng)目有這幾個(gè)值得注意的點(diǎn)：

● 算力需求：許多以前的針對(duì) NLP 任務(wù)的方法是從頭開始在單塊 GPU 上訓(xùn)練一個(gè)小模型。OpenAI 的方法的預(yù)訓(xùn)練過程很昂貴——8 塊 GPU 訓(xùn)練一個(gè)月。幸運(yùn)的是，這個(gè)過程只需要進(jìn)行一次，而他們已經(jīng)開源了自己的模型，所以其他人就省了這個(gè)步驟。該模型比較大（相較于之前的工作），需要使用更大的算力和內(nèi)存，他們使用了 37 層（12 塊）transformer 架構(gòu)，并在多達(dá) 512 個(gè) token 的序列上訓(xùn)練。大多數(shù)實(shí)驗(yàn)是在 4 或 8 塊 GPU 上進(jìn)行的。這個(gè)模型調(diào)整起來很快，這也變相的減輕了資源需求。

● 通過文本認(rèn)識(shí)世界的限制與偏見：網(wǎng)上隨處可見的書籍和文本并不包含這個(gè)世界的全部信息，有時(shí)候信息也并不準(zhǔn)確。近期的工作表明某些信息只通過文本無法進(jìn)行學(xué)習(xí)，另一些工作表明模型會(huì)學(xué)習(xí)和利用數(shù)據(jù)分布上的偏差。

● 泛化能力依舊脆弱：盡管 OpenAI 的方法在各種任務(wù)上提升了性能，但現(xiàn)在的深度 NLP 模型依然存在著令人驚訝和反直覺的行為，以系統(tǒng)化，對(duì)抗性或超越數(shù)據(jù)分布的方式進(jìn)行評(píng)估時(shí)表現(xiàn)尤為明顯。他們的方法已經(jīng)有了一些進(jìn)步，但對(duì)此問題也束手無策。他們方法相較于之前的純神經(jīng)網(wǎng)絡(luò)在文本蘊(yùn)含任務(wù)上有更好的詞魯棒性。在 Glockner 等人使用的數(shù)據(jù)庫(kù)上，他們的模型取得了 83.75% 的準(zhǔn)確率，和通過 WordNet 整合了外部知識(shí)的 KIM 性能相近。

未來的工作

● 擴(kuò)展該方法：OpenAI 發(fā)現(xiàn)語(yǔ)言模型的改進(jìn)與下游任務(wù)的改進(jìn)關(guān)聯(lián)密切。他們現(xiàn)在使用的是單個(gè) 8GPU 的商用機(jī)器，訓(xùn)練的數(shù)據(jù)集也不過幾千本書的量（大概 5GB 文本）。所以在算力和數(shù)據(jù)上有很明顯的改進(jìn)空間。

● 改進(jìn)微調(diào)方法：OpenAI 的現(xiàn)有的方法很簡(jiǎn)單，通過復(fù)雜的適配以及遷移其他工作（如 ULMFiT）中的技術(shù)，可以對(duì)他們的工作進(jìn)行重大的更新。

● 更加深入的研究生成式預(yù)訓(xùn)練這么好用的原因：OpenAI 本文介紹了他們的部分想法，而更加具有針對(duì)性的試驗(yàn)和研究會(huì)為一些相互競(jìng)爭(zhēng)的觀點(diǎn)祛魅。例如，實(shí)驗(yàn)會(huì)證明現(xiàn)在取得的進(jìn)步有多少受益于泛文本處理能力的提升，又有多少是因?yàn)槭澜缰R(shí)的提升。