雷鋒網(wǎng) AI 科技評論按：7 月 30 日，百度發(fā)布了 ERNIE（Enhanced Representation through kNowledge IntEgration）的優(yōu)化版本——ERNIE 2.0 自然語言理解框架。這個中英文對話的 AI 框架不僅獲得了最優(yōu)的（SOTA）結(jié)果，并且在 16 個 NLP 任務(wù)中表現(xiàn)出優(yōu)于 BERT 和最近的 XLNet 的高水準(zhǔn)。目前，ERNIE 2.0 代碼和英文預(yù)訓(xùn)練模型已開源。

 

ERNIE 2.0 的由來

近年來，類似于 BERT，XLNet 的無監(jiān)督預(yù)訓(xùn)練自然語言表達(dá)模型在各種自然語言理解任務(wù)中取得了重大突破，包括語言推斷、語義相似度、命名實體識別、情感分析等。這也表明了基于大規(guī)模數(shù)據(jù)的無監(jiān)督預(yù)訓(xùn)練技術(shù)能夠在自然語言處理中發(fā)揮至關(guān)重要的作用。

SOTA 預(yù)訓(xùn)練模型（如 BERT，XLNet 和 ERNIE 1.0）的預(yù)訓(xùn)練系統(tǒng)核心是基于幾個簡單的任務(wù)來模擬單詞或句子的共現(xiàn)。例如，BERT 構(gòu)建了掩碼模型和下一個句子預(yù)測任務(wù)，從而捕獲單詞和句子的共現(xiàn)信息；XLNet 則構(gòu)造了一種全排列的語言模型，并采用了自回歸的方式來捕獲單詞的共現(xiàn)信息。

然而除了共現(xiàn)之外，訓(xùn)練語料庫中還包含語法、語義信息等更多有價值的信息。例如：命名實體（名稱、位置和組織），則可以包含概念信息、句子之間的順序和距離關(guān)系等結(jié)構(gòu)知識；而文檔層面的語義相似性或句子之間的話語關(guān)系，則能夠訓(xùn)練模型學(xué)習(xí)語義感知表示。假設(shè)模型能夠經(jīng)過訓(xùn)練從而不斷學(xué)習(xí)更多類型的任務(wù)，是否這樣可以進(jìn)一步提高模型的效果呢？

ERNIE 2.0 ——可持續(xù)學(xué)習(xí)語義理解框架

ERNIE 2.0 介紹

基于這一理念，百度提出了一種持續(xù)學(xué)習(xí)的語義理解預(yù)訓(xùn)練框架 ERNIE 2.0，它可以通過持續(xù)的多任務(wù)學(xué)習(xí)，逐步學(xué)習(xí)和建立預(yù)訓(xùn)練任務(wù)。

該框架支持增量引入詞匯 (lexical)、語法 (syntactic) 、語義 (semantic) 等 3 個層次的自定義預(yù)訓(xùn)練任務(wù)，并通過多任務(wù)學(xué)習(xí)對其進(jìn)行訓(xùn)練，實現(xiàn)全面捕捉訓(xùn)練語料中的詞法、語法、語義等潛在信息。而且每當(dāng)引入新任務(wù)時，該框架在遞增地訓(xùn)練分布式表示的同時，還會記住先前任務(wù)的信息。 

新發(fā)布的 ERNIE 2.0 模型的結(jié)構(gòu)

ERNIE 2.0 與 BERT 或 XLNet 等經(jīng)典預(yù)訓(xùn)練方法的不同之處在于，它并不是在少量的預(yù)訓(xùn)練任務(wù)上完成的，而是通過不斷引入大量預(yù)訓(xùn)練任務(wù)，從而幫助模型高效地學(xué)習(xí)詞匯、句法和語義表征。作為一種全新的語言理解持續(xù)預(yù)訓(xùn)練框架，ERNIE 2.0 不僅實現(xiàn)了 SOTA 效果，而且為開發(fā)人員構(gòu)建自己的 NLP 模型提供了可行的方案。

ERNIE 2.0 測試效果

百度將 ERNIE 2.0 模型的性能與英文數(shù)據(jù)集 GLUE 和 9 個流行的中文數(shù)據(jù)集的現(xiàn)有 SOTA 預(yù)訓(xùn)練模型進(jìn)行了比較。結(jié)果表明，ERNIE 2.0 在 7 種 GLUE 語言理解任務(wù)上優(yōu)于 BERT 和 XLNet，并在所有 9 種中文 NLP 任務(wù)上擊敗 BERT，例如：基于 DuReader 數(shù)據(jù)集的閱讀理解，情感分析和問答。

模型在 9 項常規(guī)中文 NLP 任務(wù)中的結(jié)果；模型結(jié)果均為五次實驗結(jié)果的中位數(shù)，粗體字表示 SOTA 結(jié)果

實際上根據(jù) GLUE 數(shù)據(jù)集的測試結(jié)果，無論是基本模型還是大型模型，我們能夠觀察到 ERNIE 2.0 在英語任務(wù)上優(yōu)于 BERT 和 XLNET。此外，ERNIE 2.0 大型模型還實現(xiàn)了最佳性能，并為中文 NLP 任務(wù)創(chuàng)造了新的最優(yōu)性能的結(jié)果。 

模型在 GLUE 上的結(jié)果，其中開發(fā)集上的結(jié)果是五次實驗結(jié)果的中位數(shù)，測試集結(jié)果根據(jù) GLUE 評估服務(wù)完成

原文地址：

http://research.baidu.com/Blog/index-view?id=121 

模型論文地址：

https://arxiv.org/abs/1907.12412 

Github 項目地址：

https://github.com/PaddlePaddle/ERNIE

雷鋒網(wǎng) AI 科技評論 雷鋒網(wǎng)

【CNCC 2019來了！】

10月17-19日，CNCC 2019 將在蘇州金雞湖國際會議中心舉辦，本次會議由中國計算機(jī)學(xué)會 (CCF) 主辦，蘇州工業(yè)園區(qū)管委會承辦。

CNCC 全稱為中國計算機(jī)大會，是我國計算領(lǐng)域規(guī)模最大、規(guī)格最高的學(xué)術(shù)、技術(shù)、產(chǎn)業(yè)交融互動的盛會。該會議創(chuàng)建于 2003 年，每年于不同城市舉辦，至今已成功舉辦十五屆。會議形式包括大會特邀報告、大會論壇、技術(shù)論壇、特色活動及展覽展示等。大會也特別設(shè)立了“自然語言理解的挑戰(zhàn)與機(jī)遇”技術(shù)論壇，敬請關(guān)注。

如果你是個人參會，可以：

?通過官網(wǎng)cncc.ccf.org.cn參會報名

?申請論壇，作為論壇主席或講者參會

?申請資助參會，申請者限邊遠(yuǎn)地區(qū)高校青年教師或?qū)W生

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。