雷鋒網(wǎng) AI 科技評論按：7 月 30 日，百度發(fā)布了 ERNIE（Enhanced Representation through kNowledge IntEgration）的優(yōu)化版本——ERNIE 2.0 自然語言理解框架。這個中英文對話的 AI 框架不僅獲得了最優(yōu)的（SOTA）結果，并且在 16 個 NLP 任務中表現(xiàn)出優(yōu)于 BERT 和最近的 XLNet 的高水準。目前，ERNIE 2.0 代碼和英文預訓練模型已開源。

 

ERNIE 2.0 的由來

近年來，類似于 BERT，XLNet 的無監(jiān)督預訓練自然語言表達模型在各種自然語言理解任務中取得了重大突破，包括語言推斷、語義相似度、命名實體識別、情感分析等。這也表明了基于大規(guī)模數(shù)據(jù)的無監(jiān)督預訓練技術能夠在自然語言處理中發(fā)揮至關重要的作用。

SOTA 預訓練模型（如 BERT，XLNet 和 ERNIE 1.0）的預訓練系統(tǒng)核心是基于幾個簡單的任務來模擬單詞或句子的共現(xiàn)。例如，BERT 構建了掩碼模型和下一個句子預測任務，從而捕獲單詞和句子的共現(xiàn)信息；XLNet 則構造了一種全排列的語言模型，并采用了自回歸的方式來捕獲單詞的共現(xiàn)信息。

然而除了共現(xiàn)之外，訓練語料庫中還包含語法、語義信息等更多有價值的信息。例如：命名實體（名稱、位置和組織），則可以包含概念信息、句子之間的順序和距離關系等結構知識；而文檔層面的語義相似性或句子之間的話語關系，則能夠訓練模型學習語義感知表示。假設模型能夠經(jīng)過訓練從而不斷學習更多類型的任務，是否這樣可以進一步提高模型的效果呢？

ERNIE 2.0 ——可持續(xù)學習語義理解框架

ERNIE 2.0 介紹

基于這一理念，百度提出了一種持續(xù)學習的語義理解預訓練框架 ERNIE 2.0，它可以通過持續(xù)的多任務學習，逐步學習和建立預訓練任務。

該框架支持增量引入詞匯 (lexical)、語法 (syntactic) 、語義 (semantic) 等 3 個層次的自定義預訓練任務，并通過多任務學習對其進行訓練，實現(xiàn)全面捕捉訓練語料中的詞法、語法、語義等潛在信息。而且每當引入新任務時，該框架在遞增地訓練分布式表示的同時，還會記住先前任務的信息。 

新發(fā)布的 ERNIE 2.0 模型的結構

ERNIE 2.0 與 BERT 或 XLNet 等經(jīng)典預訓練方法的不同之處在于，它并不是在少量的預訓練任務上完成的，而是通過不斷引入大量預訓練任務，從而幫助模型高效地學習詞匯、句法和語義表征。作為一種全新的語言理解持續(xù)預訓練框架，ERNIE 2.0 不僅實現(xiàn)了 SOTA 效果，而且為開發(fā)人員構建自己的 NLP 模型提供了可行的方案。

ERNIE 2.0 測試效果

百度將 ERNIE 2.0 模型的性能與英文數(shù)據(jù)集 GLUE 和 9 個流行的中文數(shù)據(jù)集的現(xiàn)有 SOTA 預訓練模型進行了比較。結果表明，ERNIE 2.0 在 7 種 GLUE 語言理解任務上優(yōu)于 BERT 和 XLNet，并在所有 9 種中文 NLP 任務上擊敗 BERT，例如：基于 DuReader 數(shù)據(jù)集的閱讀理解，情感分析和問答。

模型在 9 項常規(guī)中文 NLP 任務中的結果；模型結果均為五次實驗結果的中位數(shù)，粗體字表示 SOTA 結果

實際上根據(jù) GLUE 數(shù)據(jù)集的測試結果，無論是基本模型還是大型模型，我們能夠觀察到 ERNIE 2.0 在英語任務上優(yōu)于 BERT 和 XLNET。此外，ERNIE 2.0 大型模型還實現(xiàn)了最佳性能，并為中文 NLP 任務創(chuàng)造了新的最優(yōu)性能的結果。 

模型在 GLUE 上的結果，其中開發(fā)集上的結果是五次實驗結果的中位數(shù)，測試集結果根據(jù) GLUE 評估服務完成

原文地址：

http://research.baidu.com/Blog/index-view?id=121 

模型論文地址：

https://arxiv.org/abs/1907.12412 

Github 項目地址：

https://github.com/PaddlePaddle/ERNIE

雷鋒網(wǎng) AI 科技評論 雷鋒網(wǎng)

【CNCC 2019來了！】

10月17-19日，CNCC 2019 將在蘇州金雞湖國際會議中心舉辦，本次會議由中國計算機學會 (CCF) 主辦，蘇州工業(yè)園區(qū)管委會承辦。

CNCC 全稱為中國計算機大會，是我國計算領域規(guī)模最大、規(guī)格最高的學術、技術、產(chǎn)業(yè)交融互動的盛會。該會議創(chuàng)建于 2003 年，每年于不同城市舉辦，至今已成功舉辦十五屆。會議形式包括大會特邀報告、大會論壇、技術論壇、特色活動及展覽展示等。大會也特別設立了“自然語言理解的挑戰(zhàn)與機遇”技術論壇，敬請關注。

如果你是個人參會，可以：

?通過官網(wǎng)cncc.ccf.org.cn參會報名

?申請論壇，作為論壇主席或講者參會

?申請資助參會，申請者限邊遠地區(qū)高校青年教師或?qū)W生

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。