本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：

BERT Technology introduced in 3-minutes

作者 | Suleiman Khan, Ph.D.

翻譯 | 胡瑛皓、stone豪         

校對 | 醬番梨        審核 | 約翰遜·李加薪       整理 | 立魚王

原文鏈接：

https://towardsdatascience.com/bert-technology-introduced-in-3-minutes-2c2f9968268c

由谷歌公司出品的用于自然語言理解的預(yù)訓(xùn)練BERT算法，在許自然語言處理的任務(wù)表現(xiàn)上遠(yuǎn)遠(yuǎn)勝過了其他模型。

BERT算法的原理由兩部分組成，第一步，通過對大量未標(biāo)注的語料進(jìn)行非監(jiān)督的預(yù)訓(xùn)練，來學(xué)習(xí)其中的表達(dá)法。其次，使用少量標(biāo)記的訓(xùn)練數(shù)據(jù)以監(jiān)督方式微調(diào)預(yù)訓(xùn)練模型以進(jìn)行各種監(jiān)督任務(wù)。預(yù)訓(xùn)練機(jī)器學(xué)習(xí)模型已經(jīng)在各種領(lǐng)域取得了成功，包括圖像處理和自然語言處理（NLP）。

BERT的含義是Transformer的雙向編碼器表示。 它基于Transformer架構(gòu)（由Google于2017年發(fā)布，《Attention Is All You Need》）。 Transformer算法使用編碼-解碼器網(wǎng)絡(luò)，但是，由于BERT是預(yù)訓(xùn)練模型，它僅使用編碼來學(xué)習(xí)輸入文本中的潛在表達(dá)。

Photo by Franki Chamaki on Unsplash

BERT將多個transformer編碼器堆疊在一起。tranformer基于著名的多頭注意模塊(multi-head attention)。 它在視覺和語言任務(wù)方面都取得了巨大成功。關(guān)于attention的回顧，請參考此處：

http://mlexplained.com/2017/12/29/attention-is-all-you-need-explained/

BERT卓越的性能基于兩點(diǎn)。 首先創(chuàng)新預(yù)訓(xùn)練任務(wù)Masked Language Model (MLM)以及Next Sentence Prediction (NSP). 其次訓(xùn)練BERT使用了大量數(shù)據(jù)和算力。

MLM使得BERT能夠從文本中進(jìn)行雙向?qū)W習(xí)，也就是說這種方式允許模型從單詞的前后單詞中學(xué)習(xí)其上下文關(guān)系。此前的模型這是做不到的。此前最優(yōu)的算法稱為Generative Pre-training (GPT) 該方法采用了從左到右的訓(xùn)練方式，另外ELMo 采用淺雙向?qū)W習(xí)(shallow bidirectionality)。

MLM預(yù)訓(xùn)練任務(wù)將文本轉(zhuǎn)換為tokens，把token表示作為訓(xùn)練的輸入和輸出。隨機(jī)取其中15%的token進(jìn)行mask，具體來說就是在訓(xùn)練輸入時(shí)隱藏，然后用目標(biāo)函數(shù)預(yù)測出正確的token內(nèi)容。這種方式對比以往的訓(xùn)練方式，以往方式采用單方向預(yù)測作為目標(biāo)或采用從左到右及從右到左兩組(單方向)去近似雙向。NSP任務(wù)通過預(yù)測后一個句子是否應(yīng)該接在前一句之后，從而使得BERT可以學(xué)習(xí)句子間的關(guān)系。訓(xùn)練數(shù)據(jù)采用50%順序正確的句子對加上另外50%隨機(jī)選取的句子對。BERT同時(shí)訓(xùn)練MLM和NSP這兩個目標(biāo)。

BERT訓(xùn)練使用了33億單詞以及25億維基百科和8億文本語料。訓(xùn)練采用TPU, GPU，大致情況如下.

BERT訓(xùn)練設(shè)備和時(shí)間 for BERT; 使用TPU數(shù)量和GPU估算.

Fine-tuning訓(xùn)練采用了2.5K~392K 標(biāo)注樣本。重要的是當(dāng)訓(xùn)練數(shù)據(jù)集超過100K，在多種超參數(shù)設(shè)置下模型顯示了其穩(wěn)健的性能。每個fine-tuning實(shí)驗(yàn)采用單個TPU均在1小時(shí)內(nèi)完成，GPU上需要幾小時(shí)。

  結(jié)果

BERT在11項(xiàng)NLP任務(wù)中超越了最優(yōu)的算法。主要是3類任務(wù)，文本分類、文字蘊(yùn)涵和問答。BERT在SQUAD和SWAG任務(wù)中，是第一個超過人類水平的算法！

BERT 論文中結(jié)果 https://arxiv.org/abs/1810.04805

   在分享中使用 BERT

BERT目前已開源: https://github.com/google-research/bert 分別用TensorFlow和Pytorch預(yù)訓(xùn)練了104種語言。

模型可進(jìn)行fine-tuned，然后用于多項(xiàng)NLP任務(wù)，諸如文本分類、文本相似度、問答系統(tǒng)、文本標(biāo)記如詞性POS命名和實(shí)體識別NER等。當(dāng)然預(yù)訓(xùn)練BERT計(jì)算上相當(dāng)昂貴，除非你采用TPU或類似Nvidia V100這樣的GPU。

BERT技術(shù)人員同時(shí)也放出了多語言模型，模型采用Wikipedia里的100多種語言。不過多語言BERT模型比單語言模型的性能要略低幾個百分點(diǎn)。

BERT在MLM任務(wù)中的mask策略對真實(shí)的單詞產(chǎn)生偏見。目前還未顯示這種偏見對訓(xùn)練的影響。

   參考文獻(xiàn)

[1] https://cloud.google.com/tpu/docs/deciding-pod-versus-tpu

[2] Assuming second generation TPU, 3rd generation is 8 times faster. https://en.wikipedia.org/wiki/Tensor_processing_unit

[3] http://timdettmers.com/2018/10/17/tpus-vs-gpus-for-transformers-bert/

想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？

點(diǎn)擊【三分鐘帶你讀懂 BERT】或長按下方地址：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

https://ai.yanxishe.com/page/TextTranslation/1509

AI入門、大數(shù)據(jù)、機(jī)器學(xué)習(xí)免費(fèi)教程

35本世界頂級原本教程限時(shí)開放，這類書單由知名數(shù)據(jù)科學(xué)網(wǎng)站 KDnuggets 的副主編，同時(shí)也是資深的數(shù)據(jù)科學(xué)家、深度學(xué)習(xí)技術(shù)愛好者的Matthew Mayo推薦，他在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域具有豐富的科研和從業(yè)經(jīng)驗(yàn)。

點(diǎn)擊鏈接即可獲?。?/span>https://ai.yanxishe.com/page/resourceDetail/417