0
| 本文作者： 蔣寶尚 | 2020-04-15 14:53 |
作者 | 蔣寶尚
編輯 | 賈偉
全世界約有6900種語言，但大多數(shù)并沒有英語這種數(shù)據(jù)規(guī)模，這也導(dǎo)致大多數(shù)的NLP基準(zhǔn)僅限于英文任務(wù)，這大大制約了自然語言處理的多語言發(fā)展。
從語言學(xué)的角度，值得注意的一點(diǎn)是，不同語言或許有相同的來源，例如英語的“desk”和德語的“ Tisch”都來自拉丁語“ discus”。
如何利用語言之間的這種“共享結(jié)構(gòu)”來克服數(shù)據(jù)不足問題，是當(dāng)前學(xué)術(shù)界嘗試多語言研究的方向之一。
近日，谷歌聯(lián)合CMU、DeepMind推出的《XTREME：評(píng)估跨語言泛化的大規(guī)模、多語言、多任務(wù)基準(zhǔn)》（XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization）極大的鼓勵(lì)了多語言研究。
（雷鋒網(wǎng)）
這篇研究涵蓋了40種類型多樣的語言（涵蓋12種語系），還包括9項(xiàng)需要共同對(duì)不同級(jí)別的句法或語義進(jìn)行推理的任務(wù)。
正如谷歌論文的標(biāo)題，XTREME是一個(gè)基準(zhǔn)，用來評(píng)估跨語言遷移學(xué)習(xí)的好壞，在多樣化和具有代表性的任務(wù)和語言上，其選擇構(gòu)成基準(zhǔn)的任務(wù)和語言主要考慮的原則包括：任務(wù)的難度、任務(wù)的多樣性、以及訓(xùn)練的效率、多語言性、充足的單語數(shù)據(jù)等等。
1、任務(wù)難度足夠有挑戰(zhàn)性，使得跨語言的表現(xiàn)低于人的表現(xiàn)；
2、任務(wù)應(yīng)該要求語言模型在不同的層次上傳遞不同的意義，例如，分類任務(wù)需要句子級(jí)的意義轉(zhuǎn)移，而序列標(biāo)記任務(wù)，如語音部分（POS）標(biāo)記或命名實(shí)體識(shí)別（NER）則需要測試模型在詞級(jí)的意義轉(zhuǎn)移能力；
3、考慮到資源有限，任務(wù)要求在一個(gè)GPU上就能夠訓(xùn)練，而且訓(xùn)練時(shí)間不能超過一天；
4、首先考慮涵蓋多語言和語系的任務(wù)；
5、任務(wù)的使用是獲得許可的，能夠允許用于研究，以及以此為目的數(shù)據(jù)再分配。
（雷鋒網(wǎng)）
XTREME包含9個(gè)任務(wù)，共有4個(gè)類別，可以在不同的意義層次上進(jìn)行推理。任務(wù)概述如上表所示。
XNLI：FAIR 和紐約大學(xué)合作開發(fā)，作為一個(gè)新的自然語言推斷語料庫，其將MultiNLI 的測試集和開發(fā)集擴(kuò)展到 15 種語言，包括斯瓦西里語和烏爾都語等低資源語言。
PAWS-X：是在 PAWS 數(shù)據(jù)集基礎(chǔ)上, 擴(kuò)展了包含另外6 種不同類型語言的釋義識(shí)別對(duì)抗性數(shù)據(jù)集, 支持語言包括: 法語、西班牙語、德語、漢語、日語和韓語。PAWS-X 數(shù)據(jù)集則包含23 659組由人工判斷而得的PAWS 擴(kuò)展句子對(duì), 以及296 406 組由機(jī)器翻譯的訓(xùn)練對(duì)。
POS：作者使用了通用依存關(guān)系中數(shù)據(jù)庫中的POS標(biāo)簽數(shù)據(jù)，并使用英語訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，并在目標(biāo)語言的測試集上進(jìn)行了評(píng)估。
NER：對(duì)于NER，作者使用了Wikiann數(shù)據(jù)集，并用知識(shí)庫屬性、跨語言、錨鏈接、自我訓(xùn)練和數(shù)據(jù)選擇相結(jié)合的方法，對(duì)維基百科中的命名實(shí)體進(jìn)行了IOB2格式的LOC、PER和ORG標(biāo)簽的自動(dòng)注釋。
XQuAD：是一個(gè)更全面的跨語言基準(zhǔn)測試，包括由專業(yè)翻譯人員翻譯成十種語言的240段和1190對(duì)問題回答。
MLQA：這是一個(gè)類似于XQuAD的多語言問題回答數(shù)據(jù)集，能夠用于評(píng)估跨語言問答性能的基準(zhǔn)。其由SQuAD格式的超過5K提取QA實(shí)例（英語為12K）組成，使用7種語言-英語，阿拉伯語，德語，西班牙語，北印度語，越南語和簡體中文。
（雷鋒網(wǎng)）XTREME基準(zhǔn)測試中支持的任務(wù)
TyDiQA-GoldP：TyDiQA是一個(gè)涵蓋了 11 種不同類型語言的問答語料庫，TyDiQA-GoldP是其簡化版，并排除了一些無法回答的問題。它類似于XQuAD和MLQA，但比這兩個(gè)分別少了三倍和兩倍的的詞法重疊度。另外，作者使用使用英語訓(xùn)練數(shù)據(jù)在目標(biāo)語言的測試集上進(jìn)行訓(xùn)練和評(píng)估。
BUCC：該數(shù)據(jù)集為每種語言提供了訓(xùn)練和測試分詞，為了簡化，作者直接對(duì)測試集上的表征進(jìn)行評(píng)估，沒有進(jìn)行微調(diào)，但使用了余弦相似度公式計(jì)算相似度。
Tatoeba：該數(shù)據(jù)集包含了多達(dá)1000個(gè)覆蓋122種語言的英語句子對(duì)，在該數(shù)據(jù)集上，作者使用余弦相似度找到近鄰（ nearest neighbour），并計(jì)算錯(cuò)誤率。
綜上，XTREME中包含的任務(wù)涵蓋了一系列范式，包括句子分類，結(jié)構(gòu)化預(yù)測，句子檢索和問題解答。
由于英語是多語言表征中最常用的評(píng)估設(shè)置，并且多數(shù)任務(wù)中僅有英語訓(xùn)練數(shù)據(jù)，所以谷歌在評(píng)估設(shè)置上采用英語作為源語言的zero-shot跨語言遷移。雖然英語并非所有目標(biāo)語言的跨語言遷移的最佳源語言，但這是目前實(shí)踐中最擁有的設(shè)置。
為了使用XTREME評(píng)估模型性能，首先需要使用引起跨語言學(xué)習(xí)的目標(biāo)語言在多語言文本上對(duì)模型進(jìn)行預(yù)訓(xùn)練，接著在指定任務(wù)的英語數(shù)據(jù)上對(duì)模型進(jìn)行微調(diào)。隨后，XTREME 在目標(biāo)語言上評(píng)估模型的zero-shot跨語言遷移性能。
下圖展示了從預(yù)訓(xùn)練到微調(diào)再到zero-shot遷移的三大流程：
模型的跨語言遷移學(xué)習(xí)過程：1、針對(duì)多語言文本的預(yù)訓(xùn)練；2、使用英語對(duì)下游任務(wù)進(jìn)行微調(diào)；3、使用 XTREME 進(jìn)行 zero-shot 評(píng)估。
實(shí)踐中，這種zero-shot設(shè)置的好處之一是能夠提升計(jì)算效率，即預(yù)訓(xùn)練模型僅需要針對(duì)每個(gè)任務(wù)在英語數(shù)據(jù)上進(jìn)行微調(diào)，便可以在其他語言上直接進(jìn)行評(píng)估。
針對(duì)在其他語言中也有標(biāo)注數(shù)據(jù)的任務(wù)，作者也比較了模型在這些語言上進(jìn)行微調(diào)后的性能，最終獲得了 9 個(gè)XTREME任務(wù)的zero-shot得分，得出了綜合分?jǐn)?shù)。
在基準(zhǔn)測試方面，谷歌研究者選擇幾種當(dāng)前最先進(jìn)的多語言模型進(jìn)行試驗(yàn)，包括多語言BERT 模型 （mBERT），多語言BERT 模型的大型版本XLM和XLM-R 以及大型多語言機(jī)器翻譯模型 M4。這些模型的共同特點(diǎn)，就是它們已經(jīng)在來自不同語言的大量數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練。
在方法上，主要采用的是通過自監(jiān)督或借助譯文來學(xué)習(xí)多語言表征。
圖注：基于翻譯的基準(zhǔn)對(duì)句子檢索沒有意義。在有目標(biāo)語言訓(xùn)練數(shù)據(jù)的情況下，作者提供了語言內(nèi)基準(zhǔn)。
實(shí)驗(yàn)結(jié)果如上圖所示，XLMR是表現(xiàn)最好的模型，總體上比mBERT有明顯的改進(jìn)，但是在結(jié)構(gòu)化預(yù)測任務(wù)上的改進(jìn)較小。MMTE在大多數(shù)任務(wù)上的性能與mBERT相當(dāng)，在XNLI、POS和BUCC上的性能更強(qiáng)。
對(duì)于有語內(nèi)訓(xùn)練數(shù)據(jù)（ in-language training data）的任務(wù)，使用語內(nèi)數(shù)據(jù)訓(xùn)練的多語言模型要優(yōu)于zero-shot遷移模型。但是，只要有更多的英語樣本，zero-shot遷移模型就會(huì)好于只訓(xùn)練了1000個(gè)復(fù)雜QA任務(wù)的語言內(nèi)示例的多語言模型。
對(duì)于結(jié)構(gòu)化預(yù)測任務(wù)，1,000個(gè)語內(nèi)實(shí)例能使模型達(dá)到與在完整的標(biāo)簽化數(shù)據(jù)集上訓(xùn)練的性能。
最后，在Translate-train和In-language設(shè)置上的多任務(wù)學(xué)習(xí)一般都比單一語言訓(xùn)練有所改善。
對(duì)于一些有代表性的模型，作者研究了跨語言轉(zhuǎn)移差距，即在英語測試集上的表現(xiàn)與所有其他語言之間的差距。
如上圖所示，雖然在XQuAD和MLQA等具有挑戰(zhàn)性的任務(wù)上，XLM-R等強(qiáng)大的模型與mBERT相比，可以顯著縮小差距，但它們?cè)诰浞ńY(jié)構(gòu)化預(yù)測任務(wù)上的影響不盡相同。
在分類任務(wù)上，轉(zhuǎn)移學(xué)習(xí)的差距最小，說明在這些任務(wù)上的進(jìn)步空間可能較小。
機(jī)器翻譯的使用雖然縮小了所有任務(wù)之間的差距?？傮w而言，所有方法都存在很大的差距，這表明跨語言遷移工作的潛力很大。
作者進(jìn)行了一系列的分析，研究了當(dāng)前能夠達(dá)到SOTA的跨語言模型的局限性。具體分析包括五個(gè)部分：
圖注：XLM-R在XTREME任務(wù)中所有語言在各個(gè)任務(wù)中的表現(xiàn)概述
最佳zero-shot模式分析：如上圖所示，這部分主要說明為什么在不同的任務(wù)和語言中評(píng)估通用的多語言表征非常重要。
與訓(xùn)練前數(shù)據(jù)大小的相關(guān)性：如上圖模型性能與各語言中維基百科文章數(shù)量的皮爾森相關(guān)系數(shù)ρ，表明除了結(jié)構(gòu)化預(yù)測任務(wù)的任務(wù)外，多數(shù)任務(wù)的相關(guān)系數(shù)都很高。這意味著當(dāng)前的模型無法充分利用從預(yù)訓(xùn)練數(shù)據(jù)中提取的信息來轉(zhuǎn)移到句法任務(wù)。
語言特點(diǎn)分析：如上圖，根據(jù)不同語系和編寫腳本分析結(jié)果。對(duì)于mBERT，印歐語系的分支(如日耳曼語、羅曼語和斯拉夫語)的遷移性能最佳。相比之下，尼日爾-剛果和克拉-傣語等低資源語系的跨語言遷移表現(xiàn)仍然較低。另外，不同的流行腳本，如拉丁文和表意文字，在句法任務(wù)上的表現(xiàn)是不同的。
跨語言的錯(cuò)誤：因?yàn)閷?duì)于其他測試集是從英語翻譯過來的XNLI和XQuAD，這部分作者分析了這些方法在源語言和目標(biāo)語言中是否會(huì)犯同樣類型的錯(cuò)誤。更為具體一些是探討了英語中正確和錯(cuò)誤預(yù)測的例子是否在其他語言中被正確預(yù)測。結(jié)果是在XNLI和XQuAD數(shù)據(jù)集上有不同答案。
推廣到不可見的標(biāo)簽組合和實(shí)體：這部分主要分析了結(jié)構(gòu)化預(yù)測任務(wù)遷移不成功的原因。結(jié)論是該模型可能難以推廣到更具目標(biāo)語言特征的實(shí)體。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
