0
| 本文作者： 貝爽 | 2020-09-22 18:07 |
模型越大，性能越佳？答案可能是不一定。
在NLP領域，談到超大模型必然想到預訓練語言模型GPT-3，自今年3月份對外開放以來，其因超大模型和超強性能頻頻刷屏。
GPT-3擁有1750億參數(shù)量，約有700G大小，一次訓練成本高達上百萬美元。1750億是什么概念？去年2月份，OpenAI推出的GPT-2參數(shù)量為僅15億，是它的1\116。
與今年微軟推出的Turing NLG（170 億參數(shù)），英偉達的 Megatron-BERT（80 億參數(shù)）相比，也要高出10多倍。
不過，超大模型帶來的性能表現(xiàn)也是顯而易見的。最近《衛(wèi)報》剛剛發(fā)布了一篇由GPT-3撰寫的文章，因文本內(nèi)容堪比人類而再次引起熱議。
但現(xiàn)在，同樣的文本生成效果，其參數(shù)量可能只需要GPT-3的0.1%。
近日，慕尼黑路德維?！ゑR克西米利安大學（LMU）AI研究團隊公布了一項最新研究成果，即在文本生成方面，僅用2.23億參數(shù)量，就可以到達GPT-3的效果。
這項研究論文已發(fā)表至預印論文庫arXiv，論文摘要中顯示：
我們證明了使用參數(shù)小幾個數(shù)量級的語言模型也可以獲得類似GPT-3的性能。這是通過將輸入文本轉換成包含任務描述的完形填空，并結合梯度優(yōu)化來實現(xiàn)的。此外，利用未標記的數(shù)據(jù)也可以進一步改進；我們確定了使用小語言模型理解自然語言所需的幾個關鍵因素。
接下來，我們具體看一下這項技術的實現(xiàn)原理。
論文中介紹，LMU研究團隊采用的是一種稱為模式開發(fā)訓練（Pattern-exploiting Training，PET）的方法。該方法是一種半監(jiān)督訓練，可將輸入示例重新編寫為填空樣式的短語，在參數(shù)量少的環(huán)境下明顯優(yōu)于常規(guī)的監(jiān)督訓練。
具體來說，PET將完形填空問題的重新表述與基于梯度的規(guī)則微調(diào)相結合，彌補了GPT-3大模型的弊端。同時，它不需要對數(shù)據(jù)進行標記，而且能夠適用于多個令牌的預測任務。
經(jīng)過SuperGLUE的基準測試，PET及其迭代版的性能都優(yōu)于GPT-3，而且參數(shù)量少了三個數(shù)量級。
PET：2.23億個參數(shù)，SuperGLUE平均得分為74.0。
GPT3：1750億個參數(shù)，SuperGLUE平均得分為71.8。
具體來說，PET通過訓練各個PVP（Pattern-verbalizer）模型，將其合并、輸出，以在在制作的軟標簽上訓練新模型來獲得最終的效果。論文中，研究人員采用了32個示例基于ALBERT對PET和GPT-3進行了測試。其最終結果如下：
可以看出，ALBERT和PET的表現(xiàn)類似于超大模型GPT-3，其體積增大了785倍，而且平均來說，PET的表現(xiàn)要比GPT-3稍好。iPET為三項任務帶來了新的改進，其中最顯著的是CB，但是MultiRC的性能略有下降。
需要強調(diào)的是，iPET可訓練多模型，甚至可以在沒有任何訓練數(shù)據(jù)的情況下使用。
與GPT-3類似，PET在WiC中的隨機性并不高，這很難作為語言建模任務重新表述。ReCoRD是GPT-3始終優(yōu)于PET和iPET的唯一任務。盡管PET表現(xiàn)強勁，但它的表現(xiàn)顯然比普通全尺寸SuperGLUE訓練器上訓練的最先進的模型還要差。
經(jīng)研究發(fā)現(xiàn)其影響性能的因素包括以下幾點：模式和描述器的選擇，未標記和標記數(shù)據(jù)的使用，以及底層語言模型的屬性。
在以前的研究中，包括GPT-3，YI。這些重新表述可以處理更加復雜的任務。為了研究模式和描述器的重要性，研究人員比較了三組不同的PVP（pours、pGPT-3、pcomb），并使用PET對ALBERT進行了模式訓練，結果如下圖：
可以看出，pGPT-3在RTE上的性能優(yōu)于pours，而pours在MultiRC上的性能要好得多。這一反差表現(xiàn)正說明了將任務表達為完型填空的重要性。
另外，為了研究未標記數(shù)據(jù)對于PET的重要性。研究人員比較了PET中最終分類器的性能與單個pvp對應的模型集合的性能。以下為每個PVP訓練三個模型后的結果：
這表明，如果目標僅僅是獲得良好的性能，那么無標記數(shù)據(jù)是不必要的，但是，它需要獲得一個單一的、輕量級的模型作為最終分類器。
接下來，為了研究底層模型與PET性能的相關性。研究人員將ALBERT與RoBERTa large和GPT-2 medium進行了比較，結果如下圖：
可以看到，使用ALBERT作為底層模型對于PET的性能至關重要；將ALBERT替換為RoBERTa，其平均性能下降了8個點。不過，RoBERTa仍然明顯優(yōu)于GPT-3，因為GPT-3要大兩個數(shù)量級。
重要的是，使用GPT-2的PET比其他兩種模型的性能差很，其性能下降的一個關鍵原因可能是，與GPT-3一樣，GPT2是一個單向模型，它需要比較兩個文本序列。
因此，底層模型的雙向性對于PET來說很重要，因為它消除了掩碼令牌在最后的需求，能夠在創(chuàng)建模式時表現(xiàn)出更大的靈活性。
論文的結論中表明，通過PET訓練方法，可以在參數(shù)量少三個數(shù)量級的情況下，在SuperGLUE測試中實現(xiàn)類似GPT-3的性能。PET是一種將任務重新定義為完形填空問題，并為不同的重新表述訓練一組模型的方法，它能夠用于需要預測多個令牌的任務。
需要說明的是，該項研究證明了：在文本生成領域，小模型達到高性能表現(xiàn)的可能性，但它并不意味著超過了GPT-3，或者實現(xiàn)了GPT-3的所有功能。
LMU研究團隊也指出：“它不會在所有任務中都勝過GPT-3，我們目的是希望使用更適度的硬件來突破AI界限，為研究人員開辟新的思路和途徑?！?/p>
簡單來說，通過GPT-3，超大模型所帶來的性能顯而易見，那么相對簡單的模型能夠帶來哪些可能性，是該項研究的初衷，它意在激勵研究者提出更智能、更高效的新模型。
雖然PET系統(tǒng)比大規(guī)模的GPT體系具有更少的功能，但它表明了我們可以通過更易于管理的規(guī)模來獲取與大模型等效的方法。
另外，需要強調(diào)的是，GPT-3在功能及性能方面達到了前所未有的高度，但其內(nèi)部也存在明顯的缺陷。比如OpenAI團隊曾公開聲明，GPT-3存在一些算法局限，但由于訓練成本過高，并不打算對其進行優(yōu)化。因此，GPT-3距離“理想”Transformer還很遙遠，仍有很大的改進空間。
引用鏈接：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
https://arxiv.org/pdf/2009.07118.pdf
https://us13.campaign-archive.com/?u=67bd06787e84d73db24fb0aa5&id=ef5072d878
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
