作者丨維克多

Transformer的提出距離我們已經(jīng)有5年的時間，隨著模型規(guī)模的不斷增長，性能提升也逐漸出現(xiàn)邊際效益遞減的情況。如何訓(xùn)練出最優(yōu)性能的大模型？

最近，DeepMind做了一項調(diào)查，想弄清AI語言模型的規(guī)模和token之間的關(guān)系。這個小組訓(xùn)練了超過400個模型，規(guī)模從7000萬參數(shù)到160億參數(shù)不等，token數(shù)量從50億到5000億不等。

該小組發(fā)現(xiàn)，模型參數(shù)大小和token的數(shù)量成正相關(guān)，換句話說，當(dāng)模型規(guī)模加倍的時候，token也應(yīng)該加倍。

1

如何得到這種關(guān)系？

目前確實是大模型時代，自從1750億參數(shù)的GPT-3橫空出世時，勾起了研究員的興趣。近兩年的時間，業(yè)界陸續(xù)推出了好幾個模型，且一個比一個大，并且在多數(shù)任務(wù)上獲得了令人令人深刻的性能。

但這種超越認(rèn)知的性能表現(xiàn)，是以巨大的計算和能源消耗為代價，業(yè)界也一直在討論這種代價是否值得。例如前谷歌研究員Timnit Gebru就曾撰寫論文討論“AI 語言模型是否太大以及科技公司在降低潛在風(fēng)險方面做得是否足夠?！彼惨驗樵撜撐谋还雀杞夤?。

大模型的訓(xùn)練預(yù)算一般是提前計劃好的，畢竟訓(xùn)練一次成本太大。因此，在給定預(yù)算的條件下，準(zhǔn)確估計最佳模型超參數(shù)變得非常關(guān)鍵。之前，也有學(xué)者已經(jīng)證明參數(shù)的數(shù)量和自回歸語言模型（autoregressive language model）的性能之間存在冪律關(guān)系。

 

例如先前的研究表明，10倍計算預(yù)算對應(yīng)增加5.5倍模型規(guī)模，以及1.8倍的token數(shù)量。但這項研究表明：模型大小和token的數(shù)量應(yīng)該成等比例增長。

此外，研究員還預(yù)測，對于訓(xùn)練Gopher（2800億個參數(shù)的語言模型），最佳模型應(yīng)該小4倍，并且應(yīng)該在大4倍的token上進(jìn)行訓(xùn)練。這一預(yù)測，在包含1.4萬億個token的 Chinchilla中的訓(xùn)練得到驗證。Chincilla的性能優(yōu)于Gopher，由于模型規(guī)模減小，推理成本也更低。

 

2

如何讓大模型更加高效？

大模型只有在大數(shù)據(jù)集上才能發(fā)揮最大的效力，同時，DeepMind也注意到，處理大數(shù)據(jù)集時需要格外小心，訓(xùn)練集和測試集的合理劃分，才能最小化語言建模損失以及最優(yōu)賦能下游任務(wù)。

研究界必須考慮與此類大型模型相關(guān)的倫理和隱私問題。正如過去所討論：從網(wǎng)絡(luò)上收集的大型數(shù)據(jù)集包含有毒的語言、偏見和私人信息。

關(guān)于大模型如何更高效的問題，近日，清華大學(xué)劉知遠(yuǎn)從模型架構(gòu)層面也提出了看法《清華劉知遠(yuǎn)：大模型「十問」，尋找新范式下的研究方向》，他表示：

隨著大模型越變越大，對計算和存儲成本的消耗自然也越來越大。最近有人提出GreenAI的概念，即需要考慮計算能耗的情況來綜合設(shè)計和訓(xùn)練人工智能模型。面向這個問題，我們認(rèn)為，隨著模型變大，AI會越來越需要跟計算機(jī)系統(tǒng)進(jìn)行結(jié)合，從而提出一個更高效面向大模型的支持體系。一方面，我們需要去建設(shè)更加高效分布式訓(xùn)練的算法，在這方面國內(nèi)外都有非常多的相關(guān)探索，包括國際上比較有名的DeepSpeed 以及悟道團(tuán)隊在開發(fā)的一些加速算法。

另一個方面，大模型一旦訓(xùn)練好去使用時，模型的“大”會讓推理過程變得十分緩慢，因此另外一個前沿方向就是如何高效將模型進(jìn)行盡可能的壓縮，在加速推理的同時保持它的效果。這方面的主要技術(shù)路線包括剪枝、蒸餾、量化等等。同時最近我們發(fā)現(xiàn)，大模型里面具有非常強(qiáng)的稀疏發(fā)放的現(xiàn)象，這對于模型的高效壓縮和計算有著非常大的幫助，這方面需要一些專門算法的支持。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。