EleutherAI 推出 200億參數(shù)的類 GPT 模型：不像 GPT-3，它免費開放

本文作者：我在思考中

2022-03-24 10:21

導(dǎo)語：獨立科學(xué)家有福了。

獨立科學(xué)家有福了。

作者｜鄭宇宏

編輯｜陳彩嫻

近日，「黑客組織」EleutherAI 在打破 OpenAI 對 GPT-3 的壟斷上又邁出了關(guān)鍵的一步：

發(fā)布全新 200 億參數(shù)模型，名曰「GPT-NeoX-20B」。

眾所周知，自 2020 年微軟與 OpenAI 在 GPT-3 源代碼獨家訪問權(quán)上達成協(xié)議以來，OpenAI 就不再向社會大眾開放 GPT-3 的模型代碼（盡管 GPT-1 和 GPT-2 仍是開源項目）。

出于對科技巨頭霸權(quán)的「反叛」，一個由各路研究人員、工程師與開發(fā)人員志愿組成的計算機科學(xué)家協(xié)會成立，立志要打破微軟與 OpenAI 對大規(guī)模 NLP 模型的壟斷，且取得了不錯的成果。

這個協(xié)會，就是：EleutherAI。

它以古羅馬自由女神 Eleutheria 的名字命名，透露出對巨頭的不屑與反抗。

與 1750 億參數(shù)的 GPT-3 相比，GPT-NeoX-20B 的參數(shù)顯然是小巫見大巫。但 EleutherAI 對該成果十分自豪，為什么？

EleutherAI 的由來

首先介紹一下 EleutherAI 的發(fā)展歷史。

人工智能威脅論是一個老生常談的問題?；艚鹪凇丢毩蟆飞线@樣形容人工智能的威脅：「盡管人工智能的短期影響取決于控制它的人，但長期影響卻取決于它究竟能否被控制?！?/span>

EleutherAI 的成立始于 2020 年 7 月，主要發(fā)起人是一群號稱自學(xué)成才的黑客，主要領(lǐng)導(dǎo)人包括 Connor Leahy、Leo Gao 和 Sid Black。

當(dāng)時，微軟與 OpenAI 達成對 GPT-3 的控制訪問協(xié)議。聽聞風(fēng)聲，一群反叛極客就在 Discord（一個社交媒體平臺）上說：「讓我們給 OpenAI 一個教訓(xùn)吧！」

EleutherAI 推出 200億參數(shù)的類 GPT 模型：不像 GPT-3，它免費開放

于是，他們就基于 Discord 成立了 EleutherAI，希望建立一個能夠與 GPT-3 相媲美的機器學(xué)習(xí)模型。

創(chuàng)始人 Connor Leahy 在接受 IEEE Spectrum 的采訪時說道：

「起初這真的只是一個有趣的業(yè)余愛好，但在疫情封城期間我們沒有更好的事情可做，它的吸引力很快就變得大起來?！?/span>

「我們認為自己是幾十年前經(jīng)典黑客文化的后裔，只是在新的領(lǐng)域，出于好奇和對挑戰(zhàn)的熱愛而對技術(shù)進行試驗?！?/span>

Discord 服務(wù)器現(xiàn)在有大約 10,000 名成員，但只有大約 100 或 200 人經(jīng)?；钴S，由一個 10 到 20 人組成的團隊在開發(fā)新模型。

自成立以來，EleutherAI 的研究團隊首先開源了基于 GPT-3 的、包含 60 億參數(shù)的 NLP 模型 GPT-J，2021 年 3 月又發(fā)布類 GPT 的27 億參數(shù)模型 GPT-Neo，可以說成長迅速。

今年2月9日，他們又與 CoreWeave 合作發(fā)布了 GPT-Neo 的升級版——GPT-NeoX-20B，官方代碼地址如下，現(xiàn)可從 The Eye on the Eye 公開下載。

代碼地址：https://mystic.the-eye.eu/public/AI/models/GPT-NeoX-20B/

它也是目前最大的可公開訪問的預(yù)訓(xùn)練通用自回歸語言模型。

在發(fā)布聲明中，Leahy 特別標(biāo)注了「標(biāo)準(zhǔn)語言建模任務(wù)的準(zhǔn)確性」和「由 HendrycksTest 評估衡量的按主題組劃分的事實知識的零樣本準(zhǔn)確性」：

EleutherAI 推出 200億參數(shù)的類 GPT 模型：不像 GPT-3，它免費開放

2

GPT-NeoX-20B 的優(yōu)勢：免費開放

簡單來說，GPT-NeoX-20B 是一個包含 200 億參數(shù)、預(yù)訓(xùn)練、通用、自回歸大規(guī)模語言模型。

如果你不知道是什么，想想 OpenAI 的 GPT-3，它是近兩年前震驚世界的大型語言模型，語言能力神通廣大，包括編寫計算機代碼、創(chuàng)作詩歌、生成風(fēng)格難以區(qū)分的帶有權(quán)威語氣的假新聞，甚至給它一個標(biāo)題、一句話，它就可以生成一篇文章，因為它可以根據(jù)很少的輸入信息自行「創(chuàng)作」，而且創(chuàng)作出來的東西還可以文意皆通。（題外話：就像漫威低配版的賈維斯）

EleutherAI 推出 200億參數(shù)的類 GPT 模型：不像 GPT-3，它免費開放

必須承認的是，OpenAI 的模型比 EleutherAI 更大，有 1750 億個參數(shù)（模型內(nèi)部編碼信息的節(jié)點或數(shù)字）。參數(shù)越多，模型吸收的信息就越多、越細化，因此模型就越「聰明」。

但 EleutherAI 是世界上同類模型中最大、性能最好的模型，可免費公開獲得。

「我們希望更多的安全研究人員能夠使用這項技術(shù)。」Leahy 說。

此外，EleutherAI 與 OpenAI 在訓(xùn)練大規(guī)模模型所需的計算能力上有所不同。

OpenAI 在數(shù)量不詳?shù)?Nvidia V100 Tensor Core GPU 上訓(xùn)練了 GPT-3。此后，OpenAI 的合作伙伴微軟開發(fā)了一個用于大型模型訓(xùn)練的單一系統(tǒng)，該系統(tǒng)具有超過 285000 個 CPU 內(nèi)核、10000 個 GPU，以及每個 GPU 服務(wù)器每秒 400 Gb 的網(wǎng)絡(luò)連接。

這并沒有阻止 EleutherAI 在反 GPT-3 壟斷上的努力。他們最初使用谷歌提供的硬件作為其 TPU 研究云計劃的一部分，構(gòu)建了一個具有 60 億個參數(shù)的大型語言模型 GPT-J。對于 GPT-NeoX-20B，該小組得到了 CoreWeave 的幫助，CoreWeave 是一家專門針對基于 GPU 的工作負載的云服務(wù)提供商。

雖然 OpenAI 號稱是人工智能非盈利組織，但目前來看，其本質(zhì)還是由科技公司主導(dǎo)開發(fā)的私有模型。

EleutherAI 的數(shù)學(xué)家和人工智能研究員 Stella Biderman 對 IEEE Spectrum 表示：

「這些私有模型限制了我們這種獨立的科研人員權(quán)限，如果我們不了解它的工作原理，科學(xué)家、倫理學(xué)家、整個社會就無法就這項技術(shù)應(yīng)該如何融入我們的生活進行必要的對話?！?/span>

EleutherAI 的工作促進了對大型語言模型的可解釋性、安全性和倫理的研究，受到外界肯定。

機器學(xué)習(xí)安全領(lǐng)域的主要人物 Nicholas Carlini 在最近的一篇論文中表示：「如果沒有 EleutherAI 完全公開發(fā)布 The Pile 數(shù)據(jù)集及其 GPT-Neo 系列模型，我們的研究是不可能實現(xiàn)的?！筆ile 數(shù)據(jù)集是一個 825 GB 的英文文本語料庫，用于訓(xùn)練大規(guī)模語言模型。

開放模型訪問權(quán)限是 AI 發(fā)展的必要條件

馬斯克不只一次發(fā)表人工智能比人類強這一觀點。他認為人是碳基生物自帶上限。而人類進化的速度很明顯比不上人工智能，所以人工智能遲早超過人類，這是AI最大的潛在威脅。OpenAI 也是他基于這個考量和其他科技大亨共同創(chuàng)立的。

Leahy 認為 AI 的最大風(fēng)險不是有人利用它作惡，而是構(gòu)建一個非常強大的 AI 系統(tǒng)，無人知道如何控制。

他說：「我們必須將人工智能視為不像我們思考的奇怪外星人?！顾a充說，「人工智能擅長優(yōu)化目標(biāo)，但如果給定一個愚蠢的目標(biāo)，結(jié)果可能是不可預(yù)測的。他擔(dān)心研究人員會在創(chuàng)造越來越強大的人工智能的競賽中過度自信，在這個過程中偷工減料?！?/span>

其實任何志同道合的計算機科學(xué)家都可以構(gòu)建一個大型語言模型，但很難獲得合適的硬件來訓(xùn)練大型語言模型，因為這需要非常高的資本投資，而如今只有幾百家公司擁有這種硬件。

「我們需要研究這些系統(tǒng)，以了解我們?nèi)绾慰刂扑鼈?。」EleutherAI的創(chuàng)作初衷正是通過使這種規(guī)模的模型易于訪問，從而讓有興趣的人們進一步研究人工智能系統(tǒng)的安全使用。

反觀 OpenAI，「Open」怕不是只對金錢 Open 吧？

參考資料

1.https://spectrum.ieee.org/eleutherai-openai-not-open-enough

2.https://blog.eleuther.ai/announcing-20b/

3.https://github.com/EleutherAI/The-Pile

4.https://mystic.the-eye.eu/public/AI/models/GPT-NeoX-20B/

5.http://www.caotama.com/1180119.html