以造出世界上最大加速器芯片CS-2 Wafer Scale Engine聞名的公司Cerebras昨日宣布他們已經(jīng)在利用“巨芯”進(jìn)行人工智能訓(xùn)練上走出了重要的一步。該公司訓(xùn)練出了單芯片上全世界最大的NLP（自然語言處理）AI模型。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

該模型具有20億個(gè)參數(shù)，基于CS-2芯片進(jìn)行訓(xùn)練。這塊全世界最大的加速器芯片采用7nm制程工藝，由一整塊方形的晶圓刻蝕而成。它的大小數(shù)百倍于主流芯片，具有15KW的功率。它集成了2.6萬億個(gè)7nm晶體管，封裝了850000個(gè)內(nèi)核和40GB內(nèi)存。

圖1 CS-2 Wafer Scale Engine芯片

單芯片訓(xùn)練AI大模型新紀(jì)錄

NLP模型的開發(fā)是人工智能中的一個(gè)重要領(lǐng)域。利用NLP模型，人工智能可以“理解”文字含義，并進(jìn)行相應(yīng)的動(dòng)作。OpenAI的DALL.E模型就是一個(gè)典型的NLP模型。這個(gè)模型可以將使用者的輸入的文字信息轉(zhuǎn)化為圖片輸出。

比如當(dāng)使用者輸入“牛油果形狀的扶手椅”后，AI就會(huì)自動(dòng)生成若干與這句話對(duì)應(yīng)的圖像。

圖：AI接收信息后生成的“牛油果形狀扶手椅”圖片

不止于此，該模型還能夠使AI理解物種、幾何、歷史時(shí)代等復(fù)雜的知識(shí)。

但要實(shí)現(xiàn)這一切并不容易，NLP模型的傳統(tǒng)開發(fā)具有極高的算力成本和技術(shù)門檻。

實(shí)際上，如果只討論數(shù)字，Cerebras開發(fā)的這一模型20億的參數(shù)量在同行的襯托下，顯得有些平平無奇。

前面提到的DALL.E模型具有120億個(gè)參數(shù)，而目前最大的模型是DeepMind于去年年底推出的Gopher，具有2800億個(gè)參數(shù)。

但除去驚人的數(shù)字外，Cerebras開發(fā)的NLP還有一個(gè)巨大的突破：它降低了NLP模型的開發(fā)難度。

「巨芯」如何打敗GPU？

按照傳統(tǒng)流程，開發(fā)NLP模型需要開發(fā)者將巨大的NLP模型切分若干個(gè)功能部分，并將他們的工作負(fù)載分散到成百上千個(gè)圖形處理單元上。

數(shù)以千百計(jì)的圖形處理單元對(duì)廠商來說意味著巨大的成本。

技術(shù)上的困難也同樣使廠商們痛苦不堪。

切分模型是一個(gè)定制的問題，每個(gè)神經(jīng)網(wǎng)絡(luò)、每個(gè)GPU的規(guī)格、以及將他們連接（或互聯(lián)）在一起的網(wǎng)絡(luò)都是獨(dú)一無二的，并且不能跨系統(tǒng)移植。

廠商必須在第一次訓(xùn)練前將這些因素統(tǒng)統(tǒng)考慮清楚。

這項(xiàng)工作極其復(fù)雜，有時(shí)候甚至需要幾個(gè)月的時(shí)間才能完成。

Cerebras表示這是NLP模型訓(xùn)練中“最痛苦的方面之一”。只有極少數(shù)公司擁有開發(fā)NLP所必要的資源和專業(yè)知識(shí)。對(duì)于人工智能行業(yè)中的其他公司而言，NLP的訓(xùn)練則太昂貴、太耗時(shí)且無法使用。

但如果單個(gè)芯片就能夠支持20億個(gè)參數(shù)的模型，就意味著不需要使用海量的GPU分散訓(xùn)練模型的工作量。這可以為廠商節(jié)省數(shù)千個(gè)GPU的訓(xùn)練成本和相關(guān)的硬件、擴(kuò)展要求。同時(shí)這也使廠商不必經(jīng)歷切分模型并將其工作負(fù)載分配給數(shù)千個(gè)GPU的痛苦。

Cerebras也并未僅僅執(zhí)拗于數(shù)字，評(píng)價(jià)一個(gè)模型的好壞，參數(shù)的數(shù)量并不是唯一標(biāo)準(zhǔn)。

比起希望誕生于“巨芯”上的模型“努力”，Cerebras更希望的是模型“聰明”。

之所以Cerebras能夠在參數(shù)量上取得爆炸式增長，是因?yàn)槔昧藱?quán)重流技術(shù)。這項(xiàng)技術(shù)可以將計(jì)算和內(nèi)存的占用量解耦，并允許將內(nèi)存擴(kuò)展到足以存儲(chǔ)AI工作負(fù)載中增加的任何數(shù)量的參數(shù)。

由于這項(xiàng)突破，設(shè)置模型的時(shí)間從幾個(gè)月減少到了幾分鐘。并且開發(fā)者在GPT-J和GPT-Neo等型號(hào)之間“只需幾次按鍵”就可以完成切換。這讓NLP的開發(fā)變得更加簡單。

這使得NLP領(lǐng)域出現(xiàn)了新的變化。

正如Intersect360 Research 首席研究官 Dan Olds 對(duì)Cerebras取得成就的評(píng)價(jià)：“Cerebras 能夠以具有成本效益、易于訪問的方式將大型語言模型帶給大眾，這為人工智能開辟了一個(gè)激動(dòng)人心的新時(shí)代?！?/p>

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。