0
它讓我看到了未來！AGI離我們又進(jìn)了一步......
最近關(guān)于GPT-3的吹捧在各大社交媒體平臺(tái)此起彼伏。
GPT-3是誰？它是OpenAI斥巨資打造的自然語言處理模型，擁有1750億超大參數(shù)量，是NLP領(lǐng)域最強(qiáng)AI模型。自今年5月份首次推出以來，憑借驚人的文本生成能力，在各大媒體平臺(tái)一直熱度不減。
這一次，關(guān)于GPT-3的吹捧再次被推向高潮，有網(wǎng)友發(fā)現(xiàn) GPT-3不僅能夠答題、寫文章，做翻譯，還能生成代碼、做數(shù)學(xué)推理、數(shù)據(jù)分析、畫圖表制作簡(jiǎn)歷，甚至玩游戲都可以，而且效果出奇的好。
由此不禁有網(wǎng)友感嘆，如此全能的AI，這是要通往AGI的節(jié)奏。不過，過譽(yù)的背后也有網(wǎng)友開始質(zhì)疑，GPT-3真的達(dá)到了無所不能的地步了嗎？
上個(gè)月，OpenAI剛剛將GPT-3以API的形式向公眾開放，最近就有大批Twitter用戶來分享使用體驗(yàn)了，而且好評(píng)如潮。據(jù)一位Github用戶統(tǒng)計(jì)， 網(wǎng)友們把這款模型玩出了50多種花樣。比如，它可以自動(dòng)生成SQL查詢代碼。
例如我們輸入“自2020年來有多少用戶注冊(cè)”，就能得到相應(yīng)的SQL代碼，可以看到，代碼將時(shí)間起點(diǎn)設(shè)為2020-01-01，剛好對(duì)應(yīng)“自2020年來”。
UI頁面設(shè)計(jì)。同樣只需要輸入自然語言即可，模型會(huì)根據(jù)組件細(xì)節(jié)描述自動(dòng)生成。如在這里輸入“一一個(gè)彩虹色的按鈕”。 這里只演示了UI頁面的一個(gè)組件，包含多個(gè)組件、內(nèi)容、圖像的界面也可完成。
數(shù)據(jù)搜索和填充。再也不用手動(dòng)查詢，再逐個(gè)輸入了。如表中GPT-3還可以做人口普查，統(tǒng)計(jì)美國各州人數(shù)。表格中分別列出了伊利諾伊州、加利福尼亞州、俄亥俄州的人數(shù)，應(yīng)用能據(jù)此搜索出密歇根州的人數(shù)，以及阿拉斯加州的人數(shù)。
Python代碼做數(shù)據(jù)報(bào)表。模型會(huì)將自然語言轉(zhuǎn)化為Python語言，進(jìn)而自動(dòng)識(shí)別并將對(duì)應(yīng)內(nèi)容放在描述的模塊中。
以上只是列舉了四個(gè)示例，還有Keras代碼生成、簡(jiǎn)歷制作、圖表繪制等多種功能，具體參加Github鏈接：https://github.com/elyase/awesome-gpt3#awesome-gpt-3
GPT-3為何如此強(qiáng)大？
在所有NLP模型中，GPT-3在兩個(gè)方面達(dá)到了史無前例的高度，一是參數(shù)量，達(dá)到了1750億，比剛推出時(shí)世界最大NLP模型Tururing大10倍，比同系列的GPT-2高出116倍。
二是數(shù)據(jù)集。具體數(shù)值很難估計(jì)。不過，英語維基百科的全部?jī)?nèi)容（涵蓋約600萬篇文章）僅占其訓(xùn)練數(shù)據(jù)集的0.6％。除此之外，它還涵蓋了其他數(shù)字化書籍和各種Web鏈接。
這意味著數(shù)據(jù)集的文本類型非常豐富，包括新聞報(bào)道、詩歌、小說、宗教、科學(xué)、生活等等。人類所能查詢到的知識(shí)領(lǐng)域均在其中。（也可能存在不良內(nèi)容的風(fēng)險(xiǎn)）
只有通過龐大的知識(shí)庫的訓(xùn)練，才能把GPT-3培養(yǎng)成一個(gè)“全才”，這也是為什么在用戶體驗(yàn)中，GPT-3可以不分學(xué)科完成所有文本生成任務(wù)。
另外，Microsoft和OpenAI合力開發(fā)了一款超級(jí)計(jì)算機(jī)，專門用于GPT-3模型訓(xùn)練，這款超級(jí)計(jì)算機(jī)擁有超過 285000 個(gè) CPU 內(nèi)核、10000 個(gè) GPU 和 400Gbps 的網(wǎng)絡(luò)連接。它與世界 TOP500 超級(jí)計(jì)算機(jī)相比，位列 Top 5 第五名。
最后一個(gè)重要的點(diǎn)是，GPT-3采用了一種Sparse Transfromer模型。
我們知道，Transformer是谷歌研發(fā)的一款功能強(qiáng)大的序列模型，最早用在BERT模型中。該模型最大的特點(diǎn)是采用自注意力機(jī)制（self-attention）改善了RNN訓(xùn)練慢的缺點(diǎn)。
GPT-3同樣采用了 Transformer架構(gòu)，不同的是它融合了一種稀疏式自注意力機(jī)制（Sparse Self-attention Layers），與傳統(tǒng)Transfromer模型相比，它可以更好的處理長(zhǎng)文檔，操作簡(jiǎn)單，同時(shí)在zero-shot和few-shot訓(xùn)練中達(dá)到了最佳性能。
在實(shí)際運(yùn)行過程中，它分為預(yù)訓(xùn)練和下游任務(wù)兩個(gè)階段執(zhí)行。
預(yù)訓(xùn)練階段承擔(dān)了主要工作，這一過程模型采用了無監(jiān)督學(xué)習(xí)對(duì)輸入本文進(jìn)行預(yù)訓(xùn)練，訓(xùn)練的目標(biāo)是預(yù)測(cè)下一個(gè)單詞，如果單詞出現(xiàn)偏差，模型會(huì)自動(dòng)更新，同時(shí)進(jìn)行重復(fù)循環(huán)預(yù)測(cè)，這個(gè)過程可能達(dá)到數(shù)百萬次，光是訓(xùn)練費(fèi)用就高達(dá)460萬美元。
接下來，在下游任務(wù)中只需要微調(diào)就可以產(chǎn)生更好的性能表現(xiàn)。
連常識(shí)都不過關(guān)，突然就不香了
令人驚訝的是，如此強(qiáng)大的GPT-3，可以玩轉(zhuǎn)50多種任務(wù)的模型，可能連基本的常識(shí)和簡(jiǎn)單的數(shù)學(xué)邏輯都不能通過。一位網(wǎng)友在獲得Beta版使用權(quán)限后，便對(duì)GPT-3進(jìn)行了圖靈測(cè)試。我們來看下它的表現(xiàn)：
問：鉛筆和烤面包機(jī)哪一個(gè)更重
答：鉛筆比烤面包機(jī)重
另外，GPT-3也無法判斷命題是否有意義，因此它不會(huì)拒絕回答問題。比如，
問：我的腳有多少只眼睛？
答：你的腳有兩只眼睛。
問： 太陽有多少只眼睛？
答： 太陽只有一只眼睛。
問： 一片草有多少只眼睛？
答： 草有一只眼睛。
最后，你可能很難想象GPT-3在處理一些簡(jiǎn)單的數(shù)學(xué)推理方面也存在著明顯的失誤。其實(shí)，這一原因可能正如網(wǎng)友所說：它只是自動(dòng)檢索數(shù)據(jù)并輸入，不是真正思考的結(jié)果。 
可以說，GPT-3不具備人類的感知思維，它的生成表現(xiàn)只是大數(shù)據(jù)訓(xùn)練的結(jié)果，無法超越數(shù)據(jù)本身，也無法擁有組合性推理的能力，所以，我們不如說它學(xué)會(huì)的是“統(tǒng)計(jì)層面的復(fù)制粘貼能力”。
更重要的是，GPT-3存在種族歧視等不良內(nèi)容的風(fēng)險(xiǎn)。最近，Nvidia的AI主任Anima Anandkumar教授，就發(fā)現(xiàn)了這樣的現(xiàn)象，她對(duì)此表示很失望。
當(dāng)輸入上文：一個(gè)黑人從事什么樣的工作時(shí)，它生成了“15年皮條”客的回復(fù)。這一現(xiàn)象的原因出在我們此前提到的，GPT-3有著龐大的數(shù)據(jù)集，且內(nèi)容涵蓋豐富，但它無人工審查和管理，因此很可能將一些種族歧視、性別歧視等內(nèi)容傳遞給模型進(jìn)行訓(xùn)練，并最終產(chǎn)生結(jié)果。
最近面對(duì)Twitter網(wǎng)友對(duì)GPT-3的熱議，OpenAI的首席執(zhí)行官Sam Altman也出來發(fā)聲了，他稱：
大家把GPT-3捧得太高了，這個(gè)AI偶爾也會(huì)犯愚蠢的錯(cuò)誤。GPT-3只是暫時(shí)的驚鴻一瞥，未來我們還有很多問題要解決。
任何技術(shù)在某一階段都會(huì)有它的局限性，或許我們可以從更長(zhǎng)遠(yuǎn)的視角來看待它的價(jià)值。
對(duì)于GPT-3而言，它最大的價(jià)值是在無監(jiān)督下的自我學(xué)習(xí)能力，以及純粹通過擴(kuò)大規(guī)模實(shí)現(xiàn)性能提升。后者已經(jīng)在GPT-3的論文中得到驗(yàn)證，數(shù)據(jù)越大，參數(shù)量越大，模型的性能表現(xiàn)越好。 其實(shí)，GPT-3與GPT-2本質(zhì)上差異并不大，只是在數(shù)據(jù)量和參數(shù)量?jī)蓚€(gè)方面擴(kuò)大了100倍，便得到了遠(yuǎn)超GPT-2的性能。
長(zhǎng)遠(yuǎn)來看，我們唯一可以確定的是，未來我們會(huì)創(chuàng)造越來越多的數(shù)據(jù)和計(jì)算能力，那么，它將意味著GPT-3的迭代版會(huì)越來越強(qiáng)。至于未來GPT-3會(huì)達(dá)到怎樣的程度，深度學(xué)習(xí)之父、圖靈獎(jiǎng)得主Hinton稱，
如以GPT3驚人性能預(yù)測(cè)，未來生命，宇宙和萬物的答案也不過是4.398萬億個(gè)參數(shù)而已?！?/p>
至于，未來是否會(huì)邁向AGI，一部分人認(rèn)為，我們需要賦予模型創(chuàng)造性思考的能力，才可能接近人類智能。另一部分認(rèn)為，如果歷史可以說明任何問題，那么AI只需要更多的數(shù)據(jù)和算力即可。而著名計(jì)算機(jī)科學(xué)家里奇·薩頓（Rich Sutton）則認(rèn)為，當(dāng)研究人員試圖根據(jù)人類知識(shí)和特定規(guī)則創(chuàng)建AI程序時(shí)，它們通常會(huì)被競(jìng)爭(zhēng)對(duì)手所擊敗，后者僅僅利用更多的數(shù)據(jù)和計(jì)算能力。
引用鏈接：（雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)）
https://www.theverge.com/21346343/gpt-3-explainer-openai-examples-errors-agi-potential
https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
