超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

本文作者：貝爽

2020-08-18 18:55

導(dǎo)語(yǔ)：GPT-3成精了

GPT-3再一次證明了自己的實(shí)力。

近日，來(lái)自加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)系的Liam Porr，使用筆名“adolos”在博客上發(fā)布了一篇文章迅速登上了當(dāng)日YC新聞平臺(tái)Hacker News榜首。

這篇文章名為《感覺(jué)效率不高？或許應(yīng)該停止思考（Feeling unproductive? Maybe you should stop overthinking）》，發(fā)布短短幾個(gè)小時(shí)，訪問(wèn)量就超過(guò)了26000。

超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

聽(tīng)起來(lái)好像無(wú)非就是一篇熱文，不過(guò)有趣的是，這篇文章是出自GPT-3之手，而參與評(píng)論互動(dòng)的網(wǎng)友幾乎都以為是人類(lèi)撰寫(xiě)的。

之后，Liam Porr還利用GPT-3撰寫(xiě)了多篇文章，收割了一大波粉絲。

GPT-3撰文，登上新聞平臺(tái)榜首

Liam Porr最近對(duì)GPT-3的強(qiáng)大性能表現(xiàn)也略有耳聞，出于好奇心，他和幾位博士生對(duì)其進(jìn)行了測(cè)試?？紤]到GPT-3在常識(shí)和基礎(chǔ)邏輯方面并不太擅長(zhǎng)，但在文字表現(xiàn)力很好，Liam Porr決定讓它撰寫(xiě)一些不需要嚴(yán)密邏輯的雞湯文，看看效果怎么樣。

Liam Porr說(shuō)，他只負(fù)責(zé)文章的標(biāo)題和簡(jiǎn)介，其他的內(nèi)容幾乎沒(méi)有任何編輯，都是從GPT-3生成的結(jié)果復(fù)制粘貼的。

結(jié)果出人意料的是，GPT-3撰寫(xiě)的第一篇文章——《感到工作效率不高？或許應(yīng)該停止思考》就登上了新聞平臺(tái)榜首！

接下來(lái)，我們一起來(lái)感受下它的內(nèi)容創(chuàng)作：

首先GPT-3提出，過(guò)度思考（OT）是嘗試提出別人已經(jīng)考慮過(guò)的想法的行為，會(huì)導(dǎo)致不切實(shí)際，不可能甚至愚蠢的想法。

超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

隨后它也給出了應(yīng)對(duì)方案：或許我們可以依靠“創(chuàng)新性思維”。

超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

創(chuàng)造性思維與過(guò)度思考完全相反。不用大腦來(lái)分析一切，而是用它來(lái)創(chuàng)造事物。從編寫(xiě)故事，繪制圖片到建立模型，任何事情都可以。
當(dāng)進(jìn)行創(chuàng)造性思維時(shí)，大腦會(huì)更有效地工作。它變得更加活躍，并且對(duì)新思想更加開(kāi)放。它還可以幫助跳出思路，從不同的角度看待事物。

那么，如何養(yǎng)成創(chuàng)造性思維的習(xí)慣呢，它認(rèn)為：

超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

我發(fā)現(xiàn)，養(yǎng)成創(chuàng)造性思維習(xí)慣的最佳方法是每天參與其中?？梢酝ㄟ^(guò)每天留出一定的時(shí)間來(lái)完成一些創(chuàng)意工作。具體可以從每天開(kāi)始做一項(xiàng)活動(dòng)開(kāi)始。例如，每天花15分鐘繪畫(huà)，或者花一個(gè)小時(shí)寫(xiě)作。一旦養(yǎng)成了每天進(jìn)行一項(xiàng)創(chuàng)意活動(dòng)的習(xí)慣，就可以增加花費(fèi)的時(shí)間。

我建議每天不要超過(guò)兩個(gè)小時(shí)。如果超過(guò)，可能只是在浪費(fèi)時(shí)間，沒(méi)有真正從事創(chuàng)造性思維。

最后，GPT-3還對(duì)此給出了詳細(xì)的說(shuō)明和舉例（全文見(jiàn)文末鏈接）。這篇文章一經(jīng)發(fā)布，短短幾個(gè)小時(shí)內(nèi)，瀏覽量就超過(guò)了26000，有70多名用戶(hù)參與評(píng)論，其中有網(wǎng)友評(píng)價(jià)稱(chēng)，它與最近看的TED演講一樣深刻。

超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

看到這里，是不是你很難想象這些文字出自機(jī)器學(xué)習(xí)算法，大部分網(wǎng)友也是如此。在評(píng)論區(qū)，只有一個(gè)人懷疑它可能是由AI算法生成的，而這一言論又遭到了很多人的反對(duì)。

超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

Liam Porr稱(chēng)，他從確定主題，到文章迅速傳播，成為當(dāng)日最佳熱文，整個(gè)過(guò)程僅用了幾個(gè)小時(shí)，而且?guī)椭A得了一大批訂閱粉絲。

GPT-3:1750億參數(shù)超大模型

GPT-3是一款自然語(yǔ)言處理模型，由總部位于舊金山的OpenAI耗巨資打造而成，被視為NLP領(lǐng)域的最強(qiáng)模型，它能夠基于人類(lèi)作家的提示自動(dòng)完成文本編寫(xiě)、語(yǔ)義搜索、情感分析、翻譯等任務(wù)。

與所有深度學(xué)習(xí)系統(tǒng)一樣，GPT-3也在尋找數(shù)據(jù)模式。為簡(jiǎn)化起見(jiàn)，該程序已針對(duì)龐大的文本集進(jìn)行了訓(xùn)練，并根據(jù)統(tǒng)計(jì)規(guī)律進(jìn)行了挖掘。這些規(guī)則對(duì)于人類(lèi)來(lái)說(shuō)是未知的，但是它們被存儲(chǔ)為GPT-3神經(jīng)網(wǎng)絡(luò)中不同節(jié)點(diǎn)之間數(shù)十億個(gè)加權(quán)連接。

超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

重要的是，此過(guò)程中無(wú)需人工干預(yù)：該程序無(wú)需任何指導(dǎo)即可查找和查找模式，然后將其用于文本提示。如果您在GPT-3中輸入“ fire”一詞，程序會(huì)根據(jù)其網(wǎng)絡(luò)中的權(quán)重得出“ truck”和“ alarm”等詞。

GPT-3是第三版，與之前的GPT、GPT-2或其他NLP模型相比，其與眾不同在于，它在兩個(gè)方面達(dá)到了史無(wú)前例的高度，一是參數(shù)量，達(dá)到了1750億，比剛推出時(shí)世界最大NLP模型Tururing大10倍，比同系列的GPT-2高出116倍。

二是數(shù)據(jù)集。具體數(shù)值很難估計(jì)。不過(guò)，英語(yǔ)維基百科的全部?jī)?nèi)容（涵蓋約600萬(wàn)篇文章）僅占其訓(xùn)練數(shù)據(jù)集的0.6％。這意味著數(shù)據(jù)集的文本類(lèi)型非常豐富，包括新聞報(bào)道、詩(shī)歌、小說(shuō)、宗教、科學(xué)、生活等等。除此之外，它還涵蓋了其他數(shù)字化書(shū)籍和各種Web鏈接?？梢岳斫鉃?，人類(lèi)所能查詢(xún)到的知識(shí)領(lǐng)域均在其中。

另外，GPT-3出色的性能表現(xiàn)，還依賴(lài)于強(qiáng)大的算力支撐。今年5月份，Microsoft和OpenAI推出了一款超級(jí)計(jì)算機(jī)，聲稱(chēng)它將專(zhuān)門(mén)用于GPT-3模型訓(xùn)練。這款超級(jí)計(jì)算機(jī)擁有超過(guò) 285000 個(gè) CPU 內(nèi)核、10000 個(gè) GPU 和 400Gbps 的網(wǎng)絡(luò)連接。它與世界 TOP500 超級(jí)計(jì)算機(jī)相比，位列 Top 5 第五名。

超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

不過(guò)，GPT-3強(qiáng)大的文本生成能力，也引發(fā)了過(guò)一些輿論爭(zhēng)議，比如傳播垃圾郵件或制造虛假新聞。此前的GPT-2就由于擔(dān)心 “技術(shù)的惡意應(yīng)用”，OpenAI并沒(méi)有直接向公眾公開(kāi)，而是采用了分階段的方法，先發(fā)布較小版本的AI模型并評(píng)估結(jié)果，然后再發(fā)布較大的模型。

總體來(lái)講，GPT-3比GPT-2（15億參數(shù)）大三個(gè)數(shù)量級(jí)。深度學(xué)習(xí)語(yǔ)言模型中的關(guān)鍵問(wèn)題之一是內(nèi)存范圍。隨著AI生成的文本變長(zhǎng)，AI開(kāi)始失去連貫性。實(shí)驗(yàn)表明，較大的神經(jīng)網(wǎng)絡(luò)通常具有較長(zhǎng)的內(nèi)存跨度，這意味著GPT-3中被濫用的可能性比GPT-2大得多。

不過(guò)這一次，OpenAI好像沒(méi)有為GPT-3制造垃圾郵件或虛假新聞而擔(dān)憂(yōu)。近日，OpenAI首席執(zhí)行官薩姆·奧特曼（Sam Altman）在一條推文中聲稱(chēng)：

大家把GPT-3捧得太高了，這個(gè)AI偶爾也會(huì)犯愚蠢的錯(cuò)誤。GPT-3只是暫時(shí)的驚鴻一瞥，未來(lái)我們還有很多問(wèn)題要解決。

事實(shí)確實(shí)如此，許多實(shí)驗(yàn)表明，GPT-3盡管取得了非常大的進(jìn)步，但仍然難以解決一些基本任務(wù)，比如其在圖靈測(cè)試中并未通過(guò)常識(shí)和一些邏輯推理的問(wèn)題。

除了文本創(chuàng)作，GPT-3還有50多種玩法

今年5月份，OpenAI宣稱(chēng)將GPT-3以API的方式向公眾開(kāi)放以后（非完全開(kāi)源），這款史上最強(qiáng)NLP模型也被網(wǎng)友們“玩壞了”。

大批Twitter用戶(hù)曬出了自己的GPT-3新玩法。例如，自動(dòng)生成代碼。用簡(jiǎn)單的文字描述選擇的設(shè)計(jì)元素或頁(yè)面布局，GPT-3會(huì)彈出相關(guān)代碼。

超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

或者撰寫(xiě)吉他標(biāo)簽。吉他選項(xiàng)卡是使用ASCII文本文件在網(wǎng)絡(luò)上共享的，因此可以確信它們是GPT-3訓(xùn)練數(shù)據(jù)集的一部分，這意味著GPT-3可以在發(fā)出一些和弦開(kāi)始后自行生成音樂(lè)。

超越人類(lèi)，GPT-3撰寫(xiě)“雞湯文”登頂Hacker News榜首，伯克利小哥漲粉全靠它！

除此之外，還有用GPT-3制作PPT、圖表、代碼、文本以及推理。同時(shí)它還能應(yīng)對(duì)程序員面試、回復(fù)郵件、寫(xiě)積分表達(dá)式、回答物理問(wèn)題等，多達(dá)50多種。一位GitHub用戶(hù)還熱心地把50多種玩法匯總到了Github上（含演示Demo）。感興趣的朋友，可以點(diǎn)擊鏈接查看：https://github.com/elyase/awesome-gpt3#awesome-gpt-3