0
GPT-3再一次證明了自己的實力。
近日，來自加州大學(xué)伯克利分校計算機(jī)科學(xué)系的Liam Porr，使用筆名“adolos”在博客上發(fā)布了一篇文章迅速登上了當(dāng)日YC新聞平臺Hacker News榜首。
這篇文章名為《感覺效率不高？或許應(yīng)該停止思考（Feeling unproductive? Maybe you should stop overthinking）》，發(fā)布短短幾個小時，訪問量就超過了26000。
聽起來好像無非就是一篇熱文，不過有趣的是，這篇文章是出自GPT-3之手，而參與評論互動的網(wǎng)友幾乎都以為是人類撰寫的。
之后，Liam Porr還利用GPT-3撰寫了多篇文章，收割了一大波粉絲。
Liam Porr最近對GPT-3的強(qiáng)大性能表現(xiàn)也略有耳聞，出于好奇心，他和幾位博士生對其進(jìn)行了測試。考慮到GPT-3在常識和基礎(chǔ)邏輯方面并不太擅長，但在文字表現(xiàn)力很好，Liam Porr決定讓它撰寫一些不需要嚴(yán)密邏輯的雞湯文，看看效果怎么樣。
Liam Porr說，他只負(fù)責(zé)文章的標(biāo)題和簡介，其他的內(nèi)容幾乎沒有任何編輯，都是從GPT-3生成的結(jié)果復(fù)制粘貼的。
結(jié)果出人意料的是，GPT-3撰寫的第一篇文章——《感到工作效率不高？或許應(yīng)該停止思考》就登上了新聞平臺榜首！
接下來，我們一起來感受下它的內(nèi)容創(chuàng)作：
首先GPT-3提出，過度思考（OT）是嘗試提出別人已經(jīng)考慮過的想法的行為，會導(dǎo)致不切實際，不可能甚至愚蠢的想法。
隨后它也給出了應(yīng)對方案：或許我們可以依靠“創(chuàng)新性思維”。
創(chuàng)造性思維與過度思考完全相反。不用大腦來分析一切，而是用它來創(chuàng)造事物。從編寫故事，繪制圖片到建立模型，任何事情都可以。
當(dāng)進(jìn)行創(chuàng)造性思維時，大腦會更有效地工作。它變得更加活躍，并且對新思想更加開放。它還可以幫助跳出思路，從不同的角度看待事物。
那么，如何養(yǎng)成創(chuàng)造性思維的習(xí)慣呢，它認(rèn)為：
我發(fā)現(xiàn)，養(yǎng)成創(chuàng)造性思維習(xí)慣的最佳方法是每天參與其中。可以通過每天留出一定的時間來完成一些創(chuàng)意工作。具體可以從每天開始做一項活動開始。例如，每天花15分鐘繪畫，或者花一個小時寫作。一旦養(yǎng)成了每天進(jìn)行一項創(chuàng)意活動的習(xí)慣，就可以增加花費的時間。
我建議每天不要超過兩個小時。如果超過，可能只是在浪費時間，沒有真正從事創(chuàng)造性思維。
最后，GPT-3還對此給出了詳細(xì)的說明和舉例（全文見文末鏈接）。這篇文章一經(jīng)發(fā)布，短短幾個小時內(nèi)，瀏覽量就超過了26000，有70多名用戶參與評論，其中有網(wǎng)友評價稱，它與最近看的TED演講一樣深刻。
看到這里，是不是你很難想象這些文字出自機(jī)器學(xué)習(xí)算法，大部分網(wǎng)友也是如此。在評論區(qū)，只有一個人懷疑它可能是由AI算法生成的，而這一言論又遭到了很多人的反對。
Liam Porr稱，他從確定主題，到文章迅速傳播，成為當(dāng)日最佳熱文，整個過程僅用了幾個小時，而且?guī)椭A得了一大批訂閱粉絲。
GPT-3是一款自然語言處理模型，由總部位于舊金山的OpenAI耗巨資打造而成，被視為NLP領(lǐng)域的最強(qiáng)模型，它能夠基于人類作家的提示自動完成文本編寫、語義搜索、情感分析、翻譯等任務(wù)。
與所有深度學(xué)習(xí)系統(tǒng)一樣，GPT-3也在尋找數(shù)據(jù)模式。為簡化起見，該程序已針對龐大的文本集進(jìn)行了訓(xùn)練，并根據(jù)統(tǒng)計規(guī)律進(jìn)行了挖掘。這些規(guī)則對于人類來說是未知的，但是它們被存儲為GPT-3神經(jīng)網(wǎng)絡(luò)中不同節(jié)點之間數(shù)十億個加權(quán)連接。
重要的是，此過程中無需人工干預(yù)：該程序無需任何指導(dǎo)即可查找和查找模式，然后將其用于文本提示。如果您在GPT-3中輸入“ fire”一詞，程序會根據(jù)其網(wǎng)絡(luò)中的權(quán)重得出“ truck”和“ alarm”等詞。
GPT-3是第三版，與之前的GPT、GPT-2或其他NLP模型相比，其與眾不同在于，它在兩個方面達(dá)到了史無前例的高度，一是參數(shù)量，達(dá)到了1750億，比剛推出時世界最大NLP模型Tururing大10倍，比同系列的GPT-2高出116倍。
二是數(shù)據(jù)集。具體數(shù)值很難估計。不過，英語維基百科的全部內(nèi)容（涵蓋約600萬篇文章）僅占其訓(xùn)練數(shù)據(jù)集的0.6％。這意味著數(shù)據(jù)集的文本類型非常豐富，包括新聞報道、詩歌、小說、宗教、科學(xué)、生活等等。除此之外，它還涵蓋了其他數(shù)字化書籍和各種Web鏈接。可以理解為，人類所能查詢到的知識領(lǐng)域均在其中。
另外，GPT-3出色的性能表現(xiàn)，還依賴于強(qiáng)大的算力支撐。今年5月份，Microsoft和OpenAI推出了一款超級計算機(jī)，聲稱它將專門用于GPT-3模型訓(xùn)練。這款超級計算機(jī)擁有超過 285000 個 CPU 內(nèi)核、10000 個 GPU 和 400Gbps 的網(wǎng)絡(luò)連接。它與世界 TOP500 超級計算機(jī)相比，位列 Top 5 第五名。
不過，GPT-3強(qiáng)大的文本生成能力，也引發(fā)了過一些輿論爭議，比如傳播垃圾郵件或制造虛假新聞。此前的GPT-2就由于擔(dān)心 “技術(shù)的惡意應(yīng)用”，OpenAI并沒有直接向公眾公開，而是采用了分階段的方法，先發(fā)布較小版本的AI模型并評估結(jié)果，然后再發(fā)布較大的模型。
總體來講，GPT-3比GPT-2（15億參數(shù)）大三個數(shù)量級。深度學(xué)習(xí)語言模型中的關(guān)鍵問題之一是內(nèi)存范圍。隨著AI生成的文本變長，AI開始失去連貫性。實驗表明，較大的神經(jīng)網(wǎng)絡(luò)通常具有較長的內(nèi)存跨度，這意味著GPT-3中被濫用的可能性比GPT-2大得多。
不過這一次，OpenAI好像沒有為GPT-3制造垃圾郵件或虛假新聞而擔(dān)憂。近日，OpenAI首席執(zhí)行官薩姆·奧特曼（Sam Altman）在一條推文中聲稱：
大家把GPT-3捧得太高了，這個AI偶爾也會犯愚蠢的錯誤。GPT-3只是暫時的驚鴻一瞥，未來我們還有很多問題要解決。
事實確實如此，許多實驗表明，GPT-3盡管取得了非常大的進(jìn)步，但仍然難以解決一些基本任務(wù)，比如其在圖靈測試中并未通過常識和一些邏輯推理的問題。
除了文本創(chuàng)作，GPT-3還有50多種玩法
今年5月份，OpenAI宣稱將GPT-3以API的方式向公眾開放以后（非完全開源），這款史上最強(qiáng)NLP模型也被網(wǎng)友們“玩壞了”。
大批Twitter用戶曬出了自己的GPT-3新玩法。例如，自動生成代碼。用簡單的文字描述選擇的設(shè)計元素或頁面布局，GPT-3會彈出相關(guān)代碼。
或者撰寫吉他標(biāo)簽。吉他選項卡是使用ASCII文本文件在網(wǎng)絡(luò)上共享的，因此可以確信它們是GPT-3訓(xùn)練數(shù)據(jù)集的一部分，這意味著GPT-3可以在發(fā)出一些和弦開始后自行生成音樂。
除此之外，還有用GPT-3制作PPT、圖表、代碼、文本以及推理。同時它還能應(yīng)對程序員面試、回復(fù)郵件、寫積分表達(dá)式、回答物理問題等，多達(dá)50多種。一位GitHub用戶還熱心地把50多種玩法匯總到了Github上（含演示Demo）。感興趣的朋友，可以點擊鏈接查看：https://github.com/elyase/awesome-gpt3#awesome-gpt-3
在OpenAI官網(wǎng)上點擊加入等候者名單，填寫問卷，等候郵件通知，就有機(jī)會體驗這款神器的AI工具了~
引用鏈接：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
《Feeling unproductive? Maybe you should stop overthinking》全文鏈接：
https://adolos.substack.com/p/feeling-unproductive-maybe-you-should
https://www.theverge.com/2020/8/16/21371049/gpt3-hacker-news-ai-blog
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
