0
| 本文作者： 貝爽 | 2020-07-20 20:59 |
寫作應(yīng)該是各行各業(yè)，各種職業(yè)都會(huì)用到的基礎(chǔ)技能。
雖為基礎(chǔ)技能，但要做好卻不難簡單，想必你一定經(jīng)歷過深夜論文沒靈感、合作方案寫不出來這些類似的痛苦。如果這個(gè)時(shí)候能有一個(gè)什么都懂的全能大神指點(diǎn)迷津，或者直接完成，那簡直再好不過了！
最近一位Twitter網(wǎng)友在體驗(yàn)了一款A(yù)I神器后，發(fā)現(xiàn)愿望竟然真的實(shí)現(xiàn)了！
這款A(yù)I神器正是Open AI開發(fā)的GPT-3自然語言處理模型。簡單來說，GPT-3是一款A(yù)I文本生成器，它可以根據(jù)上文提示，自動(dòng)補(bǔ)齊下文。官方說法是，這款GPT-3涵蓋了1750億個(gè)參數(shù)，遠(yuǎn)超GPT-2和其他AI文本生成模型，達(dá)到了目前的最佳SOTA，而且其寫作水平能夠與人類媲美。
但是實(shí)際效果如何，咱誰也沒用過?？赡苁浅鲇趯?duì)產(chǎn)品的自信，兩個(gè)月前，OpenAI將這款耗費(fèi)了1200萬美元的商用GPT-3模型，對(duì)外開源了，現(xiàn)在人人皆可拿來作為自己的寫作助手。
最近一位名為Delian的網(wǎng)友在體驗(yàn)完之后，忍不住在Twitter分享了令他難以置信的使用效果。Delian是家風(fēng)投公司創(chuàng)始人，他希望GPT-3能在“如何召開有效的董事會(huì)會(huì)議？”的問題上給出一些建議，因此，他針對(duì)這個(gè)問題，在GPT-3中輸入了上文：
內(nèi)容大意是：公司創(chuàng)始人前期打造一支高質(zhì)量的董事會(huì)成員對(duì)于公司初期發(fā)展至關(guān)重要。而大多說創(chuàng)始人沒有意識(shí)到這一點(diǎn)。他建議公司在完成A輪融資后就可以開始招募董事會(huì)成員，而且招募對(duì)象一定好涵蓋公司所在領(lǐng)域的各個(gè)方向的專家。另外，他還舉了一個(gè)實(shí)例進(jìn)行了論證了這個(gè)觀點(diǎn)。
可以看出，上文內(nèi)容屬于商業(yè)運(yùn)營和投資范疇，若非專業(yè)人員很難給出相應(yīng)的回應(yīng)。
但是，接下來GTP-3生成的下文讓他非常滿意。（話題涉及主觀看法，暫不論對(duì)錯(cuò)）
以下是翻譯內(nèi)容：
內(nèi)容概要：GPT-3首先肯定了穩(wěn)定高質(zhì)量的董事會(huì)成員對(duì)公司發(fā)展的價(jià)值，然后對(duì)如何執(zhí)行招聘董事會(huì)成員的工作給出了具體建議，首先是確定需要招聘的人員清單。
目標(biāo)清單：從自己身邊的同事或朋友入手，招展人脈資源，確定符合需要的目標(biāo)人選（大約20-25人）
資格清單：建立人員篩選標(biāo)準(zhǔn)，提出一些專業(yè)問題、個(gè)人生活問題，根據(jù)回答判斷與公司需求的匹配度。
確定好之后，接下來便是召集現(xiàn)有的董事會(huì)成員開始招聘工作。在這里需要保持熱情溝通，呈現(xiàn)公司價(jià)值。
對(duì)于GPT-3呈現(xiàn)出的結(jié)果，Delian表示遠(yuǎn)超出了預(yù)期?？梢钥闯觯紫饶Ｐ突纠斫饬松衔拇笠?，并且在無其他提示的情況下，給出了非常詳細(xì)的意見和建議，雖然并非完全正確，但問題本身也是開放性的問題。同時(shí)，下文也基本遵循了上文的格式，如分段和主標(biāo)題樣式。
另外，經(jīng)過多項(xiàng)測試后，Delina發(fā)現(xiàn)任何領(lǐng)域的專業(yè)問題，它都能自動(dòng)生成相互匹配的下文，比如有關(guān)同性戀故事的劇本，行業(yè)專家的技術(shù)訪談、或者有關(guān)選舉的政治話題等統(tǒng)統(tǒng)不在話下。
Delin還把如此強(qiáng)大的GTP-3形容為：
如果iPhone的出現(xiàn)，是將全世界的知識(shí)裝進(jìn)了您的口袋，那么GPT-3則為你提供了10,000個(gè)，能夠與你在任何話題上交流的博士。
聽著非常心動(dòng)了，每天為文案熬禿頭的朋友們，可以來嘗試體驗(yàn)一下，為你們奉上開源地址，Github地址：https://github.com/openai/gpt-3
其實(shí)，GPT-3的出色性能還不知如此。這個(gè)版本的模型是在今年的五月份剛剛被推出，與之前的GPT-2本相比，它在參數(shù)上高出了100倍。更重要的是，GPT-3實(shí)現(xiàn)了無需微調(diào)的最佳SOTA。
一般來說，GPT自然語言模型工作分為上游預(yù)訓(xùn)練和下游特定任務(wù)兩個(gè)主要階段。無需微調(diào)，意味著在經(jīng)過大型語料庫的預(yù)訓(xùn)練后，GPT-3在處理諸如語言翻譯、完型填空、文本生成等常見NLP任務(wù)時(shí)，無需針對(duì)下游任務(wù)作出特殊處理。
同時(shí)，它也意味著其處理任務(wù)的性能表現(xiàn)，主要取決于它的預(yù)訓(xùn)練過程。
首先從預(yù)訓(xùn)練階段的模型大小來看，從論文中的數(shù)據(jù)顯示，在經(jīng)過幾項(xiàng)簡單的任務(wù)訓(xùn)練（刪除文本中的隨機(jī)符號(hào)）后，模型越大學(xué)習(xí)曲線越陡峭，而越是陡峭，代表學(xué)習(xí)性能越強(qiáng)。因此，可以說下游任務(wù)的學(xué)習(xí)能力主要由模型大小決定。
在GPT-3中的模型和體系架構(gòu)與GPT-2基本一致，包括其中描述的修改后的初始化，預(yù)規(guī)范化和可逆記號(hào)化，不同之處在于，在GPT-3各層中使用了Sparse Transformer架構(gòu) 。同時(shí)，研究人員訓(xùn)練了8種不同大小的模型，范圍從1.25億個(gè)參數(shù)到1,750億個(gè)參數(shù)，三個(gè)數(shù)量級(jí)。最后一個(gè)為“GPT-3”。
可以看出，模型越大，它在可訓(xùn)練總數(shù)、層級(jí)數(shù)、學(xué)習(xí)比率方面的表現(xiàn)越高。
另外，從語料庫來講，模型越大越需要大的語料庫作為支撐，GPT-3采用的數(shù)據(jù)集（Common Crawl）包含了近一萬億個(gè)單詞。
CommonCrawl數(shù)據(jù)是從2016年到2019年，每個(gè)月的CommonCrawl的41個(gè)分片中下載的，構(gòu)成了過濾前的45TB壓縮明文和過濾后的570GB，大致相當(dāng)于4000億字節(jié)。
請(qǐng)注意，在訓(xùn)練過程中，并非按大小對(duì)數(shù)據(jù)集進(jìn)行采樣，而是較高質(zhì)量的數(shù)據(jù)集采樣頻率更高，因此，在訓(xùn)練過程中CommonCrawl和Books2數(shù)據(jù)集采樣的次數(shù)少于一次，而其他數(shù)據(jù)集則采樣了2 -3次。這本質(zhì)上是接受了少量的過度擬合，換取了更高質(zhì)量的訓(xùn)練數(shù)據(jù)。
因此，基于超大模型和與數(shù)據(jù)庫的GPT-3在預(yù)訓(xùn)練階段能夠表現(xiàn)出極好的性能。
存在一定的局限性
不過，從此前的測試中，我們也可以看出GPT-3的文本生成還是存在一些局限性的。具體我們可以從Q&A問答中來看一下。對(duì)于常識(shí)性性問題，GPT-3還是非常擅長的。如，
GPT-3自身的學(xué)習(xí)經(jīng)驗(yàn)主要是從網(wǎng)上抓取，因此在回答一些常識(shí)性問題時(shí)，它可以從網(wǎng)上找到準(zhǔn)確的對(duì)應(yīng)答案。但在處理對(duì)于一些“不言而喻”的問題時(shí)，它就可以出現(xiàn)錯(cuò)誤，比如下文：
Q：烤面包機(jī)和鉛筆哪一個(gè)較重？
A：鉛筆比烤面包機(jī)重。
雖然在這些問題上存在缺陷，不過，GPT-2在處理一些邏輯性問題，或者閱歷理解任務(wù)時(shí)，幾乎可以達(dá)到人類的水平。因此，在很多方面可以作為人類很好的輔助工具。
相關(guān)鏈接：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
論文地址：https://arxiv.org/abs/2005.14165
https://delian.substack.com/p/quick-thoughts-on-gpt3
https://lambdalabs.com/blog/demystifying-gpt-3/
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
