作者丨李梅 黃楠

編輯丨岑峰

今日，多模態(tài)大模型 GPT-4 震撼登場(chǎng)！

GPT-4 能夠接受圖像和文本輸入，輸出文本，在各項(xiàng)測(cè)試和基準(zhǔn)上的表現(xiàn)已經(jīng)與人類水平相當(dāng)。

OpenAI 一次性大放送，發(fā)布了 GPT-4 的技術(shù)報(bào)告、system card，并提供了 ChatGPT Plus 體驗(yàn)、GPT-4 的 API waitlist、demo 視頻，以及用于自動(dòng)評(píng)估 AI 模型性能的 OpenAI Eval 框架。

Sam Altman 稱，GPT-4 是“我們迄今為止最強(qiáng)大、對(duì)齊最好的模型”。

—— 1 ——
對(duì) ChatGPT 的巨大超越

在許多方面，GPT-4 都已經(jīng)能做到之前 ChatGPT（GPT-3.5）所力不能及的事情。相比 ChatGPT，GPT-4 支持更長(zhǎng)的輸入，一次可接受 32768 個(gè) token，相當(dāng)于 50 頁(yè)紙的內(nèi)容，長(zhǎng)篇學(xué)術(shù)論文可以直接丟給它去解讀了。

圖源知乎

GPT-4 跟 GPT-3.5 具有相同的 API 接口和交互界面，但在文本總結(jié)和加工能力上，GPT-4 有了明顯的提升，這表現(xiàn)提出指令后，模型能更好地遵循指令給出答案。

例如讓一篇文章變成一個(gè)句子，每個(gè)單詞都以 G 開頭，GPT-3.5 還未嘗試就放棄了任務(wù)，但在 GPT-4 中可以很好地完成：

GPT-3.5

GPT-4

同時(shí)，GPT-4 對(duì)指令的理解能力更佳：

（圖片來(lái)源：知乎網(wǎng)友：@連詩(shī)路）

此次更新中，GPT-4 最令人驚喜的能力，是它可接受圖片輸入，并對(duì)圖片生成說(shuō)明、分類和分析。比如輸入一張有雞蛋、面粉和牛奶的圖片，詢問 GPT-4 可以使用這些原材料做什么，得到的結(jié)果如下：

GPT-4 可以實(shí)現(xiàn)從圖片中提取文字信息并輸出到 HTML，比如嘗試手繪一個(gè)笑話網(wǎng)站模型，讓 GPT-4 嘗試自動(dòng)生成網(wǎng)站的原型圖（程序員嗅到了危險(xiǎn)的味道）：

手繪的笑話網(wǎng)站模型圖

GPT-4 根據(jù)手繪生成的笑話網(wǎng)站

對(duì)比 ChatGPT，GPT-4 的推理能力也有所超越，下面的結(jié)果展示了同一個(gè)問題 ChatGPT 和 GPT-4給出的不同答案：

左邊為 ChatGPT，右邊是 GPT-4

不僅如此，GPT-4 還能基于稅務(wù)法則，幫助一對(duì)夫妻精準(zhǔn)地計(jì)算出2018年繳納的稅額，并給出詳盡的算法步驟，以便閱讀解釋。

據(jù)了解，OpenAI 于去年 8 月就已經(jīng)完成了 GPT-4 的訓(xùn)練，我們與 OpenAI 的差距似乎更大了。

—— 2 ——
與 ChatGPT 相同的技術(shù)路線

在技術(shù)層面，一句話概括，GPT-4 是一個(gè) Transformer 模型，使用公開可用的數(shù)據(jù)（如互聯(lián)網(wǎng)數(shù)據(jù)）和第三方提供商許可的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，預(yù)測(cè)文本中的下一個(gè) token，然后使用 RLHF（來(lái)自人類反饋的強(qiáng)化學(xué)習(xí)）對(duì)模型進(jìn)行微調(diào)。

在一份98頁(yè)的技術(shù)報(bào)告中，OpenAI 報(bào)告了 GPT-4 的性能、局限性和安全特性，但并沒有公開有關(guān)架構(gòu)（包括模型參數(shù)量）、硬件、訓(xùn)練計(jì)算、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法等內(nèi)容的更多細(xì)節(jié)。

OpenAI 聲稱是“鑒于競(jìng)爭(zhēng)格局和 GPT-4 等大規(guī)模模型的安全性影響”。

關(guān)于GPT-4的參數(shù)量，此前OpenAI的CEO Sam Altman表示，GPT-4不會(huì)比GPT-3高出太多，但大家關(guān)于GPT-4擁有極大參數(shù)量的猜測(cè)仍有很多。

對(duì)此，UCL 計(jì)算機(jī)系教授、上海數(shù)字大腦研究院院長(zhǎng)汪軍認(rèn)為，大力確實(shí)出奇跡，此前 ChatGPT 的語(yǔ)言能力很強(qiáng)，有一定的邏輯推理能力，但它并未真正理解數(shù)據(jù)里面的內(nèi)容，它只是在原來(lái)的訓(xùn)練數(shù)據(jù)中、搭料能力很強(qiáng)，因此是具有一定局限性的，在訓(xùn)練里一定要加上它對(duì)整個(gè)世界的理解。舉個(gè)簡(jiǎn)單的例子，以下棋為例，如果你給它所有人類的下棋數(shù)據(jù)能力，比如說(shuō)2000分以下所有人的數(shù)據(jù)，如果模型只模仿人的話，那么它是模仿不出比這2000分更高的智能的。

報(bào)告地址：https://cdn.openai.com/papers/gpt-4.pdf

在這份技術(shù)報(bào)告中，OpenAI 依然傳達(dá)了一些關(guān)鍵信息，比如 GPT-4 采用與 GPT-3.5/ChatGPT 完全相同的技術(shù)路線；有一系列的對(duì)齊方案來(lái)保證 GPT-4 輸出的安全性；基于不超過(guò) GPT-4 千分之一的計(jì)算量來(lái)準(zhǔn)確預(yù)測(cè) GPT-4 在一定計(jì)算規(guī)模下的性能，利用小模型的訓(xùn)練性能來(lái)預(yù)測(cè)大模型期望性能這一點(diǎn)，在 OpenAI 看來(lái)是一項(xiàng)核心能力，也是一個(gè)值得研究的方向。

—— 3 ——
GPT-4 背后的強(qiáng)大陣容

盡管在 GPT-4 的技術(shù)細(xì)節(jié)方面，OpenAI 仍不夠 Open，但這次他們也做了一次大膽的公開—— GPT-4 貢獻(xiàn)者名單。

這份名單的最大看頭在于，從下面這些詳細(xì)的組別分類中可以大致看出 OpenAI 的部門組織架構(gòu)，也足見 GPT-4 背后是一支多么龐大的隊(duì)伍，從模型訓(xùn)練到評(píng)估再到安全部署，每一環(huán)都配備了大量的人力。

貢獻(xiàn)者名單

這里一共列出了7個(gè)組別：

預(yù)訓(xùn)練：計(jì)算集群規(guī)?；?、數(shù)據(jù)、分布式訓(xùn)練基礎(chǔ)設(shè)施、硬件正確性、優(yōu)化&架構(gòu)、訓(xùn)練保姆（Training run babysitting）

長(zhǎng)文本：長(zhǎng)文本研究、長(zhǎng)文本 kernels

視覺：架構(gòu)研究，計(jì)算集群規(guī)模化、分布式訓(xùn)練基礎(chǔ)設(shè)施、硬件正確性、數(shù)據(jù)、對(duì)齊數(shù)據(jù)、訓(xùn)練保姆、部署&后訓(xùn)練

強(qiáng)化學(xué)習(xí)&對(duì)齊：數(shù)據(jù)集、數(shù)據(jù)基礎(chǔ)設(shè)施、ChatML 格式化、模型安全性、Refusals、底層 RLHF 和 InstructGPT 工作、Flagship training runs、代碼能力

評(píng)估&分析：OpenAI Evals 庫(kù)、模型分級(jí)評(píng)估基礎(chǔ)設(shè)施、加速預(yù)測(cè)（Acceleration forecasting）、ChatGPT 評(píng)估、能力評(píng)估、代碼評(píng)估、真實(shí)世界使用案例評(píng)估、污染性調(diào)查、指令遵循和API評(píng)估、新奇能力發(fā)現(xiàn)、視覺評(píng)估、經(jīng)濟(jì)影響評(píng)估、非擴(kuò)散&國(guó)際人道主義法與國(guó)家安全的有害行為評(píng)估、過(guò)度依賴分析、隱私和PII評(píng)估、安全和政策評(píng)估、OpenAI 對(duì)抗性測(cè)試、系統(tǒng)卡和更廣泛影響分析

部署：界面研究、GPT-4 API 和 ChatML 部署、GPT-4 web 體驗(yàn)、界面基礎(chǔ)設(shè)施、可靠性工程、信任與安全工程、信任與安全監(jiān)測(cè)和響應(yīng)、信任與安全政策、部署計(jì)算、產(chǎn)品管理

其他：發(fā)布博客和論文內(nèi)容、協(xié)作、計(jì)算分配支持、協(xié)議&稅務(wù)&定價(jià)&資金支持、午餐合作伙伴&產(chǎn)品操作、法律、安全與隱私工程、系統(tǒng)管理與隨叫隨到服務(wù)

另外，OpenAI 也對(duì)微軟的支持表示了感謝，特別是微軟 Azure 為 GPT-4 模型的訓(xùn)練提供了基礎(chǔ)架構(gòu)設(shè)計(jì)和管理方面的支持，另外還有微軟Bing團(tuán)隊(duì)和安全團(tuán)隊(duì)在安全部署方面的支持。

對(duì)于 OpenAI 的追趕者來(lái)說(shuō)，這份名單一定程度上指示了一個(gè)方向，值得仔細(xì)研究。它對(duì)于 AI 領(lǐng)域人才的潛在熱門職業(yè)方向也有啟示，比如模型訓(xùn)練“保姆”、新奇能力發(fā)現(xiàn)師、算法模型安全師、數(shù)據(jù)和模型污染調(diào)查師等等。

—— 4 ——
開啟多模態(tài)大模型時(shí)代

GPT-4 開啟了多模態(tài)大模型的時(shí)代，遺憾的是，OpenAI 這次并沒有公布 GPT-4 在多模態(tài)方面的技術(shù)細(xì)節(jié)。

自然語(yǔ)言是多模態(tài)的基礎(chǔ)

目前 GPT-4 還只是文本+圖像輸入、文本輸出，可以預(yù)測(cè)文本+圖像不久也將實(shí)現(xiàn)。ChatGPT 已經(jīng)帶火了 NLP，GPT-4 想必對(duì)于視覺領(lǐng)域的研究者們也是一大機(jī)遇，也或許是一次沖擊。不過(guò)，在多模態(tài)大模型中，自然語(yǔ)言仍被認(rèn)為是核心。UCL 計(jì)算機(jī)系教授、上海數(shù)字大腦研究院院長(zhǎng)汪軍告訴 AI科技評(píng)論，Chat 構(gòu)建了一個(gè)相對(duì)清晰的邏輯描述，它或許不是百分百嚴(yán)謹(jǐn)，但已經(jīng)足夠讓我們?nèi)ケ磉_(dá)一些非常復(fù)雜的邏輯關(guān)系。但他認(rèn)為，這是一個(gè) Free power，也即是說(shuō)，它可以能把這個(gè)問題表述得很清晰、但這是表象，最主要的是 Chat 里面含載的語(yǔ)義關(guān)系，當(dāng)其他多模態(tài)來(lái)了之后，匹配上相應(yīng)的語(yǔ)義表達(dá)，就可以遷移到其他的模態(tài)當(dāng)中。

知識(shí)體系和自動(dòng)化體系時(shí)代

在通過(guò)交互界面獲取信息這一點(diǎn)上，ChatGPT 已經(jīng)對(duì)用戶完成了科普任務(wù)。GPT-4 出現(xiàn)后，Chat 將不再是大家關(guān)注的重點(diǎn)，GPT-4 能力的躍升正在引發(fā)大家思考 GPT 時(shí)代的產(chǎn)業(yè)變革將怎樣發(fā)生。在前維卓CTO 張烜看來(lái)，ChatGPT 背后的時(shí)代變化，是從信息時(shí)代 AI 向用戶快速提供豐富的信息，到AI直接提供完整的知識(shí)體系。ChatGPT 的貢獻(xiàn)是提供了一個(gè)便捷易用的交互界面，讓普通人都能用得起來(lái)，功不可沒，GPT-4 是在此基礎(chǔ)上的再一次飛躍。他認(rèn)為，除了模型變得更大、更強(qiáng)以外，AI 技術(shù)本身的變化可能不顯著，但從應(yīng)用的角度看，新的時(shí)代已經(jīng)到來(lái)。這個(gè)新時(shí)代便是知識(shí)體系和自動(dòng)化的時(shí)代，AI 優(yōu)化的目標(biāo)是自動(dòng)化地輸出最終結(jié)果和完整的知識(shí)體系。

能夠適應(yīng)這種新形勢(shì)的是以 RPA（Robotic process automation）為代表的自動(dòng)流程化分發(fā)，但是目前的 RPA 起始于20年前，不適用于現(xiàn)在的媒體方式和交互內(nèi)容，需要在文字、圖像和視頻化處理上加以改進(jìn)，才能和 GPT 完美匹配。張烜對(duì) AI科技評(píng)論透露，這是 GPT 影響產(chǎn)業(yè)的一個(gè)重要方式，也將是他接下來(lái)的創(chuàng)業(yè)方向。

目前，有一部分企業(yè)已經(jīng)提前用上了 GPT-4，其中就包括了 Stripe、摩根士丹利和 Duolingo 等。Stripe 團(tuán)隊(duì)列出了50個(gè)潛在應(yīng)用程序來(lái)測(cè)試 GPT-4，經(jīng)過(guò)審查和測(cè)試，當(dāng)中有15個(gè)原型被認(rèn)為是集成到平臺(tái)中的有力候選者，包括支持定制、回答有關(guān)支持的問題和欺詐檢測(cè)。

摩根士丹利人員日常工作需要面對(duì)一個(gè)巨大的內(nèi)容庫(kù)，涵蓋投資策略、市場(chǎng)研究和評(píng)論以及分析師見解等知識(shí)內(nèi)容達(dá)到數(shù)十萬(wàn)頁(yè)，并且這些信息大多以 PDF 格式分布在內(nèi)部網(wǎng)站上，需要顧問瀏覽大量信息才能找到特定問題的答案，搜索費(fèi)時(shí)費(fèi)力。為此，從去年開始，摩根士丹利就引入了 GPT-3，利用 GPT 的嵌入和檢索功能，釋放內(nèi)部人員在財(cái)富管理累積知識(shí)上的工作量，GPT-4 發(fā)布后，將為面向摩根士丹利內(nèi)部的聊天機(jī)器人提供支持，該計(jì)劃由摩根士丹利財(cái)富管理部門首席分析和數(shù)據(jù)官 Jeff McMillan 所在團(tuán)隊(duì)領(lǐng)導(dǎo)進(jìn)行，團(tuán)隊(duì)項(xiàng)目負(fù)責(zé)人指出，GPT-4 將能夠把所有洞察力解析為一種更有用、可操作的格式。

據(jù) McMillan 介紹，摩根士丹利財(cái)富管理在 GPT-4 引入后將分為三個(gè)部分進(jìn)行，第一部分的落腳點(diǎn)在 GPT-4 的“幾乎瞬間訪問、處理和合成內(nèi)容的非凡能力”上，即基于互聯(lián)網(wǎng)大量文本進(jìn)行訓(xùn)練，并在單詞、句子、概念和想法之間建立關(guān)系。第二個(gè)落腳點(diǎn)在摩根士丹利的智力資本，摩根士丹利創(chuàng)立有一個(gè)獨(dú)特的內(nèi)部?jī)?nèi)容存儲(chǔ)庫(kù)，后續(xù)將通過(guò) GPT-4 進(jìn)行處理和解析，并受公司內(nèi)部控制的約束。最后一部分在公司的人員上，摩根士丹利就 GPT-4 進(jìn)行了培訓(xùn)，每天有200多名員工查詢相關(guān)系統(tǒng)并提供反饋，盡可能實(shí)現(xiàn)由內(nèi)部聊天機(jī)器人完成全面搜索財(cái)富管理內(nèi)容。McMillan 表示，這項(xiàng)工作還將進(jìn)一步豐富摩根士丹利顧問與其客戶之間的關(guān)系，使他們能夠更快地幫助更多人。Duolingo 也推出了一種由 GPT-4 提供支持的學(xué)習(xí)體驗(yàn) Duolingo Max，新增“Explain My Answer（解釋我的答案）”和“Roleplay（角色扮演）”兩大功能。

角色扮演

在 Explain My Answer 中，學(xué)習(xí)者通過(guò)在某些練習(xí)類型之后點(diǎn)擊一個(gè)按鈕，可以進(jìn)入與 Duo 的聊天獲得答案解釋，并要求舉例或進(jìn)一步說(shuō)明；Roleplay 功能允許學(xué)習(xí)者與應(yīng)用程序中的角色進(jìn)行對(duì)話，角色覆蓋多個(gè)真實(shí)場(chǎng)景，包括在巴黎的咖啡館點(diǎn)咖啡、邀請(qǐng)朋友一起旅行、未來(lái)的假期計(jì)劃等。（公眾號(hào)：雷峰網(wǎng)）

參考鏈接：

https://openai.com/product/gpt-4

https://openai.com/contributions/gpt-4

（公眾號(hào)：雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。