美國(guó)時(shí)間 7 月18 日，OpenAI 正式發(fā)布了多模態(tài)小模型 GPT-4o mini，在海內(nèi)外引起了廣泛關(guān)注。

此前，OpenAI 憑借 GPT-3 開(kāi)拓了 AI 模型的“暴力美學(xué)”時(shí)代，同時(shí)也以訓(xùn)練超大參數(shù)規(guī)模的模型能力建立起 AGI 同賽道的護(hù)城河。但在其推出 GPT-4o 的“Mini”版本之后，OpenAI 似乎走向了原有優(yōu)勢(shì)的反方向，開(kāi)始卷“小模型”，而值得注意的是：

在 Mini 這條路上，歐洲與中國(guó)的大模型團(tuán)隊(duì)已經(jīng)率先研究了大半年。

從 2023 年上半年智譜 AI 發(fā)布對(duì)話小模型 ChatGLM-6B，10 月 Mistral 發(fā)布 7B 模型，到 2024 年 2 月面壁智能團(tuán)隊(duì)祭出 2.4B 的 MiniCPM，緊接著是多模態(tài)小模型 8B MiniCPM-Llama3-V 2.5，還有商湯的 1.8B SenseChat Lite、上海人工智能實(shí)驗(yàn)室 OpenGV Lab 團(tuán)隊(duì)的 Intern-VL 系列……

基于通用大模型開(kāi)發(fā)小模型或端側(cè)模型的路線，此前已在國(guó)內(nèi)發(fā)酵大半年。如今，OpenAI 等世界級(jí)頭部 AI 企業(yè)的入局，更表明端側(cè)模型、“智能小模型”是大勢(shì)所趨。

GPT-4o 發(fā)布后，AI 技術(shù)大牛 Andrej Karpathy 也在推特上發(fā)表了自己對(duì)“小模型”的看法：

在 Andrej Karpathy 看來(lái)，未來(lái)將會(huì)出現(xiàn)參數(shù)規(guī)模小、但思考能力強(qiáng)的小模型；小模型才是 AI “大模型”的最終目標(biāo)。

Andrej Karpathy 指出，現(xiàn)在的 AI 模型之所以“大”，是因?yàn)槟壳澳Ｐ偷挠?xùn)練仍比較粗放；換言之，即訓(xùn)練不高效——面壁智能團(tuán)隊(duì)在 3 月與 AI 科技評(píng)論的交談中就已表達(dá)相似觀點(diǎn)。

如何讓小模型更智能？Andrej 認(rèn)為關(guān)鍵點(diǎn)在于模型的知識(shí)，即訓(xùn)練數(shù)據(jù)。目前來(lái)看，無(wú)論是 OpenAI、還是面壁智能等團(tuán)隊(duì)，他們的路線都是先將模型“做大”、然后再將模型“做小”，原因在 Andrej 看來(lái)，是因?yàn)椤靶∧Ｐ托枰劳写竽Ｐ蛠?lái)重構(gòu)理想的合成數(shù)據(jù)”，直到大模型中的高質(zhì)量數(shù)據(jù)被耗盡。

除數(shù)據(jù)考慮外，面壁團(tuán)隊(duì)還告訴 AI 科技評(píng)論，從 2023 年下半年開(kāi)始，他們通過(guò)建立一套“用大模型訓(xùn)練小模型”的沙盒實(shí)驗(yàn)機(jī)制，是為了驗(yàn)證他們所理解的“Scaling Law”，即模型參數(shù)規(guī)模隨著時(shí)間推移遞減、但智能水平不斷上升的“面壁定律”——大模型的智能密度每 8 個(gè)月翻一倍。

如果模型能在越小的規(guī)模上實(shí)現(xiàn)更高的智能，那么模型的訓(xùn)練與推理成本都將大幅下降。但據(jù) AI 科技評(píng)論了解，該方向?qū)λ惴ㄅc數(shù)據(jù)工程的挑戰(zhàn)也十分巨大，中間的技術(shù)門(mén)檻并不低。

隨著成本下降，英偉達(dá)的 GPU 需求量也將受到影響。有業(yè)內(nèi)人士向 AI 科技評(píng)論評(píng)價(jià)，“對(duì)英偉達(dá)來(lái)說(shuō)，相比 GPT-4o 或 GPT-4o mini，年底的 GPT-5 才是一個(gè)關(guān)鍵節(jié)點(diǎn)?！?/p>

同時(shí)，從商業(yè)上來(lái)看，GPT-4o mini 作為一個(gè)性價(jià)比極高的云端模型，對(duì)國(guó)內(nèi)外云端 API 市場(chǎng)也將造成沖擊，大規(guī)模的云端模型更難賺錢；相反，端側(cè)模型將成為新的市場(chǎng)“顯學(xué)”。

GPT-4o mini 能力揭秘

作為 GPT-4o 更小參數(shù)的簡(jiǎn)化版本，此次 GPT-4o mini 的發(fā)布意味著 OpenAI 正式“進(jìn)軍”多模態(tài)小模型。據(jù)官網(wǎng)介紹，目前，在API層面，GPT-4o mini支持128k、16k輸入tokens（圖像和文本），未來(lái)還將支持視頻和音頻的輸入和輸出。

但是，OpenAI 并未透露此次新模型的參數(shù)量大小。

數(shù)據(jù)顯示，GPT-4o mini 在文本智能和多模態(tài)推理方面的學(xué)術(shù)基準(zhǔn)測(cè)試中超越了 GPT-3.5 Turbo 和其他小模型，并且支持的語(yǔ)言范圍與 GPT-4o 相同。此外， GPT-3.5 Turbo 相比，其長(zhǎng)上下文性能也有所提高。

與 GPT-4 相比，GPT-4o mini 在聊天偏好上表現(xiàn)優(yōu)于 GPT-4 ，并在大規(guī)模多任務(wù)語(yǔ)言理解（MMLU）測(cè)試中獲得了82%的得分。公開(kāi)資料介紹，MMLU 是一項(xiàng)包含 57 個(gè)學(xué)科大約 16000 道多項(xiàng)選擇題的考試，得分越高的大模型在各種領(lǐng)域中理解和使用語(yǔ)言的能力越強(qiáng)。

從 OpenAI 提供的數(shù)據(jù)來(lái)看，GPT-4o mini 的得分為82%，Google 的 Gemini Flash得分為77.9%，Anthropic 的Claude Haiku 得分為73.8%，GPT-4o mini 能力更強(qiáng)：

在實(shí)現(xiàn)性能優(yōu)化的同時(shí)，價(jià)格也更便宜。

OpenAI 表示，GPT-4o mini 的成本為每百萬(wàn)輸入標(biāo)記（token）15 美分，每百萬(wàn)輸出標(biāo)記 60 美分，比 GPT-3.5 Turbo 便宜超過(guò) 60%。即日起正式向免費(fèi)版、Plus 版和團(tuán)隊(duì)版的 ChatGPT 用戶開(kāi)放，企業(yè)用戶則從下周開(kāi)始可使用。

OpenAI 也想在小模型市場(chǎng)“分一杯羹”。

此前，無(wú)法承擔(dān) OpenAI 模型昂貴費(fèi)用的開(kāi)發(fā)者往往會(huì)選擇更便宜的替代，如 Gemini 1.5 Flash 及 Claude 3 Haiku，這或許也是此次 OpenAI 推出小模型的主要原因——為開(kāi)發(fā)者提供更為輕量且廉價(jià)的工具，以創(chuàng)建其無(wú)法負(fù)擔(dān)的大模型（如 GPT-4）的應(yīng)用程序和工具。

對(duì)于此次 GPT-4o mini 的推出，社交平臺(tái)上外國(guó)網(wǎng)友們似乎存在不少不買賬的聲音，部分網(wǎng)友催促 OpenAI 發(fā)布 GPT-4o 完整版，「No one wants a cheaper 3.5. We want a better 4o.」（沒(méi)有人想要更便宜的3.5，我們想要更好的4o），還有網(wǎng)友顯然對(duì)于 GPT-4.5 以及 GPT-5 的熱情更盛。

但也有國(guó)產(chǎn)大模型團(tuán)隊(duì)指出，GPT-4o mini 是相對(duì) GPT-4o 的“Mini”版本，具體參數(shù)量不詳，因此如商湯、面壁智能、上海人工智能實(shí)驗(yàn)室等團(tuán)隊(duì)難以與其比拼。

OpenAI 退出中國(guó)市場(chǎng)后，對(duì)國(guó)內(nèi)模型團(tuán)隊(duì)的影響有限。一位端側(cè)模型從業(yè)者告訴 AI 科技評(píng)論，OpenAI 在 Mini 模型上的這一舉動(dòng)，或許是為了響應(yīng)硅谷智能硬件興起的浪潮，同時(shí)對(duì)蘋(píng)果 AI 在端側(cè)能力上的需求作出反應(yīng)。

從今年上半年開(kāi)始，蘋(píng)果 AI 團(tuán)隊(duì)相繼發(fā)布其在手機(jī)端側(cè)上運(yùn)用的 AI 成果，如 Ferret-UI、OpenELM、MM1 等等，對(duì)模型落到端側(cè)起了開(kāi)頭。相當(dāng)于，蘋(píng)果已經(jīng)在手機(jī) AI 端出了開(kāi)卷考試，接下來(lái)各家模型廠商與手機(jī)廠商都要思考如何答題。

國(guó)產(chǎn)小模型不輸 OpenAI

而根據(jù)以往成果發(fā)布，國(guó)產(chǎn)大模型團(tuán)隊(duì)在文本小模型、乃至多模態(tài)小模型上的能力也表現(xiàn)卓然：

今年 4 月，商湯發(fā)布了1.8B（18億）參數(shù)規(guī)模的 SenseChat-Lite版本，作為端側(cè)模型，交互體驗(yàn)對(duì)標(biāo)GPT-4，當(dāng)時(shí)性能已實(shí)現(xiàn)同等尺度性能最優(yōu)。

后來(lái)，在 WAIC 期間，商湯又再次進(jìn)行端側(cè)模型的更新，較 4 月推出的版本首包耗時(shí)降低 40%，速度更快。

上海人工智能實(shí)驗(yàn)室 OpenGV Lab 的 InternVL 也是中國(guó)多模態(tài)小模型的系列典范。從 InternVL-Chat-V1.5 到書(shū)生萬(wàn)象 Intern VL 2.0，OpenGV Lab 團(tuán)隊(duì)開(kāi)源了從多模態(tài)模型系列，參數(shù)規(guī)模從 1B 到 76B 不等，其中小模型最高 8B、最小 1B，均可單卡部署。據(jù) AI 科技評(píng)論了解，其 1B 版本的參數(shù)規(guī)模實(shí)際只有 938 M。

值得注意的是，OpenGV Lab InternVL 系列的 26B 自開(kāi)源以來(lái)一直是 Hugging Face 上的當(dāng)紅炸子雞，以開(kāi)源不過(guò)兩周的 InternVL 2.0 為例，其 26B 在 Hugging Face 上的下載量已超過(guò) 6000 次。

同樣在 Mini 模型上發(fā)力的國(guó)產(chǎn)代表團(tuán)隊(duì)還有面壁智能。他們?cè)谛∧Ｐ蜕系某晒Ｐ团c多模態(tài)模型，在 Hugging Face 上的下載量已經(jīng)近 95 萬(wàn)次，Github 上獲得超過(guò) 1 萬(wàn)星標(biāo)，這一端側(cè)模型系列不僅是開(kāi)源社區(qū)口碑之作，甚至一度火到全網(wǎng)熱搜第一。

今年 2 月，面壁端側(cè)模型“小鋼炮”發(fā)布，具備 GPT-3 同等性能但參數(shù)僅為24億的 MiniCPM-2.4B ，把知識(shí)密度提高了大概 86 倍 （如下圖所示）：

而后其又相繼在 4 、5月發(fā)布了2.0和2.5 版本。在 2.5 版本上，面壁 MiniCPM 以 1% 的參數(shù)規(guī)模，形成了可以跟GPT-4V 和 Gemini Pro 多模態(tài)能力對(duì)標(biāo)的性能，模型參數(shù)只有 8B 大小，能夠放到終端上。

今年7月，面壁新發(fā)布的MiniCPM-S 1.2B 知識(shí)密度達(dá)到同規(guī)模稠密模型 MiniCPM 1.2B 的 2.57 倍，Mistral-7B 的 12.1 倍（如下圖所示）：

在面壁看來(lái)，他們做小模型的目標(biāo)是“模型變小的同時(shí)、效果還能變好”。

當(dāng)前，面壁有兩條產(chǎn)品線，一條是基座大模型，另一條是給大模型做小模型，在小模型上驗(yàn)證大模型的技術(shù)極限。這兩條產(chǎn)品線，其實(shí)是一條路，就是面壁通往 AGI 的道路，大模型與小模型難以分開(kāi)。一方面，要提升模型的效率，讓每個(gè)參數(shù)發(fā)揮更好的效果；另一方面，能在應(yīng)用支持的成本下做出最好的模型。

而對(duì)于大模型，大眾的認(rèn)知普遍存在偏差，實(shí)際上，參數(shù)規(guī)模大不代表模型的能力強(qiáng)。

以馬斯克的 Grok 為例，Grok 的參數(shù)規(guī)模為 3140 億，行內(nèi)對(duì)它的評(píng)價(jià)其實(shí)不太好，有技術(shù)人員去測(cè)過(guò)，說(shuō) Grok 的效果大概比 Mistral 的 8*7B MoE 稍微好一點(diǎn)。那么大參數(shù)的模型實(shí)現(xiàn)這么小的效果，其實(shí)是失敗的。

在2021 年到 2022 年期間，國(guó)內(nèi)最早做大模型的那批團(tuán)隊(duì)扎堆卷模型參數(shù)量，阿里甚至將模型卷到了 10 萬(wàn)億參數(shù)規(guī)模（非稠密模型）。

但當(dāng)時(shí)大家對(duì)“大模型能做什么”是不清楚的，只是認(rèn)為“大模型就是參數(shù)要大”，在用戶價(jià)值上，也并未達(dá)到后來(lái) ChatGPT 的體驗(yàn)。ChatGPT 發(fā)布后，大家才意識(shí)到“提升模型效果”才是大模型訓(xùn)練的正確方向。

面壁認(rèn)為，“小”模型的精髓在于高效，將每個(gè)參數(shù)發(fā)揮到最大作用——這才是大模型研究的正確方向。不然未來(lái)如果達(dá)到 AGI，但 AGI 比人還貴，那就沒(méi)意義了。

GPT-4o mini 的發(fā)布意味著能用更少的推理算力消耗實(shí)現(xiàn)更強(qiáng)更高效的模型，這也恰恰驗(yàn)證了面壁提出的大模型時(shí)代的摩爾定律——模型的知識(shí)密度不斷提升，其中，知識(shí)密度=模型能力 / 推理算力消耗。

小模型的“新”挑戰(zhàn)

從年初開(kāi)始，小模型的聲量開(kāi)始增大。小模型崛起后，無(wú)疑帶來(lái)了幾個(gè)行業(yè)變化：

首先，計(jì)算成本更低的 AI 模型落到終端硬件產(chǎn)品上的門(mén)檻更低，端側(cè)模型興起。在此浪潮中，模型層廠商如面壁智能、手機(jī)廠商如蘋(píng)果華米OV 等也紛紛入局，端側(cè)模型的創(chuàng)業(yè)也迎來(lái)更多玩家。

端側(cè)模型雖然是“小”模型，但其智能水平也離不開(kāi)一個(gè)基礎(chǔ)的大模型，同時(shí)需要具備豐富的訓(xùn)練數(shù)據(jù)與完善的數(shù)據(jù)工程系統(tǒng)，才能做可控的訓(xùn)練。因此，端側(cè)模型往往要與具體的行業(yè)與特定領(lǐng)域相結(jié)合。

與此同時(shí)，端側(cè)模型需要結(jié)合模型、硬件與計(jì)算。據(jù)了解，當(dāng)前主流芯片廠商在端側(cè) AI 芯片上的供給成本仍沒(méi)打下來(lái)。一位業(yè)者告訴 AI 科技評(píng)論，某知名芯片廠商的報(bào)價(jià)是 300 美金一臺(tái)設(shè)備，折算下來(lái)超過(guò) 2000 元人民幣，現(xiàn)階段能支撐起如此高昂的計(jì)算成本的硬件設(shè)備只有汽車、醫(yī)療等高端行業(yè)。

其次，小模型的開(kāi)源社區(qū)形成后，有業(yè)者也認(rèn)為，這將使“大模型的研究進(jìn)入高?？蒲姓叩氖孢m區(qū)”?！斑^(guò)去大模型因?yàn)樗懔Τ杀靖甙海挥泄I(yè)者能支撐得起，但當(dāng)小模型的成本降下來(lái)后，越來(lái)越多高校科研人員也能參與這一方向的研究?！?/p>

這意味著，小模型團(tuán)隊(duì)的研發(fā)壓力也在加大，競(jìng)爭(zhēng)或許會(huì)變得更加激烈。

此外，也有從業(yè)者指出，OpenAI 發(fā)布 GPT-4o mini 是近日來(lái)大模型價(jià)格戰(zhàn)的縮影。OpenAI 將云端 API 的價(jià)格打下來(lái)后，其他海內(nèi)外的云端大模型廠商在 C 端應(yīng)用上的壓力會(huì)更大，“模應(yīng)一體”的發(fā)展路徑或許會(huì)迎來(lái)新的變局。

端側(cè)大模型興起后，端側(cè)設(shè)備自己提供智能化的底座并且負(fù)擔(dān)推理成本，且個(gè)人數(shù)據(jù)隱私有保障，一系列的應(yīng)用公司借助終端設(shè)備廠商提供的智能化底座來(lái)做應(yīng)用。對(duì)于用到千億參數(shù)模型的應(yīng)用，將最終也陷入推理成本的拼殺。

李大海猜測(cè)，GPT-4o mini 會(huì)是一個(gè)寬 MOE 的模型、而非一個(gè)端側(cè)模型?！埃℅PT-4o mini）作為一個(gè)性價(jià)比很高的云端模型，一方面對(duì)云端 API 市場(chǎng)應(yīng)該會(huì)造成沖擊，一方面降低大模型落地產(chǎn)業(yè)成本，讓我們對(duì)大規(guī)模行業(yè)應(yīng)用的興起抱有更強(qiáng)信心。”

言歸正傳。OpenAI 此次發(fā)布 GPT-4o mini，頂級(jí)公司的入場(chǎng)再一次驗(yàn)證了小模型的研究風(fēng)向與必然趨勢(shì)。在這一方向上，中國(guó)的大模型研究團(tuán)隊(duì)如面壁智能、上海人工智能實(shí)驗(yàn)室等均領(lǐng)先半年左右提出自己的解決，國(guó)產(chǎn)大模型從跟隨到引領(lǐng)，也反應(yīng)了國(guó)產(chǎn)大模型技術(shù)的日新月異。

“GPT-4o mini 主打的是更快，大小相對(duì) GPT-4o 來(lái)說(shuō)更加 mini。但由于 GPT-4o 參數(shù)不詳，因此 GPT-4o mini 是否為端側(cè)小模型、是否能單卡部署，仍然存疑。”一位業(yè)內(nèi)人士向 AI 科技評(píng)論評(píng)價(jià)。

所以，對(duì)待國(guó)產(chǎn)大模型的技術(shù)成果，我們或許應(yīng)該多一份“民族自信”。雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。