天下武功唯快不破，但 OpenAI 不走尋常路，新出的 o1 系列宣告天下：

我們更慢，但更強(qiáng)了。

o1 要花更多的時(shí)間思考問(wèn)題，再做出反應(yīng)，但在復(fù)雜推理層面直接竄了幾個(gè)檔位。

在國(guó)際數(shù)學(xué)奧林匹克 (IMO) 資格考試中，GPT-4o 僅正確解決了 13% 的問(wèn)題，而 o1 得分為 83%。

好家伙，這數(shù)學(xué)水平，上一次見(jiàn)面還是小學(xué)生，現(xiàn)在直接博士畢業(yè)了？

OpenAI 也很得意，表示 o1 已經(jīng)達(dá)到AI能力新高度了，所以直接把計(jì)數(shù)重置到1，開(kāi)啟新的大模型系列 OpenAI o1。

本次 OpenAI o1系列分為三個(gè)型號(hào)，最強(qiáng)但還未發(fā)布的 o1，o1 的預(yù)覽版 o1-preview，和性價(jià)比最高的輕量版 o1-mini。

之前的 GPT 系列還被詬病更新“擠牙膏”，沒(méi)想到 OpenAI 一直都是老樣子，不鳴則已一鳴驚人，直接給 AI 界來(lái)了個(gè)大大大地震。

綜合網(wǎng)絡(luò)對(duì)于 o1 的報(bào)道和評(píng)論，我們注意到幾個(gè)關(guān)鍵信息：

這可能是Scaling Law提出以來(lái)，LLM領(lǐng)域最重要的發(fā)現(xiàn)。這一進(jìn)展的核心是推理時(shí)間和參數(shù)規(guī)模兩條曲線的協(xié)同作用，而不是單一曲線；

與強(qiáng)化學(xué)習(xí)的完美結(jié)合，可能為我們指明了通往人工通用智能（AGI）的有效路徑（此前AI科技評(píng)論8月28日曾舉辦《大模型時(shí)代的強(qiáng)化學(xué)習(xí)》網(wǎng)絡(luò)研討會(huì)，討論了強(qiáng)化學(xué)習(xí)與大模型的結(jié)合，感興趣的朋友點(diǎn)擊下方鏈接進(jìn)行回看）；

o1 并非 GPT-4o 的升級(jí)版本，目前仍然無(wú)法解決像黎曼假設(shè)這樣極其復(fù)雜或開(kāi)放的問(wèn)題，也沒(méi)能解決幻覺(jué)問(wèn)題。

OpenAI 對(duì)大模型的這次重新構(gòu)想，無(wú)疑將對(duì)大模型的未來(lái)走向和整個(gè)AI領(lǐng)域的格局產(chǎn)生深遠(yuǎn)影響。

OpenAI的又一里程碑

奧特曼表示，o1 是他們迄今為止功能最強(qiáng)大、最一致的模型系列，只是使用的時(shí)候要花更多時(shí)間（凡爾賽了）。

如圖所示，o1 在絕大多數(shù)重推理任務(wù)中顯著優(yōu)于 GPT-4o

正在休長(zhǎng)假、沉寂了一個(gè)月的 OpenAI 的另一位聯(lián)創(chuàng) Greg Brockman 洋洋灑灑寫(xiě)了一長(zhǎng)段推文，表?yè)P(yáng)了 o1 的超強(qiáng)性能，并特別指出 o1 是第一個(gè)使用強(qiáng)化學(xué)習(xí)訓(xùn)練的模型，會(huì)在回答問(wèn)題之前進(jìn)行深入的思考。

lmsys 也馬上在 Chatbot Arena 更新了 o1-preview 和 o1-mini，歡迎大家測(cè)試。

參與研發(fā)o1的 Shengjia Zhao 很謙虛地表示，o1 并不是完美的，也不會(huì)適合所有事情。不過(guò)人們能感受到它潛力無(wú)限，并再一次感受到 AGI。

Jim Fan 認(rèn)為，o1 透露出的研究進(jìn)展可能是自 2022 年 OG Chinchilla 縮放定律以來(lái) LLM 研究中最重要的發(fā)現(xiàn)。

他還提到了兩篇近期發(fā)表的關(guān)于 Scaling Law 的論文，并指出 OpenAI 早已意識(shí)到這一點(diǎn)，并通過(guò) o1 證實(shí)了這些發(fā)現(xiàn)。

大模型+強(qiáng)化學(xué)習(xí)=AGI？

大模型與強(qiáng)化學(xué)習(xí)的結(jié)合是近幾年來(lái)的熱門(mén)研究方向之一。

大模型的泛化能力和背景知識(shí)與強(qiáng)化學(xué)習(xí)的交互學(xué)習(xí)和任務(wù)優(yōu)化相結(jié)合，可以創(chuàng)建出能夠更好地適應(yīng)復(fù)雜環(huán)境、解決多任務(wù)問(wèn)題、并提供更高效和可解釋決策的智能系統(tǒng)。這種互補(bǔ)性使得兩者的結(jié)合成為推動(dòng)人工智能發(fā)展的重要方向。

o1 大模型的發(fā)布，首次證明了語(yǔ)言模型可以進(jìn)行真正的強(qiáng)化學(xué)習(xí)。而 OpenAI 的一位研究員說(shuō)，o1 證明了強(qiáng)化學(xué)習(xí)才是通往 AGI 道路上的必備要素（RL研究者狂喜）。

OpenAI 另一位專注推理的研究員也說(shuō)，通過(guò)強(qiáng)化學(xué)習(xí)，o1 能夠在做出反應(yīng)進(jìn)行“思考”，讓他們不用再受預(yù)訓(xùn)練的瓶頸限制，終于可以做擴(kuò)展推理計(jì)算了。

強(qiáng)化學(xué)習(xí)和LLM可以說(shuō)是非常適配了，只不過(guò)在 o1 之前還沒(méi)有人能用 LLM 真正實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)。

之前就有人說(shuō)，模仿是 LLM 訓(xùn)練的基礎(chǔ)，而模仿其實(shí)就是強(qiáng)化學(xué)習(xí)的問(wèn)題。

DeepMind 的新論文也有提到，與監(jiān)督學(xué)習(xí)相比，強(qiáng)化學(xué)習(xí)可以更好地利用序列結(jié)構(gòu)、在線數(shù)據(jù)并進(jìn)一步提取獎(jiǎng)勵(lì)。

領(lǐng)導(dǎo) DeepMind 強(qiáng)化學(xué)習(xí)研究小組的David Silver，也在前段時(shí)間的演講中強(qiáng)調(diào)，“需要重新關(guān)注強(qiáng)化學(xué)習(xí)，才能走出 LLM 低谷。”

局限

不過(guò)，一眾好評(píng)聲中，也有人指出了 o1 存在的一些問(wèn)題。

Andrej Karpathy 在測(cè)試后發(fā)推特說(shuō)，o1-mini 還是有大模型的老毛病，問(wèn)它黎曼假設(shè)這類復(fù)雜問(wèn)題就偷懶逃避。

Gary Marcus 認(rèn)為 o1 并不是通用人工智能（AGI），甚至離 AGI 還很遠(yuǎn)。

他尖銳地點(diǎn)出了 o1 的八條問(wèn)題，從多個(gè)方面批評(píng)了o1模型的細(xì)節(jié)披露不足、改進(jìn)不夠全面，認(rèn)為實(shí)際測(cè)試與宣傳間存在差距，并提醒消費(fèi)者要慎重。

Hugging Face 的 CEO 也表示，AI 并不是在思考，只是在在“處理”、“運(yùn)行預(yù)測(cè)”……和谷歌或者計(jì)算機(jī)做的事情是一樣的。這種技術(shù)系統(tǒng)是人類的錯(cuò)誤印象，只是廉價(jià)的騙術(shù)和營(yíng)銷手段，讓人誤以為它比實(shí)際更聰明。

OpenAI 自己也承認(rèn)了 o1 的不足。在一些自然語(yǔ)言任務(wù)測(cè)試中，尤其是寫(xiě)作能力方面，GPT-4o 還是更勝一籌。

并且，o1 的推理依然存在缺陷，在實(shí)現(xiàn)質(zhì)的提升的同時(shí)也沒(méi)能解決LLM的幻覺(jué)問(wèn)題。

著名程序員、Django Web 框架的聯(lián)合創(chuàng)建者 Simon Willison 在推特上收集在 GPT-4o 上推理失敗，但在 o1 成功的例子，只找到了幾個(gè)讓他滿意的案例。他認(rèn)為從推理來(lái)看，o1 并不是 GPT-4o 的升級(jí)版。

他在博客中寫(xiě)道，o1 并不是簡(jiǎn)單的 GPT-4o 升級(jí)版，而是通過(guò)在成本和性能方面引入重大權(quán)衡，換取了更進(jìn)一步的推理能力。

很明顯，o1 和 GPT-4o 代表大模型的兩個(gè)不同方向。OpenAI 也提到，以后會(huì)分別研發(fā)升級(jí)兩個(gè)模型，這意味著，過(guò)去適用于 GPT-4o 的 Prompt 技巧未必同樣適用于 o1。

實(shí)測(cè)

那么，o1 的表現(xiàn)到底怎么樣呢？

在 Toqan 的排行榜中，我們可以看到 OpenAI O1 模型在 ProLLM StackUnseen 基準(zhǔn)測(cè)試中表現(xiàn)出來(lái)的水平，比 SOTA 要高出 20%。

elvis 做了詳細(xì)測(cè)試，他提到 o1-preview 能夠一次性解決很多難以回答的問(wèn)題，包括很多當(dāng)前大型語(yǔ)言模型（LLMs）難以處理的數(shù)學(xué)問(wèn)題。

他的完整測(cè)試視頻已經(jīng)上傳YouTube，可以點(diǎn)擊以下鏈接觀看：

https://www.youtube.com/watch?v=xJJ2h3wQByg

OpenAI 首席研究官 Bob McGrew 在The Verge的采訪中說(shuō)，“從根本上說(shuō)，o1 是一種新的模型模式，能夠解決真正困難的問(wèn)題，從而達(dá)到與人類相似的智能水平?！?span style="color: #FFFFFF;">雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)

o1-preview和o1 mini已經(jīng)帶給我們這么多驚喜，不敢想最后發(fā)布的o1到底能有多強(qiáng)悍，讓我們拭目以待。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。