0
| 本文作者： 劉潔 | 2024-09-13 15:50 |
天下武功唯快不破，但 OpenAI 不走尋常路，新出的 o1 系列宣告天下：
我們更慢，但更強(qiáng)了。
o1 要花更多的時間思考問題，再做出反應(yīng)，但在復(fù)雜推理層面直接竄了幾個檔位。
在國際數(shù)學(xué)奧林匹克 (IMO) 資格考試中，GPT-4o 僅正確解決了 13% 的問題，而 o1 得分為 83%。
好家伙，這數(shù)學(xué)水平，上一次見面還是小學(xué)生，現(xiàn)在直接博士畢業(yè)了？
OpenAI 也很得意，表示 o1 已經(jīng)達(dá)到AI能力新高度了，所以直接把計數(shù)重置到1，開啟新的大模型系列 OpenAI o1。
本次 OpenAI o1系列分為三個型號，最強(qiáng)但還未發(fā)布的 o1，o1 的預(yù)覽版 o1-preview，和性價比最高的輕量版 o1-mini。
之前的 GPT 系列還被詬病更新“擠牙膏”，沒想到 OpenAI 一直都是老樣子，不鳴則已一鳴驚人，直接給 AI 界來了個大大大地震。
綜合網(wǎng)絡(luò)對于 o1 的報道和評論，我們注意到幾個關(guān)鍵信息：
這可能是Scaling Law提出以來，LLM領(lǐng)域最重要的發(fā)現(xiàn)。這一進(jìn)展的核心是推理時間和參數(shù)規(guī)模兩條曲線的協(xié)同作用，而不是單一曲線；
與強(qiáng)化學(xué)習(xí)的完美結(jié)合，可能為我們指明了通往人工通用智能（AGI）的有效路徑（此前AI科技評論8月28日曾舉辦《大模型時代的強(qiáng)化學(xué)習(xí)》網(wǎng)絡(luò)研討會，討論了強(qiáng)化學(xué)習(xí)與大模型的結(jié)合，感興趣的朋友點(diǎn)擊下方鏈接進(jìn)行回看）；
o1 并非 GPT-4o 的升級版本，目前仍然無法解決像黎曼假設(shè)這樣極其復(fù)雜或開放的問題，也沒能解決幻覺問題。
OpenAI 對大模型的這次重新構(gòu)想，無疑將對大模型的未來走向和整個AI領(lǐng)域的格局產(chǎn)生深遠(yuǎn)影響。
奧特曼表示，o1 是他們迄今為止功能最強(qiáng)大、最一致的模型系列，只是使用的時候要花更多時間（凡爾賽了）。
如圖所示，o1 在絕大多數(shù)重推理任務(wù)中顯著優(yōu)于 GPT-4o
正在休長假、沉寂了一個月的 OpenAI 的另一位聯(lián)創(chuàng) Greg Brockman 洋洋灑灑寫了一長段推文，表揚(yáng)了 o1 的超強(qiáng)性能，并特別指出 o1 是第一個使用強(qiáng)化學(xué)習(xí)訓(xùn)練的模型，會在回答問題之前進(jìn)行深入的思考。
lmsys 也馬上在 Chatbot Arena 更新了 o1-preview 和 o1-mini，歡迎大家測試。
參與研發(fā)o1的 Shengjia Zhao 很謙虛地表示，o1 并不是完美的，也不會適合所有事情。不過人們能感受到它潛力無限，并再一次感受到 AGI。
Jim Fan 認(rèn)為，o1 透露出的研究進(jìn)展可能是自 2022 年 OG Chinchilla 縮放定律以來 LLM 研究中最重要的發(fā)現(xiàn)。
他還提到了兩篇近期發(fā)表的關(guān)于 Scaling Law 的論文，并指出 OpenAI 早已意識到這一點(diǎn)，并通過 o1 證實(shí)了這些發(fā)現(xiàn)。
大模型與強(qiáng)化學(xué)習(xí)的結(jié)合是近幾年來的熱門研究方向之一。
大模型的泛化能力和背景知識與強(qiáng)化學(xué)習(xí)的交互學(xué)習(xí)和任務(wù)優(yōu)化相結(jié)合，可以創(chuàng)建出能夠更好地適應(yīng)復(fù)雜環(huán)境、解決多任務(wù)問題、并提供更高效和可解釋決策的智能系統(tǒng)。這種互補(bǔ)性使得兩者的結(jié)合成為推動人工智能發(fā)展的重要方向。
o1 大模型的發(fā)布，首次證明了語言模型可以進(jìn)行真正的強(qiáng)化學(xué)習(xí)。而 OpenAI 的一位研究員說，o1 證明了強(qiáng)化學(xué)習(xí)才是通往 AGI 道路上的必備要素（RL研究者狂喜）。
OpenAI 另一位專注推理的研究員也說，通過強(qiáng)化學(xué)習(xí)，o1 能夠在做出反應(yīng)進(jìn)行“思考”，讓他們不用再受預(yù)訓(xùn)練的瓶頸限制，終于可以做擴(kuò)展推理計算了。
強(qiáng)化學(xué)習(xí)和LLM可以說是非常適配了，只不過在 o1 之前還沒有人能用 LLM 真正實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)。
之前就有人說，模仿是 LLM 訓(xùn)練的基礎(chǔ)，而模仿其實(shí)就是強(qiáng)化學(xué)習(xí)的問題。
DeepMind 的新論文也有提到，與監(jiān)督學(xué)習(xí)相比，強(qiáng)化學(xué)習(xí)可以更好地利用序列結(jié)構(gòu)、在線數(shù)據(jù)并進(jìn)一步提取獎勵。
領(lǐng)導(dǎo) DeepMind 強(qiáng)化學(xué)習(xí)研究小組的David Silver，也在前段時間的演講中強(qiáng)調(diào)，“需要重新關(guān)注強(qiáng)化學(xué)習(xí)，才能走出 LLM 低谷。”
不過，一眾好評聲中，也有人指出了 o1 存在的一些問題。
Andrej Karpathy 在測試后發(fā)推特說，o1-mini 還是有大模型的老毛病，問它黎曼假設(shè)這類復(fù)雜問題就偷懶逃避。
Gary Marcus 認(rèn)為 o1 并不是通用人工智能（AGI），甚至離 AGI 還很遠(yuǎn)。
他尖銳地點(diǎn)出了 o1 的八條問題，從多個方面批評了o1模型的細(xì)節(jié)披露不足、改進(jìn)不夠全面，認(rèn)為實(shí)際測試與宣傳間存在差距，并提醒消費(fèi)者要慎重。
Hugging Face 的 CEO 也表示，AI 并不是在思考，只是在在“處理”、“運(yùn)行預(yù)測”……和谷歌或者計算機(jī)做的事情是一樣的。這種技術(shù)系統(tǒng)是人類的錯誤印象，只是廉價的騙術(shù)和營銷手段，讓人誤以為它比實(shí)際更聰明。
OpenAI 自己也承認(rèn)了 o1 的不足。在一些自然語言任務(wù)測試中，尤其是寫作能力方面，GPT-4o 還是更勝一籌。
并且，o1 的推理依然存在缺陷，在實(shí)現(xiàn)質(zhì)的提升的同時也沒能解決LLM的幻覺問題。
著名程序員、Django Web 框架的聯(lián)合創(chuàng)建者 Simon Willison 在推特上收集在 GPT-4o 上推理失敗，但在 o1 成功的例子，只找到了幾個讓他滿意的案例。他認(rèn)為從推理來看，o1 并不是 GPT-4o 的升級版。
他在博客中寫道，o1 并不是簡單的 GPT-4o 升級版，而是通過在成本和性能方面引入重大權(quán)衡，換取了更進(jìn)一步的推理能力。
很明顯，o1 和 GPT-4o 代表大模型的兩個不同方向。OpenAI 也提到，以后會分別研發(fā)升級兩個模型，這意味著，過去適用于 GPT-4o 的 Prompt 技巧未必同樣適用于 o1。
那么，o1 的表現(xiàn)到底怎么樣呢？
在 Toqan 的排行榜中，我們可以看到 OpenAI O1 模型在 ProLLM StackUnseen 基準(zhǔn)測試中表現(xiàn)出來的水平，比 SOTA 要高出 20%。
elvis 做了詳細(xì)測試，他提到 o1-preview 能夠一次性解決很多難以回答的問題，包括很多當(dāng)前大型語言模型（LLMs）難以處理的數(shù)學(xué)問題。
他的完整測試視頻已經(jīng)上傳YouTube，可以點(diǎn)擊以下鏈接觀看：
https://www.youtube.com/watch?v=xJJ2h3wQByg
OpenAI 首席研究官 Bob McGrew 在The Verge的采訪中說，“從根本上說，o1 是一種新的模型模式，能夠解決真正困難的問題，從而達(dá)到與人類相似的智能水平?！?span style="color: #FFFFFF;">雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)
o1-preview和o1 mini已經(jīng)帶給我們這么多驚喜，不敢想最后發(fā)布的o1到底能有多強(qiáng)悍，讓我們拭目以待。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
