0
昨日 1 月20 號，DeepSeek 團隊推出了全新開源模型 DeepSeek-R1，一夜之間模型就在 Github 上收獲了 4k+star，引爆大模型領(lǐng)域。
而這次的 R1 模型一出，不僅反駁了之前蒸餾 OpenAI o1 的說法，官方更是直接下場表示：“我們可以和開源版的 o1 打成平手”。
值得一提的是， R1 突破了以往的模型訓練形式，完全沒有使用任何 SFT 數(shù)據(jù)，僅通過純粹的 RL 來訓練模型，這一點說明 R1 已經(jīng)學會了自己思考問題——這實則更符合人類的思維規(guī)則。
更有網(wǎng)友稱其為“開源的 LLM 界 AlphaGo”。
叫板 o1，Deepseek 的自信并不是空穴來風。
先是在在后訓練階段憑借憑借有限的數(shù)據(jù)直接在模型推理能力方面把 o1 甩了幾條街。
并且在數(shù)學、代碼、自然語言推理上更是和 o1 正式版不相上下，在多個基準測試中展現(xiàn)了卓越的性能。
例如 DeepSeek - R1 在 AIME 2024 數(shù)學競賽中，取得了79.8%的成績，略高于 OpenAI 的 o1-1217。在 MATH-500 測試中，DeepSeek-R1 更是達到了 97.3% 的高分，與 OpenAI-o1-1217 相當，同時顯著優(yōu)于其他模型。
在編程競賽方面，DeepSeek-R1 表現(xiàn)出了專家級水平，其在 Codeforces 上的 Elo 評級達到了 2029，超過了 96.3% 的人類參賽者。此外，在工程相關(guān)任務中，DeepSeek-R1 的表現(xiàn)也略勝 OpenAI-o1-1217 一籌。
除此之外，團隊還 R1 蒸餾出了 6 個小模型開源給社區(qū)，參數(shù)從小到大分別為 1.5B、7B、8B、14B、32B 以及 70B。其中蒸餾過的 R1 32B 和 70B 模型在性能方面不僅超過了 GPT-4o、Claude 3.5 Sonnet 和 QwQ-32B，甚至比肩 o1-mini 的效果。
如果你仍未真切領(lǐng)略到它的強大，那么請注意：它只需付出 o1 五十分之一的成本，卻能收獲 o1 百分之百的效能。
典型的花小錢，辦大事。
除了 R1 在幾乎所有的基準測試中性能都優(yōu)于 o1 的硬實力，再其發(fā)布即開源的訓練數(shù)據(jù)集和優(yōu)化工具，讓不少網(wǎng)友直呼：這才是真正的 Open AI。
R1 發(fā)布后，國內(nèi)外大模型從業(yè)者紛紛圍觀、并交流點評。
深度賦智 CEO 吳承霖向 雷峰網(wǎng)(公眾號：雷峰網(wǎng))AI 科技評論評價： DeepSeek R1 確實厲害，但方法非常簡單，核心其實就三點。
Self play、Grpo 以及 Cold start。
DeepSeek 團隊這次開源的 R1 模型共有兩個版本，分別是 DeepSeek-R1-Zero 和 DeepSeek-R1，參數(shù)都是 660B 且功能各有千秋。
先說 DeepSeek-R1-Zero，這個模型完全沒有使用任何 SFT 數(shù)據(jù)，僅通過純粹的 RL 來訓練模型，突破了以往模型在提升推理能力時常依賴于 SFT 作為預訓練步驟的形式。這是大模型訓練中首次跳過監(jiān)督微調(diào)，是此次DeepSeek的核心創(chuàng)新。
通俗一點講，就是我們不直接告訴模型“應該如何解題”，而是讓它通過自主試錯并從中學習正確的方法，即 Self play。這就像不讓孩子死記硬背公式，而是直接提供題目和評分標準，讓他們在實踐中自行摸索解法。這樣的方式不僅能激發(fā)模型的自主學習能力，還可能在探索過程中發(fā)現(xiàn)更具創(chuàng)新性的思路。
但是DeepSeek-R1-Zero這個孩子一直做試錯練習的話，就會有可讀性差和語言混合問題。于是團隊研發(fā)推出了 DeepSeek-R1，這個模型在訓練過程中引入了少量的冷啟動數(shù)據(jù)，即cold-start data，并通過多階段 RL 優(yōu)化模型，在僅有極少標注數(shù)據(jù)的情況下，極大提升了模型的推理能力。
具體來說，冷啟動數(shù)據(jù)包含數(shù)千條高質(zhì)量的長思維鏈（CoT）示例，通過人工標注和格式過濾（如使用<reasoning>和<summary>標簽），強制模型生成結(jié)構(gòu)清晰、語言一致的內(nèi)容。其核心優(yōu)勢在于：
1、穩(wěn)定性：為強化學習（RL）訓練提供高質(zhì)量的初始策略，有效避免早期探索階段輸出的混亂無序，確保訓練過程平穩(wěn)起步。
2、可讀性：借助模板化輸出（如總結(jié)模塊），顯著提升生成內(nèi)容的用戶友好性，使用戶能夠更直觀地理解和接受輸出結(jié)果。
3、加速收斂：有效減少強化學習訓練所需的步數(shù)，顯著提升訓練效率，加快模型收斂速度。
這么說吧，雖然孩子做錯題集可以有效提高分數(shù)，但是他的答案可能寫得亂七八糟。通過先教模型如何規(guī)范地寫步驟和總結(jié)，再讓它自由發(fā)揮，最終答案既正確又容易看懂。
除此之外，DeepSeek-R1 Zero還創(chuàng)新了一種很厲害的算法 GRPO，通過采樣一組輸出并計算獎勵的均值和標準差來生成優(yōu)勢函數(shù)，從而優(yōu)化策略。這種方法避免了傳統(tǒng) PPO 中需要額外訓練價值模型的高成本，讓模型能夠自主探索復雜的推理行為，比如長思維鏈、自我驗證和反思。
這種純強化學習訓練方式在數(shù)學（AIME 2024 的 Pass@1 從 15.6% 提升至 71.0%）和代碼任務中取得了顯著提升。簡單來說，就像讓機器人通過“試錯”學習解題，而不是依賴例題，最終讓它學會了復雜的解題步驟，表現(xiàn)非常出色。
最后，團隊還分享了他們在實驗中遇到的很多失敗嘗試，并表示雖然在過程獎勵模型以及蒙特卡洛樹搜索算法上團隊都沒有取得研究進展，但這并不意味著這些方法無法開發(fā)出有效的推理模型。
值得一提的是， R1 在訓練時甚至還出現(xiàn)了“頓悟時刻”，就像我們在解難題時突然“靈光一閃”，模型在訓練過程中也自發(fā)地學會了“回頭檢查步驟”。這種能力并非程序員直接教授，而是在算法通過獎勵正確答案的機制下，自然涌現(xiàn)的。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
