0
AI 能不能真正“動腦子”？這個問題有了新答案。
螞蟻開源團(tuán)隊(duì)推出的 Ring-1T 模型，為這個長期存在的疑問提供了最具說服力的實(shí)證。不同于以往依賴海量數(shù)據(jù)“記憶”答案的語言模型，Ring-1T 試圖讓 AI 在復(fù)雜問題中真正“推理”出答案。
它通過強(qiáng)化學(xué)習(xí)與多階段推理機(jī)制的結(jié)合，使模型能夠在反饋中不斷修正思路、優(yōu)化邏輯路徑，逐步形成更穩(wěn)定、更接近人類思維的推理模式。
正是這種從“模仿”到“思考”的轉(zhuǎn)變，讓 Ring-1T 成為開源 AI 領(lǐng)域的一次里程碑式突破。接下來，讓我們看看這項(xiàng)研究是如何實(shí)現(xiàn)的。
論文地址：https://arxiv.org/pdf/2510.18855
實(shí)驗(yàn)中 Ring-1T 模型在多個高難度推理與數(shù)學(xué)基準(zhǔn)上進(jìn)行了系統(tǒng)性評估，都取得了突破性的實(shí)驗(yàn)成果。作為一個開源的萬億參數(shù)思考型模型，Ring-1T 分別在推理、數(shù)學(xué)、編程及通用智能任務(wù)上均展現(xiàn)出卓越的綜合能力。
在數(shù)學(xué)推理能力方面，Ring-1T 在 AIME-2025中取得 93.4 分的成績，接近人類頂尖選手水平；在 HMMT-2025 中得分 86.72，顯示其在跨領(lǐng)域數(shù)學(xué)推理與高復(fù)雜度邏輯演算中的強(qiáng)大能力；在 IMO-2025 模擬評測中達(dá)到銀牌水平，證明模型能夠在需要多步推理與創(chuàng)造性證明的問題中保持高準(zhǔn)確率和穩(wěn)定性。
在編程與算法能力上，模型在 Codeforces 平臺測試中獲得 2088 分，達(dá)到人類程序員的高水平區(qū)間。這表明 Ring-1T 不僅能夠理解算法邏輯，還能在有限時間內(nèi)生成高效、可執(zhí)行的代碼，具備良好的算法復(fù)雜度控制與問題分解能力。
在通用智能推理任務(wù)中，Ring-1T 在 ARC-AGI-v1 中取得 55.94 分，顯著超越此前開源模型的平均表現(xiàn)。該結(jié)果表明，模型在抽象模式識別、思維遷移與多步認(rèn)知推理方面具備接近通用人工智能的潛力。
總體而言，Ring-1T 在各項(xiàng)基準(zhǔn)測試中表現(xiàn)出優(yōu)異的穩(wěn)定性與一致性，尤其在復(fù)雜推理與多步邏輯任務(wù)中未出現(xiàn)顯著性能退化。與此前主要停留在百億或千億參數(shù)規(guī)模的開源模型相比，Ring-1T 在數(shù)學(xué)、推理與算法任務(wù)上全面刷新了開源模型的性能上限，成為新一代開源思考型模型的性能基準(zhǔn)。
實(shí)驗(yàn)結(jié)果還表明，該模型的高性能得益于論文提出的三項(xiàng)關(guān)鍵技術(shù)：
IcePop 旨在提升強(qiáng)化學(xué)習(xí)訓(xùn)練的穩(wěn)定性，解決訓(xùn)練與推理分布不一致的問題。它通過動態(tài)約束與梯度剪切，限制高熵樣本的影響，并自適應(yīng)調(diào)整溫度參數(shù)，使模型在保持探索性的同時更穩(wěn)定收斂，從而提高推理階段的可靠性。
C3PO++ 專注于提升長序列推理和大規(guī)模 rollout 的效率。該方法采用動態(tài)分區(qū)和 token 預(yù)算機(jī)制，將推理過程劃分為多個小批次，并利用持久化緩沖區(qū)續(xù)傳未完成任務(wù)，有效提升 GPU 利用率和整體訓(xùn)練吞吐量。
而 ASystem 則是支撐萬億參數(shù)強(qiáng)化學(xué)習(xí)的分布式架構(gòu)。它整合統(tǒng)一的訓(xùn)練與推理運(yùn)行時、高效的顯存管理、快速的參數(shù)同步以及安全的隔離執(zhí)行環(huán)境，使大規(guī)模模型訓(xùn)練具備更高的并行性、穩(wěn)定性與容錯性。
論文中體現(xiàn)的實(shí)驗(yàn)過程，主要以 Ring-1T 思考型模型 為研究對象，研究人員設(shè)計了分階段的訓(xùn)練體系，包括 監(jiān)督微調(diào)（SFT）、推理強(qiáng)化學(xué)習(xí)（Reasoning RL） 和 通用強(qiáng)化學(xué)習(xí)（General RL）。研究的主要突破集中在后兩個階段，通過引入 IcePop、C3PO++ 與 ASystem 等方法，實(shí)現(xiàn)了在大規(guī)模強(qiáng)化學(xué)習(xí)中的穩(wěn)定訓(xùn)練與高效推理。
實(shí)驗(yàn)中，Ring-1T 模型的訓(xùn)練過程經(jīng)過精心設(shè)計，以在萬億參數(shù)規(guī)模下同時保證穩(wěn)定性和效率。團(tuán)隊(duì)在訓(xùn)練時采用 AdamW 優(yōu)化器，其超參數(shù)設(shè)定為 β?=0.9、β?=0.999，權(quán)重衰減為 0.01；同時固定了 MoE路由器的偏置項(xiàng)，以保持參數(shù)更新的穩(wěn)定。推理與采樣階段的設(shè)置在兩個強(qiáng)化學(xué)習(xí)階段中保持一致，KL 系數(shù)設(shè)為 0.0，采樣溫度為 1.0，以減少訓(xùn)練階段與推理階段分布不一致帶來的偏差。
在強(qiáng)化學(xué)習(xí)階段，Ring-1T 的性能提升主要依賴兩項(xiàng)關(guān)鍵技術(shù)：IcePop 和 C3PO++。其中，IcePop 的目標(biāo)是讓訓(xùn)練過程更加穩(wěn)定，避免模型在訓(xùn)練和推理階段出現(xiàn)表現(xiàn)不一致的情況。
簡單來說，它會在每次更新模型參數(shù)時，對不穩(wěn)定或異常的樣本進(jìn)行“篩選”和“削弱”。具體做法是：計算訓(xùn)練階段與推理階段之間的概率差異，如果某個 token 的概率偏離太大，就會被部分“掩蓋”或降低權(quán)重。這樣可以防止模型在訓(xùn)練中因?yàn)闃O端樣本而產(chǎn)生劇烈波動。
除此之外，IcePop 采用了參數(shù) α=0.5、β=5.0 的范圍，也就是只讓概率比值處于 [0.5, 5.0] 的樣本參與優(yōu)化。研究人員還測試了不同范圍的配置（如 [0.5, 2.0]、[0.4, 5.0]），結(jié)果表明默認(rèn)參數(shù)在訓(xùn)練穩(wěn)定性與性能之間達(dá)到了平衡。
而之后的 C3PO++ 則負(fù)責(zé)優(yōu)化 rollout 過程，使訓(xùn)練在大規(guī)模分布式環(huán)境下更加高效，特別是在處理超長序列時。傳統(tǒng)方法在遇到很長的推理樣本時會拖慢整個訓(xùn)練進(jìn)程，而 C3PO++ 通過“分段訓(xùn)練”和“并行續(xù)傳”的方式解決了這個問題。
它設(shè)置了一個 token 預(yù)算（Φ），當(dāng)生成的 token 數(shù)達(dá)到預(yù)算上限時，就會立即觸發(fā)一次更新。系統(tǒng)分為兩個池子：推理池（P_infer） 不斷生成新樣本，訓(xùn)練池（Q_train） 收集已經(jīng)生成完成的樣本并進(jìn)行更新，這樣推理和訓(xùn)練就可以同時進(jìn)行。
為了防止某些特別長的序列占用資源，C3PO++ 還給每個樣本設(shè)定了一個 保留期（σ），超時未完成的樣本會被清除。而那些還沒生成完的樣本則會在下一輪繼續(xù)生成（即“跨迭代續(xù)傳”）。通過這些機(jī)制，C3PO++ 能讓訓(xùn)練過程更加流暢高效，不會因?yàn)閭€別長樣本卡住整個系統(tǒng)。
總體來說，IcePop 讓訓(xùn)練更穩(wěn)，C3PO++ 讓訓(xùn)練更快，兩者結(jié)合，使 Ring-1T 能在萬億參數(shù)規(guī)模下保持高效、穩(wěn)定的強(qiáng)化學(xué)習(xí)表現(xiàn)。
除此之外，為了讓萬億參數(shù)的 Ring-1T 模型能夠高效穩(wěn)定地進(jìn)行訓(xùn)練，研究團(tuán)隊(duì)還專門設(shè)計了一個分布式強(qiáng)化學(xué)習(xí)系統(tǒng)—— ASystem。它的核心目標(biāo)是：在海量 GPU 和超大模型的條件下，讓訓(xùn)練、推理和參數(shù)更新能夠同時、高效地進(jìn)行，而不會因?yàn)橄到y(tǒng)瓶頸導(dǎo)致中斷或效率下降。
ASystem 采用一種叫 SingleController + SPMD 的并行架構(gòu)。簡單來說，就是用一個中央控制器來統(tǒng)一調(diào)度成千上萬的計算節(jié)點(diǎn)，讓每個節(jié)點(diǎn)都執(zhí)行相同的訓(xùn)練流程，從而保證全系統(tǒng)的同步與高效協(xié)作。
整個系統(tǒng)由四個主要模塊組成：
Hybrid Runtime：這是訓(xùn)練和推理的統(tǒng)一執(zhí)行環(huán)境，負(fù)責(zé)同時管理模型訓(xùn)練和模型測試的計算任務(wù)，避免不同系統(tǒng)之間反復(fù)傳輸數(shù)據(jù)。
AMem：負(fù)責(zé) GPU 顯存的管理和數(shù)據(jù)傳輸。它可以在不同顯卡之間切換內(nèi)存、使用多條數(shù)據(jù)通道傳輸信息，并通過共享內(nèi)存池減少顯存占用，從而支持更大的批量訓(xùn)練而不會崩潰。
AState：負(fù)責(zé)在不同計算節(jié)點(diǎn)之間同步模型參數(shù)。它采用點(diǎn)對點(diǎn)（P2P）的高效傳輸方式，只同步必要的部分，能在大約 10 秒內(nèi)完成萬億級參數(shù)的同步。
ASandbox：相當(dāng)于一個安全的“實(shí)驗(yàn)沙盒”，用于執(zhí)行代碼生成、數(shù)學(xué)計算和邏輯驗(yàn)證等推理任務(wù)。它像“函數(shù)即服務(wù)”一樣，可以在隔離環(huán)境中同時運(yùn)行成千上萬個推理請求。
在系統(tǒng)設(shè)計上，ASystem 將控制邏輯和數(shù)據(jù)流分離，使訓(xùn)練、推理和獎勵計算模塊都能獨(dú)立運(yùn)行。它還具有“快速失敗與自動恢復(fù)”機(jī)制：如果某個節(jié)點(diǎn)出現(xiàn)問題，系統(tǒng)能自動檢測并恢復(fù)運(yùn)行，而不會影響整體訓(xùn)練進(jìn)度。
通過這些設(shè)計，ASystem 讓 Ring-1T 能夠在成千 GPU 的大規(guī)模環(huán)境中穩(wěn)定運(yùn)行，實(shí)現(xiàn)高吞吐、高可靠的強(qiáng)化學(xué)習(xí)訓(xùn)練。雷峰網(wǎng)
過去的模型大多依賴數(shù)據(jù)去模仿人類答案，但面對復(fù)雜推理或邏輯問題時容易出錯。Ring-1T 的研究探索了一種新的思路 —— 通過強(qiáng)化學(xué)習(xí)讓模型在反饋中不斷調(diào)整自己的思考方式，逐步形成更穩(wěn)定、更清晰的推理能力。
它的另一個意義在于證明了超大規(guī)模強(qiáng)化學(xué)習(xí)是可以實(shí)現(xiàn)的。以前這種規(guī)模的模型常常訓(xùn)練不穩(wěn)、成本高、容易崩潰，而這項(xiàng)研究用新的算法和系統(tǒng)設(shè)計，找到了一種讓萬億參數(shù)模型穩(wěn)定訓(xùn)練的方法。這為后續(xù)更復(fù)雜、更自主的模型研究提供了可操作的經(jīng)驗(yàn)。
從更長遠(yuǎn)的角度看，這項(xiàng)工作也讓開源模型有機(jī)會在高層次智能上追上閉源系統(tǒng)。它或許不只是一次技術(shù)升級，而是讓智能研究變得更開放、更有延續(xù)性的一步。雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
