作者 | 賴文昕

編輯 | 陳彩嫻

近日（5.7-5.11），第十二屆國際學(xué)習(xí)表征會(huì)議（ICLR）在奧地利維也納的展覽會(huì)議中心召開。

ICLR 2024 的論文終審工作自 1 月份啟動(dòng)以來，共收到了7262篇提交論文，相較于上一年度的 4966 篇，增幅達(dá)到了 46.1%，接近翻了一番。

在嚴(yán)格的評(píng)審過程中，大會(huì)最終接受了 2260 篇論文，整體接收率維持在 31%，與去年的31.8%基本持平，其中 Spotlights 和 Oral 兩種類型的論文展示分別有 367 篇（占5%）和 86 篇（占1.2%）論文獲選。

除了論文數(shù)量激增外，大模型（LLM）也成為今年 ICLR 的熱門關(guān)鍵詞之一。以 LLM 為研究主題的投稿論文數(shù)量暴漲，研究團(tuán)隊(duì)來自全球各地，涵蓋多個(gè)細(xì)分方向，ICLR 也由此吸引了美國微軟、谷歌、OpenAI、Anthropic、Meta，以及中國智譜、百度、面壁等多個(gè)科技團(tuán)隊(duì)的參會(huì)。

可以說，今年人工智能領(lǐng)域首個(gè)舉辦的 ICLR 不僅是一個(gè)傳統(tǒng)的學(xué)術(shù)會(huì)議，也是全球工業(yè)界大模型團(tuán)隊(duì)正面較量的縮影。ICLR 2024 的截稿日期是2023 年 9 月 28 日，但在過去的大半年，LLM 在 AI 領(lǐng)域依然狂飆不止。

更值得關(guān)注的是，從今年的 ICLR 論文成果與演講來看，經(jīng)過一年的研究，各家在大模型上的研究已經(jīng)不只停留在“研究 OpenAI”、“追趕 OpenAI” 的階段。尤其是中國的研究團(tuán)隊(duì)，他們已經(jīng)不再單純模仿 OpenAI。

相反，LLM 的研究團(tuán)隊(duì)都不約而同地提出了自己對(duì) AGI 的思考。

LLM 成為絕對(duì)主角

ICLR 是由深度學(xué)習(xí)領(lǐng)軍人物、圖靈獎(jiǎng)三巨頭之二的 Yoshua Bengio 和 Yann LeCun 牽頭發(fā)起的，首屆會(huì)議于 2013 年在美國亞利桑那州的斯科茨代爾舉辦。

盡管與 NeurIPS（神經(jīng)信息處理系統(tǒng)大會(huì)）和 ICML（國際機(jī)器學(xué)習(xí)大會(huì)）相比，ICLR 的年資尚淺，但其學(xué)術(shù)影響力和認(rèn)可度正日益提升，現(xiàn)已與前兩者一起被公認(rèn)為機(jī)器學(xué)習(xí)領(lǐng)域的三大頂級(jí)會(huì)議，參會(huì)人數(shù)與投稿數(shù)量也逐年顯著增加。

ICLR歷年數(shù)據(jù)：https://papercopilot.com/statistics/iclr-statistics/

會(huì)議召開的前一天，ICLR 2024 的官方網(wǎng)站公布了本年度的獲獎(jiǎng)?wù)撐拿麊危貏e表彰了 5 篇杰出論文和 11 篇榮譽(yù)提名論文。5 篇杰出論文主要圍繞圖像擴(kuò)散模型、模擬人機(jī)交互、預(yù)訓(xùn)練和微調(diào)、離散蛋白質(zhì)序列數(shù)據(jù)的建模與 Vision Transformers 展開研究，其中預(yù)訓(xùn)練與微調(diào)就是大模型相關(guān)。

根據(jù) ICLR 公布的接收論文數(shù)據(jù)，被提及次數(shù)最多的前十個(gè)關(guān)鍵詞分別是：大語言模型（LLM）、強(qiáng)化學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)、擴(kuò)散模型、深度學(xué)習(xí)、表征學(xué)習(xí)、生成模型、聯(lián)邦學(xué)習(xí)、語言模型與可解釋性。

在這些關(guān)鍵詞中，LLM 排名第一，被 318 篇研究提及，與位列第二名的強(qiáng)化學(xué)習(xí)（201篇）相比，整整多了 1/3，毫無疑問成為 ICLR 的絕對(duì)主角。

這 301 篇以 LLM 為研究主題的工作所涵蓋的具體方向也十分廣泛，如關(guān)于智能體（Agent）的研究、與強(qiáng)化學(xué)習(xí)結(jié)合、與其他生成模型結(jié)合、與三維重建結(jié)合、在 NLP 領(lǐng)域的應(yīng)用、在多模態(tài)領(lǐng)域的應(yīng)用、碳足跡建模等等。

在被 ICLR 接收的 LLM 相關(guān)論文中，有不少過去幾個(gè)月令人驚艷的新科研成果或產(chǎn)品，比如由深度賦智等中國團(tuán)隊(duì)開發(fā)、開源的多 Agent 開發(fā)框架 MetaGPT。

MetaGPT 模擬了一個(gè)完整的虛擬軟件團(tuán)隊(duì)，包括多個(gè)角色如產(chǎn)品經(jīng)理和工程師，采用標(biāo)準(zhǔn)操作流程，旨在自動(dòng)化編程任務(wù)，解決大模型應(yīng)用問題，能輸出設(shè)計(jì)、架構(gòu)和代碼。這篇論文在 ICLR 2024 中得到了 8.0 的高分。

普林斯頓大學(xué)和芝加哥大學(xué)聯(lián)合發(fā)布的 LLM 評(píng)估框架 SWE-bench 也被選中為 Oral 論文。

這是一個(gè)由來自 GitHub 中真實(shí)的 2294 個(gè)軟件工程問題以及 12 個(gè)流行的 Python 存儲(chǔ)庫中的拉取請(qǐng)求所組成的評(píng)估框架，通過給定代碼庫以及要解決的問題的描述，測評(píng) LLM 編輯代碼庫解決問題的能力。

解決 SWE-bench 中的問題通常需要同時(shí)理解和協(xié)調(diào)多個(gè)函數(shù)甚至是文件之間的更改，調(diào)用模型與執(zhí)行環(huán)境交互，處理極長的上下文，并執(zhí)行遠(yuǎn)超出傳統(tǒng)代碼生成任務(wù)的復(fù)雜推理。可以說，這個(gè)測評(píng)標(biāo)準(zhǔn)的出現(xiàn)，讓市面上大模型的性能比拼有了更直觀的數(shù)據(jù)。

此外，還有MIT、港中文及英偉達(dá)提出的超長上下文 LLM 高效微調(diào)方法 LongLoRA 。

這是一種十分有效的微調(diào)方法，通過稀疏的局部注意力進(jìn)行微調(diào)， LongLoRA 實(shí)現(xiàn)了上下文擴(kuò)展，節(jié)省了計(jì)算量，并具有與普通注意力微調(diào)相似的性能。

ICLR 2024 還出現(xiàn)了 LLM 與碳足跡的新穎結(jié)合。來自印第安納大學(xué)與杰克遜州立大學(xué)的研究團(tuán)隊(duì)發(fā)現(xiàn)，能在訓(xùn)練前預(yù)測新神經(jīng)網(wǎng)絡(luò)的碳足跡的工具 mlco2 存在局限性，如無法估算密集或?qū)＜一旌希∕oE）LLM 的碳足跡，忽視關(guān)鍵架構(gòu)參數(shù)，僅關(guān)注GPU，且無法對(duì)具體碳足跡進(jìn)行建模。

為解決這些局限，他們開發(fā)了一種專為密集和 MoE LLM 設(shè)計(jì)的、端到端碳足跡預(yù)測模型，顯著提高了 LLM 碳足跡估算的準(zhǔn)確性。

關(guān)于 LLM 與三維重建的結(jié)合，澳大利亞國立大學(xué)與 Adobe 研究中心提出的 LRM，能夠在短短5秒內(nèi)從單個(gè)輸入圖像預(yù)測對(duì)象的3D模型。

與以往在小規(guī)模數(shù)據(jù)集上訓(xùn)練的方法不同，LRM 采用高度可擴(kuò)展的、基于 Transformer 的架構(gòu)，擁有5億個(gè)可學(xué)習(xí)參數(shù)，并可以直接從數(shù)據(jù)集預(yù)測神經(jīng)輻射場（NeRF）。研究團(tuán)隊(duì)在大約包含100萬個(gè)對(duì)象的海量多視圖數(shù)據(jù)上以端到端的方式訓(xùn)練了 LRM，包括來自 Objaverse 的合成渲染和來自 MVImgNet 的真實(shí)截圖。

無論是 MetaGPT 還是 LongLoRA，國內(nèi)大模型的研發(fā)人員均參與其中，放眼望去，入選的華人作者更是比比皆是。

而來到 ICLR 2024 的大會(huì)現(xiàn)場，中國的大模型初創(chuàng)團(tuán)隊(duì)如智譜 AI，互聯(lián)網(wǎng)科技大廠如字節(jié)、百度、美團(tuán)、華為、螞蟻的身影更是遍布在展會(huì)各處，在 32 個(gè)參會(huì)企業(yè)中占領(lǐng)了其中的 6 席。

Keynote 演講中，智譜等來自中國的大模型公司也作了深入分享，吸引了來自國內(nèi)外 LLM 參會(huì)者的廣泛關(guān)注。

不難發(fā)現(xiàn)，中國團(tuán)隊(duì)已成為大模型研究熱潮中不可忽視的主力軍。

從 ICLR 看見“中國 AGI”

2023 年 ChatGPT 引爆大模型熱潮后，AGI 就成為了備受關(guān)注的焦點(diǎn)議題。如何通往 AGI，成為了無論是技術(shù)驅(qū)動(dòng)、產(chǎn)品驅(qū)動(dòng)還是商業(yè)驅(qū)動(dòng)團(tuán)隊(duì)都要爭相回答的問題。

從 GPT-3 到 GPT-3.5，從 ChatGPT 到 GPT-4 與 GPT-4V，OpenAI 的下一步“GPT-X”一度成為行業(yè)最熱的話題猜測，并曾被狂熱地視為“LLM 的下一步”。

然而，隨著越來越多的研究者加入，中國的大模型研究者開始批判思考“OpenAI 模式”與“GPT 路線”。據(jù) AI 科技評(píng)論與多個(gè)中國大模型團(tuán)隊(duì)的交流，他們?cè)絹碓较嘈?，如果一味追趕 OpenAI，那么“我們將最多成為 OpenAI，卻無法超越 OpenAI”。

比如，有大模型團(tuán)隊(duì)指出，大模型不具備“智能涌現(xiàn)”的能力，一味追求通過擴(kuò)大模型規(guī)模來實(shí)現(xiàn)模型智能的路線風(fēng)險(xiǎn)極高，大模型要通過具體的產(chǎn)品與服務(wù)來實(shí)現(xiàn)價(jià)值。2023 年斯坦福團(tuán)隊(duì)獲選 NeurIPS 最佳論文的工作“Are Emergent Capabilities of LLMs a Mirage?”就指出，大模型的智能涌現(xiàn)能力也許是錯(cuò)覺。

OpenAI 的單向路線以及過度依賴長序列的方法，也引起行業(yè)的反思。以長文本為例，如果說大模型的目標(biāo)是實(shí)現(xiàn) AGI，那么從 AGI 的終極目標(biāo)倒推，AGI 所應(yīng)包含的能力并不是 OpenAI 大模型的現(xiàn)有架構(gòu)所能很好解決的。類比人類的能力，人會(huì)通過多次做一件事、越做越熟練，且掌握一項(xiàng)技能（如騎自行車）后就不會(huì)遺忘，但目前的大模型并不具備類似人的這種“經(jīng)驗(yàn)性記憶”，長文本與長序列目前也沒有顯示出表達(dá)這種能力的潛力。

相比模仿 OpenAI，中國的大模型創(chuàng)業(yè)者開始趨于從 AGI 的第一性原理出發(fā)，思考一條獨(dú)特的、同時(shí)符合中國市場與服務(wù)的技術(shù)路線。

即使是被外界視為從模型到產(chǎn)品全面對(duì)標(biāo) OpenAI 的智譜 AI，在如何實(shí)現(xiàn) AGI 的路徑上也有與 OpenAI 不同的思考。這一差異在智譜團(tuán)隊(duì)于 ICLR 2024 大會(huì)現(xiàn)場發(fā)表的主旨演講內(nèi)容中可見一斑。作為唯一受邀作主旨演講的中國 LLM 團(tuán)隊(duì)，智譜在 ICLR 圍繞“ChatGLM 的 AGI 之路”分享了團(tuán)隊(duì)的獨(dú)特思考。

盡管模型矩陣與 OpenAI 相似，但智譜的 AGI 核心與路徑卻大大區(qū)別于 OpenAI。

從2019 年開始，智譜的大模型研究以“認(rèn)知”（Cognition）為核心，借鑒人類思維，將模型的能力研發(fā)分為負(fù)責(zé)快速直覺的“系統(tǒng) 1”與負(fù)責(zé)慢速邏輯的“系統(tǒng) 2”。這借鑒了 Yoshua Bengio 最早提出的“System 1”與“System 2”理論。

智譜的思考是：系統(tǒng) 1 以 LLM 為核心，能迅速響應(yīng)簡單問題；系統(tǒng) 2 則采用知識(shí)圖譜構(gòu)建，能處理復(fù)雜的推理任務(wù)，建立短期和長期記憶，還具備無意識(shí)學(xué)習(xí)和自我管理等功能。這是為了讓計(jì)算機(jī)程序能像人類運(yùn)用左右腦一樣，既能快速回答簡單問題，又能通過推理回答復(fù)雜問題。

此外，智譜的 GLM 大模型采取雙向自回歸路線，而 OpenAI 的 GPT 系列采取單向自回歸路線。雙向自回歸的特點(diǎn)是：在生成 token 時(shí)，GLM 可以只關(guān)注單側(cè)的上下文；在采用隨機(jī)化的 token 控制策略處理已知 token 時(shí)，GLM 又能同時(shí)考慮兩側(cè)的上下文，實(shí)現(xiàn)對(duì)單向和雙向注意力機(jī)制的雙重管理。

這相當(dāng)于將 BERT 的填空功能與 GPT 的生成能力相結(jié)合，通過自回歸的方式做“完形填空”。因此，在某些任務(wù)，GLM-130B 的性能能超過 GPT-3。

此外，智譜的大模型技術(shù)團(tuán)隊(duì)還認(rèn)為，人類大腦具有多模態(tài)的感知與理解能力，以及短期和長期記憶能力以及推理能力的組合。因此，視覺語言模型（VLM）也是通往 AGI 不可缺少的一環(huán)。

CogVLM 就此誕生。這是一個(gè)開源的圖像理解模型，旨在彌合 LLM 與視覺編碼器之間的差距。通過將文本信息與視覺編碼相結(jié)合，并對(duì)該組合模塊進(jìn)行訓(xùn)練，CogVLM 實(shí)現(xiàn)了文本與圖像間精確的映射，極大地提升了模型對(duì)視覺內(nèi)容的理解和生成能力，也被用于 Stable Diffufion 3 的圖像標(biāo)注。

技術(shù)團(tuán)隊(duì)還研發(fā)了一個(gè)創(chuàng)新級(jí)聯(lián)框架 CogView3。作為第一個(gè)在文本到圖像生成領(lǐng)域?qū)崿F(xiàn)級(jí)聯(lián)擴(kuò)散的模型， CogView3 在人類評(píng)估中比當(dāng)前最先進(jìn)的開源文本到圖像擴(kuò)散模型 SDXL 性能高出77.0%，推理時(shí)間卻僅為其大約一半的長度，其蒸餾變體在性能相當(dāng)?shù)那闆r下，甚至只需 SDXL 的1/10的推理時(shí)間。

隨著 CogVLM 的加入，GLM-4V 也投入了使用，無論是面對(duì)包含世界常識(shí)的圖片還是需要理解推理的圖表，GLM-4V 都能提供言之有物的回復(fù)。

為了讓 GLM-4V 能自動(dòng)產(chǎn)生不同的功能，如增加長文本的模式以儲(chǔ)存長期記憶，或從反饋中不斷自我學(xué)習(xí)完善，GLM 大模型技術(shù)團(tuán)隊(duì)開發(fā)了能為 LLM 啟用通用代理（Agent）能力的 AgentTuning。

此前，大模型訓(xùn)練是通過輸入數(shù)據(jù)讓其不斷學(xué)習(xí)和微調(diào)，但這個(gè)方法的缺點(diǎn)是它無法推廣至其他更廣泛的情況。而 AgentTuning 只需用少量案例和有限的標(biāo)記數(shù)據(jù)，就可以將訓(xùn)練好的模型推廣到不同的模型之中。

與此同時(shí)，大模型的“涌現(xiàn)能力”同樣是智譜技術(shù)團(tuán)隊(duì)一直在探索的問題。在 LLM 烈火烹油的幾年間，Scaling Law 被封為鐵律，不少人認(rèn)為模型大小與訓(xùn)練數(shù)據(jù)量的增加才能讓模型“智能涌現(xiàn)”。

OpenAI 科學(xué)家 Jason Wei 于2022年在機(jī)器學(xué)習(xí)期刊 TMLR 上發(fā)表了論文，提出 LLM 涌現(xiàn)能力中的某些能力僅在大模型中顯現(xiàn)，小模型并不具備，因此大模型的新興能力無法僅憑小模型的性能來預(yù)測，而增加模型的規(guī)模后，新興能力自然會(huì)呈線性提高。

而智譜在不久前發(fā)布的研究卻提出了一個(gè)新的理解：損失（Loss）才是涌現(xiàn)的關(guān)鍵，而非模型參數(shù)。

將訓(xùn)練損失標(biāo)為 X 軸、模型性能標(biāo)為 Y 軸后，研究人員發(fā)現(xiàn)，如果訓(xùn)練損失達(dá)到了2.2的閾值，模型性能就會(huì)攀升。由此可見，模型的“涌現(xiàn)能力”除了與模型大小、訓(xùn)練數(shù)據(jù)量緊密關(guān)聯(lián)，也可能源自于訓(xùn)練損失。

論文地址：https://arxiv.org/pdf/2403.15796.pdf

可以預(yù)見，GLM 系列將迎來新升級(jí)，GLM-4.5 及其后續(xù)版本將融合超級(jí)智能（SuperIntelligence）和超級(jí)對(duì)齊（SuperAlignment）技術(shù)，在增強(qiáng)模型的安全性的基礎(chǔ)上構(gòu)建全面的多模態(tài)模型。而這些成果的迭代，都是源于一個(gè)團(tuán)隊(duì)的創(chuàng)新思考。

在 ICLR 大會(huì)演講中，智譜提出了自己的 AGI 思考：

首先是在文本這一最關(guān)鍵的智能基礎(chǔ)上混合圖像、視頻、音頻等多種模態(tài)，將 LLM 應(yīng)用于聊天、OCR 識(shí)別等場景中；接著開發(fā)虛擬的 Agent 來協(xié)助用戶完成多種任務(wù)，再之后是開發(fā)能與現(xiàn)實(shí)世界互動(dòng)并得到其反饋的 Agent，接下來甚至可能是機(jī)器人，通過機(jī)器人和現(xiàn)實(shí)世界互動(dòng)后得到真實(shí)反饋、以進(jìn)一步實(shí)現(xiàn) AGI……

智譜團(tuán)隊(duì)還提出了一個(gè)有意思的概念：GLM-OS。

在他們的設(shè)想中，這是一個(gè)以大模型為核心的通用計(jì)算系統(tǒng)，能利用現(xiàn)有的 All-Tools 功能，結(jié)合記憶和自我反饋機(jī)制，模擬人類的計(jì)劃-執(zhí)行-檢查-行動(dòng)（Plan-Do-Check-Act, PDCA）循環(huán)，實(shí)現(xiàn)自我優(yōu)化。這一設(shè)想引起會(huì)議觀眾的熱烈關(guān)注，也展示了中國大模型團(tuán)隊(duì)的前瞻性與思考力。

最后，團(tuán)隊(duì)分享了自2019年起研發(fā)的 GLM-zero 技術(shù)，該技術(shù)探索了類似人類在睡眠中仍進(jìn)行學(xué)習(xí)的無意識(shí)學(xué)習(xí)機(jī)制，涉及自我引導(dǎo)、反思和批評(píng)，旨在深化對(duì)意識(shí)、知識(shí)和學(xué)習(xí)行為的理解，也代表了 AGI 的重要一步。

值得關(guān)注的是，在今天，能調(diào)用以上技術(shù) API 的智譜大模型 MaaS 開放平臺(tái)（bigmodel.cn）就大幅降價(jià)，其中最具性價(jià)比的基座大模型 GLM-3-Turbo 模型的調(diào)用價(jià)格下調(diào)80%，從0.005/千 tokens 降至0.001/千 tokens，新注冊(cè)用戶獲贈(zèng)還從500 萬tokens提升至2500萬tokens（包含2000萬入門級(jí)額度和500萬企業(yè)級(jí)額度）。

寫在最后

今天，Sam Altman 預(yù)告 OpenAI 將在 5 月 13 日發(fā)布新產(chǎn)品，既不是萬眾期待的 GPT-5，也不是前段時(shí)間廣為流傳的 ChatGPT 搜索引擎產(chǎn)品。在海內(nèi)外大模型仍在追趕 GPT-4 之際，OpenAI 又要開拓新的版圖。

“追趕 OpenAI，成為 OpenAI，超越 OpenAI?！边@似乎已成為國產(chǎn)大模型的魔咒。

但在過去一年，智譜 GLM-4、阿里 Qwen-Max 與百度文心一言4.0等國產(chǎn)大模型在各類評(píng)測榜單表現(xiàn)亮眼，躋身于國際舞臺(tái)。此次 ICLR 大會(huì)現(xiàn)場的 LLM 成果就已表明，2024 年，“追趕 OpenAI”不再是中國大模型公司的核心，“超越 OpenAI”與商業(yè)化落地才是國內(nèi)團(tuán)隊(duì)的目標(biāo)。

對(duì)比 2012 到 2022 的深度學(xué)習(xí)十年，我們不難發(fā)現(xiàn)，大模型時(shí)代的 AI 發(fā)展周期在不斷加快。在加速的技術(shù)周期中，技術(shù)從研發(fā)到商業(yè)的距離也大幅縮減，對(duì)創(chuàng)新者也不斷提出了新的要求。

“沒有第二個(gè) OpenAI”，但有“第一個(gè) ChatGLM”、第一個(gè)文心一言、第一個(gè)通義千問……也許從前國內(nèi)行業(yè)觀察者信心不足，但 ICLR 2024 結(jié)束后，國產(chǎn)大模型的力量走出國門，能與國際知名的 LLM 公司較量——這一事實(shí)，會(huì)更加振奮國內(nèi) LLM 的信心。

本文雷峰網(wǎng)作者 anna042023 將持續(xù)關(guān)注AI大模型領(lǐng)域的人事、企業(yè)、商業(yè)應(yīng)用以及行業(yè)發(fā)展趨勢(shì)，歡迎添加雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))作者交流，互通有無。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。