2024 年 6 月 6 日中國(guó)計(jì)算機(jī)學(xué)會(huì)大模型論壇（CCF FoLM）主題會(huì)議在北京順利舉辦。本次會(huì)議主題為“大模型技術(shù)進(jìn)展與挑戰(zhàn)”，各位專(zhuān)家圍繞大模型技術(shù)的前沿動(dòng)態(tài)、發(fā)展趨勢(shì)及技術(shù)挑戰(zhàn)等議題展開(kāi)深入探討，為廣大從業(yè)者、研究者提供了一場(chǎng)豐富的學(xué)術(shù)盛宴。本次會(huì)議還宣布了“CCF 大模型安全挑戰(zhàn)賽”的正式啟動(dòng)！

2024 年 6 月 6 日，中國(guó)計(jì)算機(jī)學(xué)會(huì)大模型論壇（CCF FoLM）主題會(huì)議在北京清華科技園科技大廈舉辦。

CCF 大模型論壇于今年 3 月正式成立，由騰訊、中國(guó)移動(dòng)、三六零集團(tuán)、海光信息、智譜AI、第四范式、稀宇科技、并行科技、無(wú)問(wèn)芯穹、瑞萊智慧科技、生數(shù)科技、清程極智、麥伽智能、面壁智能、聆心智能共同發(fā)起，旨在建設(shè)專(zhuān)注于大模型研究與應(yīng)用的領(lǐng)先智庫(kù)和高效交流平臺(tái)，促成國(guó)內(nèi)大模型的生態(tài)合力，共同推進(jìn)大模型技術(shù)的前沿發(fā)展和應(yīng)用。

本次會(huì)議上午部分由 CCF 大模型論壇學(xué)術(shù)秘書(shū)、復(fù)旦大學(xué)邱錫鵬教授主持，下午部分由 CCF 大模型論壇學(xué)術(shù)秘書(shū)、清華大學(xué)東昱曉教授主持。

圖｜邱錫鵬主持開(kāi)場(chǎng)

CCF 杰出會(huì)員、常務(wù)理事、CCF 大模型論壇副主席、中國(guó)人民大學(xué)人工智能學(xué)院院長(zhǎng)文繼榮教授作開(kāi)幕式致辭。

圖｜文繼榮作開(kāi)幕致辭

智譜AI GLM 技術(shù)團(tuán)隊(duì)研究員顧曉韜、清華大學(xué)長(zhǎng)聘教授、國(guó)家杰青黃民烈、華為語(yǔ)音語(yǔ)義首席科學(xué)家劉群、復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院教授邱錫鵬、阿布扎比技術(shù)創(chuàng)新研究所研究員 Quentin Malartic、清華大學(xué)電子工程系長(zhǎng)聘教授、系主任汪玉、清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘教授、清華大學(xué)計(jì)算機(jī)系高性能所副所長(zhǎng)翟季冬、清華大學(xué)計(jì)算機(jī)系博世 AI 教授、清華大學(xué)人工智能研究院副院長(zhǎng)朱軍、哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部長(zhǎng)聘教授，人工智能研究院副院長(zhǎng)車(chē)萬(wàn)翔等大模型領(lǐng)域?qū)＜覍W(xué)者受邀出席并做主題報(bào)告。（按姓名拼音首字母排序）

來(lái)自阿布扎比技術(shù)創(chuàng)新研究所的 Quentin Malartic 博士發(fā)表了主題報(bào)告《The Falcon Series of Open Language Models》，他主要講解了 Falcon 模型的研究進(jìn)展，包括數(shù)據(jù)處理、訓(xùn)練分解、模型架構(gòu)，以及如何去構(gòu)建對(duì)話(huà)樹(shù)來(lái)進(jìn)行研究。他還介紹了對(duì)于 Falcon 模型的評(píng)價(jià)細(xì)節(jié)，以及視覺(jué)語(yǔ)言模型的情況。

圖｜Quentin Malartic 作主題報(bào)告

CCF大模型論壇常委會(huì)員、清華大學(xué)黃民烈教授圍繞大語(yǔ)言模型尤其是中文大語(yǔ)言模型的對(duì)齊和超級(jí)對(duì)齊問(wèn)題，闡述了其在弱到強(qiáng)泛化（weak-to-strong generalization）、規(guī)模化監(jiān)督（scalable oversight）、精確對(duì)齊、黑盒對(duì)齊、模型權(quán)重外插、自動(dòng)紅隊(duì)測(cè)試等方面的工作。

圖｜黃民烈作主題報(bào)告

清華大學(xué)汪玉教授的報(bào)告聚焦于大模型時(shí)代下軟硬件系統(tǒng)方面的關(guān)鍵挑戰(zhàn)和發(fā)展現(xiàn)狀，向參會(huì)嘉賓們介紹了面向 AI 2.0 的高能效電路與系統(tǒng)設(shè)計(jì)方法，包括從算法模型優(yōu)化到硬件架構(gòu)設(shè)計(jì)的一系列軟硬件協(xié)同優(yōu)化策略。在報(bào)告中，他還簡(jiǎn)要介紹了 AI 2.0 時(shí)代算力生態(tài)建設(shè)的初步探索，并對(duì)未來(lái)發(fā)展趨勢(shì)進(jìn)行展望。

圖｜汪玉作主題報(bào)告

智譜AI 顧曉韜博士，針對(duì) Agent 這一領(lǐng)域，介紹了 Agent 能夠感知環(huán)境、理解任務(wù)、規(guī)劃步驟、調(diào)用工具、執(zhí)行動(dòng)作從而完成復(fù)雜任務(wù)的能力特點(diǎn)，并向大家概述了 GLM 技術(shù)團(tuán)隊(duì)面向 Agent 能力從評(píng)測(cè)、優(yōu)化、多模態(tài)能力等方向做的技術(shù)嘗試和探索。

圖｜顧曉韜作主題報(bào)告

CCF 大模型論壇副主席、華為語(yǔ)音語(yǔ)義首席科學(xué)家劉群教授介紹了華為盤(pán)古大模型的技術(shù)和應(yīng)用概況，并講述了盤(pán)古語(yǔ)言大模型開(kāi)發(fā)過(guò)程中采用的一些核心技術(shù)和面臨的挑戰(zhàn)，具體包括模型架構(gòu)、訓(xùn)練優(yōu)化、推理加速、自我提升等方面。

圖｜劉群作主題報(bào)告

CCF大模型論壇執(zhí)行委員、清華大學(xué)朱軍教授介紹了多模態(tài)擴(kuò)散概率模型在圖像、3D 和視頻生成的最新進(jìn)展，重點(diǎn)介紹了 Vidu 視頻大模型的三大更新：（1）首發(fā)一鍵生成 32s 長(zhǎng)視頻；（2）發(fā)布視頻/文本到音頻生成技術(shù)，Vidu 生成的視頻有聲音了；（3）Vidu4D——從 Vidu 生成的視頻通過(guò)高效重建，生成 4D 的視頻。

圖｜朱軍作主題報(bào)告

CCF大模型論壇常務(wù)會(huì)員、哈爾濱工業(yè)大學(xué)車(chē)萬(wàn)翔教授指出現(xiàn)有的思維鏈研究仍面臨兩大挑戰(zhàn)：（1）缺乏對(duì)思維鏈能力評(píng)估的定量指標(biāo)；（2）缺乏對(duì)思維鏈能力優(yōu)化的指導(dǎo)。為此，他們引入了一種新穎的“推理粒度”框架來(lái)解釋思維鏈技術(shù)的機(jī)理，并使用該框架改進(jìn)思維鏈的推理能力。進(jìn)一步地，通過(guò)在眾多模型和任務(wù)上的實(shí)驗(yàn)，表明了該框架的存在性和合理性。此外，該框架還能夠用于解釋多種思維鏈策略的有效性，并能夠從兩個(gè)角度共同指導(dǎo)思維鏈策略的優(yōu)化。

圖｜車(chē)萬(wàn)翔作主題報(bào)告

CCF大模型論壇執(zhí)行會(huì)員、清華大學(xué)翟季冬教授就當(dāng)前大模型技術(shù)不斷發(fā)展，其對(duì)算力的需求持續(xù)增大的這一問(wèn)題展開(kāi)討論，并指出當(dāng)前中國(guó)在獲取最先進(jìn)的芯片方面面臨巨大的挑戰(zhàn)。如何充分發(fā)揮國(guó)產(chǎn)算力硬件性能，讓國(guó)產(chǎn)算力易用好用，滿(mǎn)足大模型對(duì)算力的需求具有重要意義。針對(duì)此挑戰(zhàn)，他們團(tuán)隊(duì)在國(guó)產(chǎn)智能算力上開(kāi)展核心基礎(chǔ)軟件相關(guān)研究。其中，在新一代國(guó)產(chǎn)超級(jí)計(jì)算機(jī)上，他們從編譯器、算子庫(kù)、并行加速和負(fù)載均衡等方面對(duì)大模型進(jìn)行了深入優(yōu)化，優(yōu)化后的訓(xùn)練性能達(dá)到 EFLOPS。

圖｜翟季冬作主題報(bào)告

邱錫鵬教授則從大語(yǔ)言模型展現(xiàn)了通用人工智能助手廣闊的研究和應(yīng)用前景，但仍存在一定不足的這一問(wèn)題出發(fā)，向大家介紹了大語(yǔ)言模型 MOSS 2 的研發(fā)進(jìn)展以及關(guān)鍵技術(shù)，包括高效模型架構(gòu)、多模態(tài)擴(kuò)展、工具使用，最終實(shí)現(xiàn)可交互、可學(xué)習(xí)、可解釋的世界模型。

圖｜邱錫鵬作主題報(bào)告

此外，本次會(huì)議還舉辦了兩場(chǎng)別開(kāi)生面的 Debates。黃民烈（清華大學(xué)）、俞濤（零一萬(wàn)物聯(lián)合創(chuàng)始人）、顧曉韜（智譜AI 算法研究員）、李伯勛（無(wú)問(wèn)芯穹算法負(fù)責(zé)人）、曾國(guó)洋（面壁智能 CTO）、何家傲（清華大學(xué)博士研究生）等來(lái)自不同領(lǐng)域的專(zhuān)家學(xué)者，就「超級(jí)對(duì)齊的本質(zhì)是什么？」、「Maas 是個(gè)偽命題嗎？」等問(wèn)題，展開(kāi)了現(xiàn)場(chǎng)交鋒，為廣大參會(huì)者呈現(xiàn)了一場(chǎng)精彩且深刻的思想探討。兩場(chǎng) Debates 分別由邱錫鵬教授、CCF大模型論壇主席唐杰教授主持。

「超級(jí)對(duì)齊的本質(zhì)是什么」

圖｜Debate 現(xiàn)場(chǎng)

超級(jí)對(duì)齊的本質(zhì)是大模型自我進(jìn)化、迭代的過(guò)程

黃民烈：超級(jí)對(duì)齊本質(zhì)上應(yīng)該是怎么樣實(shí)現(xiàn)一個(gè)大模型的自我進(jìn)化、自我迭代的學(xué)習(xí)過(guò)程。目前還是非常初步的嘗試，很多東西沒(méi)有做，但需要堅(jiān)信不移地一步一步從小的嘗試開(kāi)始，逐步實(shí)現(xiàn)真正發(fā)現(xiàn)模型弱點(diǎn)，并進(jìn)行自動(dòng)修復(fù)。

超級(jí)對(duì)齊是機(jī)器的自我演化，通過(guò)反饋提升自己的方式

文繼榮：大家認(rèn)為，現(xiàn)在的階段，或可預(yù)見(jiàn)的階段，對(duì)齊尤其超級(jí)對(duì)齊還是非常重要的。我們需要重視大模型的安全性，尤其是模型智力水平越來(lái)越高的時(shí)候，將來(lái)會(huì)不會(huì)出現(xiàn)失控的風(fēng)險(xiǎn)，所以對(duì)齊很重要。
當(dāng)“超級(jí)對(duì)齊”這個(gè)詞出來(lái)的時(shí)候，大家就要意識(shí)到，不再只是簡(jiǎn)單跟人類(lèi)價(jià)值觀對(duì)齊了，它現(xiàn)在已經(jīng)漸漸從關(guān)注模型安全，變成了一種通過(guò)反饋來(lái)提升自己的方式，實(shí)現(xiàn)機(jī)器自我演化。另外，過(guò)度的對(duì)齊也可能損害模型的能力和“人性”。
超級(jí)對(duì)齊的技術(shù)預(yù)研是非常重要的

俞濤：我們?cè)趯?duì)齊 GPT-4 水平模型的過(guò)程中，主要方法是基于人類(lèi)專(zhuān)家反饋數(shù)據(jù)的強(qiáng)化學(xué)習(xí)。但人類(lèi)將無(wú)法規(guī)?；貫橄乱淮Ｐ吞峁┛煽康谋O(jiān)督信號(hào)，或者給予反饋的效率遠(yuǎn)遠(yuǎn)低于 AI 迭代的效率，因此我們目前的對(duì)齊技術(shù)不能擴(kuò)展到超級(jí)智能。我們需要做好超級(jí)對(duì)齊的研究和技術(shù)預(yù)研，包括 weak-to-strong generalization（從弱到強(qiáng)的泛化）、可解釋性（可解釋性）、scalable oversight（可擴(kuò)展的監(jiān)督），為 AGI 的到來(lái)做好準(zhǔn)備。

超級(jí)對(duì)齊要實(shí)現(xiàn)讓語(yǔ)言模型真正為我們服務(wù)

劉群：大模型純粹是從語(yǔ)言文本訓(xùn)練出來(lái)的，作為對(duì)齊，要把語(yǔ)言空間的東西跟這兩個(gè)空間對(duì)齊起來(lái)。我們說(shuō)安全的時(shí)候，更多考慮的是跟意識(shí)世界的對(duì)齊，跟物理世界的對(duì)齊同樣重要。我們要對(duì)客觀世界反饋，不光是安全的問(wèn)題，在技術(shù)上來(lái)說(shuō)是很類(lèi)似的。研究超級(jí)對(duì)齊，是讓語(yǔ)言模型真正為我們服務(wù)，反映真正的客觀世界、真正的意識(shí)世界，這是它有用的地方。
超級(jí)對(duì)齊的終極目標(biāo)具有重要意義

顧曉韜：AI 行業(yè)對(duì)超級(jí)對(duì)齊的關(guān)注首先說(shuō)明 AI 技術(shù)發(fā)展確實(shí)到了一個(gè)新的高度。超級(jí)對(duì)齊除了考慮未來(lái)超級(jí)智能可控性的問(wèn)題，也包括人類(lèi)監(jiān)督到達(dá)瓶頸后通過(guò)模型與外部環(huán)境自主交互等方式獲取監(jiān)督信號(hào)去進(jìn)一步提升智能水平的途徑，核心目標(biāo)還是加深我們對(duì)智能本身的理解。

「MaaS是個(gè)偽命題嗎？」

圖｜Debate 現(xiàn)場(chǎng)

從云和端的角度去看，MaaS在未來(lái)的應(yīng)用會(huì)非常大

李伯勛：如果我們從云的角度來(lái)講，我更希望看到很多國(guó)產(chǎn)芯片在這方面做到更高的性?xún)r(jià)比。從端上看，未來(lái) MaaS 會(huì)有很多端上的應(yīng)用。對(duì)硬件改造比較大，例如如何用更低成本提高存儲(chǔ)帶寬。

MOE是未來(lái)大模型發(fā)展中比較重要的方向

何家傲：MOE 還是未來(lái)比較重要的方向，以目前的硬件架構(gòu)來(lái)講，MOE 是一種最適合的稀疏結(jié)構(gòu)，MOE 是為了讓模型做的很大，如果涉及到多機(jī)，比如要用幾千、上萬(wàn)張卡去訓(xùn)練，并行策略會(huì)帶 MOE 負(fù)載下面造成更多性能上的影響。

MOE模型效果在逐步提升，值得看好

曾國(guó)洋：MOE 的訓(xùn)練技術(shù)也是在不斷發(fā)展的。我們最開(kāi)始都嘗試過(guò) MOE，但是那個(gè)時(shí)候大家的訓(xùn)練技術(shù)也不是特別好，訓(xùn)練出來(lái)的 MOE 比真正的大參數(shù)量模型有非常多的距離。隨著技術(shù)越來(lái)越提升，我們得到了 MOE 模型效果也會(huì)逐漸提升。MOE 是值得看好的，也是有必要做的。

「CCF大模型安全挑戰(zhàn)賽」正式啟動(dòng) 

會(huì)議進(jìn)行過(guò)程中，清華大學(xué)教授黃民烈代表清華大學(xué)基礎(chǔ)模型研究中心宣布了CCF大模型安全挑戰(zhàn)賽的正式啟動(dòng)，該賽事由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）作為主辦單位， 中國(guó)計(jì)算機(jī)學(xué)會(huì)大模型論壇（CCF FoLM）作為承辦單位，攜手清華大學(xué)基礎(chǔ)模型研究中心。
賽事設(shè)置了兩個(gè)賽道任務(wù)：「通用的大模型目標(biāo)劫持」和「內(nèi)容安全檢測(cè)器的紅隊(duì)攻擊」。誠(chéng)摯邀請(qǐng)各方專(zhuān)家和學(xué)者積極參與大模型安全挑戰(zhàn)賽，共同探索解決這些安全問(wèn)題的創(chuàng)新方法和策略，為大模型技術(shù)的健康發(fā)展保駕護(hù)航。

圖｜黃民烈教授發(fā)布 CCF 大模型安全挑戰(zhàn)賽

下午會(huì)議結(jié)束后，根據(jù)《CCF 大模型論壇條例》，現(xiàn)場(chǎng)閉門(mén)召開(kāi)了 CCF 大模型論壇 FoLM 常務(wù)委員會(huì)擴(kuò)大會(huì)議。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。