2700 年地球巨型的垃圾場上，僅剩下機器人瓦力重復著收集、壓縮垃圾的每一天，枯燥日常中，它誕生了自我意識，對人類影像畫面中交流產(chǎn)生好奇、感受到自己作為最后一個機器人的孤獨。直至一個更聰明、更敏捷的探測機器人伊娃的出現(xiàn)打破了一切。

具備深度理解人類指令和執(zhí)行任務的能力，可以用眼睛表達情感，《機器人總動員》里的伊娃是人們對未來智能機器人的想象。在 AI 大模型的浪潮之中，人與機器共存，以大模型控制智能體成為新的交互模式。

近日，李學龍團隊提出了一個大模型驅(qū)動的異構(gòu)智能體協(xié)同控制算法框架，通過大模型調(diào)度多種智能體自主協(xié)作，可實現(xiàn)對無人機集群、機器狗、機械臂的真機協(xié)同控制。

懂所思、知所能、行所意，是大模型驅(qū)動多智能體協(xié)作的主要能力。

智能體可賦予大模型物理實體，使其具備與真實物理世界感知交互的能力。而借助大模型，智能體也能獲得更強大的感知、決策和執(zhí)行能力，使其具備更高的自主性和適應性。經(jīng)過該研究的探索，可進一步推動機器人和自動化行業(yè)的發(fā)展，創(chuàng)造出更多的就業(yè)機會和經(jīng)濟增長。

大模型下的異構(gòu)智能體協(xié)同

人工智能場景分工趨向細化，探索 AI 工程化路徑中，大模型控制智能體是大勢所趨。

此前有關(guān)大模型的討論多聚焦在大語言模型上，由于大模型技術(shù)沒有具身化，因此在解決自動駕駛、機器人等復雜的自然環(huán)境感知、認知問題時仍具有局限性，并且這些難題往往無法依靠“喂數(shù)據(jù)”來實現(xiàn)。

一句形象的描述是，紙上得來中覺淺，絕知此事要躬行。面對真實世界的復雜問題，大模型解決問題的能力必須通過與物理環(huán)境、對象進行互動才能發(fā)展。

如何將大模型同具身智能技術(shù)結(jié)合？

近日，李學龍團隊提出了一個大模型驅(qū)動的異構(gòu)智能體協(xié)同控制算法框架，基于大模型對多種智能體的調(diào)動，可實現(xiàn)無人機集群、機器狗、機械臂的真機協(xié)同控制能力。

面對跨場景、跨智能體的復雜任務，該算法框架可通過語義任務解析、拆分成異構(gòu)智能體協(xié)同執(zhí)行的多個子任務，聯(lián)合控制無人機集群、機器狗、機械臂來共同完成指定任務，具備高層語義理解能力、自身技能認知能力和復雜任務執(zhí)行能力。

要實現(xiàn)大模型異構(gòu)智能體自主協(xié)同，離不開三大方面的能力：懂所思、知所能、行所意。

懂所思，指的是要發(fā)揮大模型對高層語義的理解能力。通過給無人機、機器狗、機械臂等人造智能體輸入指令，讓不同的智能體依據(jù)所輸入的自然語言進行分工合作，這是智能體在現(xiàn)實場景中執(zhí)行復雜任務的前提條件。

為了解決語義理解問題，李學龍團隊以國產(chǎn)大模型作為語義理解底座，將無人機集群、機器狗、機械臂三種異構(gòu)智能體作為協(xié)同控制平臺，設(shè)計了融合環(huán)境信息與自身狀態(tài)的多模態(tài)大模型交互框架，可對任務理解、硬件控制、協(xié)調(diào)合作等復雜需求的語義解析。

知所能，即是指智能體對自身技能的認知能力。智能體的行為能力容易受到周圍環(huán)境、自身機械結(jié)構(gòu)等限制因素的影響，面對復雜多變的外界環(huán)境，如何讓智能體能夠準確地認知當前自身的行為能力，是多種智能體協(xié)同的關(guān)鍵環(huán)節(jié)。

為了實現(xiàn)這一目標，團隊提出異構(gòu)智能體通用中層技能認知算法，可實現(xiàn)對異構(gòu)智能體集群的精細協(xié)同控制。同時，在此基礎(chǔ)上，智能體還可以通過自主環(huán)境感知、自身狀態(tài)建模、協(xié)同運動規(guī)劃，自適應地調(diào)整多種智能體的技能執(zhí)行。

行所意，指的是智能體面對復雜任務時的執(zhí)行能力。為了應對復雜的任務目標，異構(gòu)智能體協(xié)作時，往往需要依據(jù)子任務間的依賴關(guān)系和環(huán)境約束，設(shè)計安全合理的子任務執(zhí)行次序和方式。

針對該問題，李學龍團隊提出了多智能體閉環(huán)反饋的任務協(xié)作機制，以實現(xiàn)異構(gòu)智能體在任務執(zhí)行層面的自主協(xié)同。在多種智能體集群協(xié)作過程中，智能體首先會向任務語義解析模塊報告子任務執(zhí)行狀態(tài)，形成任務分配與執(zhí)行動態(tài)閉環(huán)，實現(xiàn)任務目標導向的智能體高效協(xié)同。

可以看到，通過大模型調(diào)度多種智能體自主協(xié)作，大模型具備了對無人機集群、機器狗、機械臂等智能體的真機協(xié)同控制能力。

智能體可賦予大模型物理實體，使其具備與真實物理世界感知交互的能力。而借助大模型，智能體也能獲得更強大的感知、決策和執(zhí)行能力，使其具備更高的自主性和適應性。

該成果是大模型算法和智能體硬件交叉的創(chuàng)新性研究，實現(xiàn)了用更自然、更直觀的方式進行多種智能體集群控制，降低了人機交互的門檻。同時，該研究也將促進異構(gòu)智能體之間協(xié)作的自主性和流暢度，對人工智能在災難救援、工業(yè)生產(chǎn)等復雜場景下的靈活應用具有重要意義。

此外，李學龍和團隊長期致力于臨地安防技術(shù)體系的人才培養(yǎng)、科研與工程，依托兩個理論：“信容（信息與數(shù)據(jù)的比值）”與“正激勵噪聲（Pi/π-Noise，有用的噪聲，通過增加噪聲或利用噪聲讓任務做得更好）”，面向低空安防、水下安防、跨域安防，進行多模態(tài)認知計算、跨域遙感、穩(wěn)定探測、涉水光學、群體智能決策、相干光探測的技術(shù)創(chuàng)新，服務于高水平人才培養(yǎng)和國家重大戰(zhàn)略需求。

為進一步了解“大模型異構(gòu)智能體”的工作，AI 科技評論沿該方向與李學龍教授進行一次深入對話。

對話李學龍

AI 科技評論：無論哪個領(lǐng)域/行業(yè)，大模型都是人們討論的焦點。對此次大模型帶來的技術(shù)變革，您有什么感受？

李學龍：大模型技術(shù)確實給很多行業(yè)帶來了重大影響，許多方面也超出我的能力范圍，我也在學習。我嘗試從兩個角度來回答：

首先，大模型的應用前景非常廣闊，尤其進入多模態(tài)的階段或者說時代。

大模型可以在短短幾十秒內(nèi)進行文稿撰寫、圖案設(shè)計之類的工作，過去這需要專業(yè)人員花耗一兩天、甚至十多天才能完成，而在大模型的幫助下，人們在圖文方面的工作效率被成倍地提高。與此同時，大模型也開始在金融、醫(yī)療等領(lǐng)域展現(xiàn)出更準確的數(shù)據(jù)分析能力和決策能力?？梢哉f大模型的出現(xiàn)再次提高了人類社會的生產(chǎn)力，并且也為人工智能本身的發(fā)展創(chuàng)造了新的機遇，反向推動了諸如參數(shù)微調(diào)、高性能計算、分布式訓練等技術(shù)的蓬勃發(fā)展。

但是，不可避免，大模型也可能帶來新的問題與挑戰(zhàn)。我對大模型的發(fā)展是有一些顧慮的，也觀望了很久。核心技術(shù)需要進一步突破，避免主要比拼算力的發(fā)展模式。更重要的，還有其他很多因素需要考量，舉幾個最直接的例子。大模型需要海量數(shù)據(jù)來訓練，這里就很容易觸及數(shù)據(jù)隱私和版權(quán)的問題，甚至是輸入數(shù)據(jù)的有效性和合理性問題，給監(jiān)管提出了很高的要求。如何把關(guān)所用數(shù)據(jù)質(zhì)量？另外，如何評測大模型性能？如何消除大模型可能存在的偏見與歧視？如何提升大模型可解釋性、避免虛假生成？等等一系列問題也都沒有被很好地解決。

當然，挑戰(zhàn)和機遇是并存的?？偟膩碚f，大模型的技術(shù)變革是一次深刻的積極探索和嘗試，它既帶來了性能的提升，惠及千行百業(yè)，也可能會引發(fā)一系列問題，這些問題需要相關(guān)的規(guī)則和政策來解決。我們應該秉持科學的態(tài)度，不斷探索和挖掘大模型背后的認知機理和社會價值，確保人工智能的健康、可持續(xù)發(fā)展。

AI 科技評論：您是從什么時候萌生了做大模型驅(qū)動多智能體的想法？具體做了哪些工作？

李學龍：關(guān)于智能體的研究，我們團隊從很早就開始了。我們在無人機、機械臂的視覺感知方面有一定的積累，也在無人機遠程供能等一些相關(guān)的技術(shù)上進行了研究，實現(xiàn)了“光動無人機”。

但進入現(xiàn)實問題時，大家知道，單一的智能體很難滿足真實任務中多樣化、動態(tài)化的需求。比如，無人機能夠在超大范圍內(nèi)高速移動，卻很難完成抓取這樣的簡單操作，雖然我們也在給無人機裝胳膊，但還在實驗階段。

所以，我們一直在探索智能無人系統(tǒng)方面的工作，結(jié)合各個智能體的機械結(jié)構(gòu)特點，設(shè)計了相應的感知、規(guī)劃、控制以及聯(lián)合調(diào)度等算法。但是這個階段，我們需要對不同的環(huán)境、任務做出特定的調(diào)整，也必須由專業(yè)人員操縱才能完成任務。在這個研究中，又產(chǎn)生一系列新的問題，比如怎么樣用比較模糊的語義去同時與多個智能體交流，這涉及到多個智能體對語義的理解，以及智能體互相配合的方式。

大模型的發(fā)展給了我們一些幫助，我們著手大模型異構(gòu)（各種各樣的）智能體方面的研究，把這作為實現(xiàn)需求牽引的一種技術(shù)途徑。利用大模型的語義理解和邏輯推理能力，嘗試與不同智能體的領(lǐng)域知識進行融合，爭取更加合理地分解和分配任務。我們希望對于不同任務，都能通過一個簡單的、模糊的語言指令，就調(diào)動一群智能體，讓它們各司其職、通力合作去完成任務，最終實現(xiàn)更智能、更輕松的人機交互。這是我們目前的一種工作思路，還有其他的工作思路也在同步探索。

AI 科技評論：大模型異構(gòu)智能體要實現(xiàn)懂所思、知所能、行所意，其底層的技術(shù)原理是什么？這三者之間有怎樣的相互聯(lián)系，如何發(fā)生作用？

李學龍：我們把大模型控制多智能體的關(guān)鍵技術(shù)分為三步。

懂所思，也就是讓大模型知道我們想要什么，可以通過微調(diào)、示例這些方法充分發(fā)揮大模型的語義理解能力，讓它更深入地解讀人類模糊語言指令背后的想法，這是人機交互的基礎(chǔ)。

知所能，是梳理不同智能體的領(lǐng)域知識，把這些知識注入到大模型中，讓模型清楚地了解各個智能體不同的能力，從而合理地進行任務分解和分配，這是完成任務的前提。如果沒有這一步，系統(tǒng)是無法完成任務的。比如，讓機器狗游泳過一條河去送文件，這種安排就不合理。

行所意，是在前兩者的基礎(chǔ)上，協(xié)調(diào)各個智能體以合理的次序執(zhí)行復雜的任務，實現(xiàn)我們的意圖。在這部分我們進行了任務分配、動作執(zhí)行和狀態(tài)反饋的動態(tài)閉環(huán)設(shè)計，是整個系統(tǒng)的關(guān)鍵。

AI 科技評論：由于多智能體與物理空間的互動特性，因此在研發(fā)過程中，對大模型的邏輯語義理解能力、認知能力也提出了更高的要求，對此，您和團隊是如何解決的？

李學龍：多種智能體需要與周圍環(huán)境進行互動，這確實為大模型帶來了一些新的挑戰(zhàn)。為了增強任務執(zhí)行能力，我們團隊至少從環(huán)境感知、語義解析、任務反饋三個方面采取了措施，此外還有其他思考。

首先，我們設(shè)計了多模態(tài)認知計算框架。利用圖像、點云、聲音和觸覺等多模態(tài)數(shù)據(jù)，對物理環(huán)境進行感知，使智能體對周圍世界的顏色、紋理、形狀、力覺反饋等有全方位的把握，從而更準確地進行認知。

然后，我們加強了語義理解和技能認知的聯(lián)系。通過將異構(gòu)智能體的領(lǐng)域知識融入到大模型里，在我們demo的這個例子中，大模型能夠意識到道路不通的情況下，無人機是不能飛過的，而機器狗是能夠開門的。所以，當我們讓無人機去拿食物時，大模型知道要去檢查路徑、讓機器狗開門，這就是語義理解和技能認知聯(lián)系起來的效果。

同時，我們還設(shè)計了任務反饋的閉環(huán)執(zhí)行方案。在任務執(zhí)行的過程中，每個智能體都會向大模型報告子任務的執(zhí)行狀態(tài)，這樣一來大模型就能夠及時地掌握整體環(huán)境信息和任務狀態(tài)，從而做出最優(yōu)的規(guī)劃和決策，直到任務完成。

通過這些步驟，我們盡可能地讓大模型更全面地理解場景和任務，把周圍的環(huán)境映射到語義空間，再把語義指令體現(xiàn)在智能體的動作上，來實現(xiàn)大模型和物理空間的互動。

AI 科技評論：您和團隊很早就開始關(guān)注多模態(tài)認知計算方面的工作，這對此次大模型驅(qū)動多智能體的研發(fā)帶來了哪些方面的影響？

李學龍：2003 年，我在英國任教期間，為信息領(lǐng)域的學生們新開設(shè)了一門課程——“認知計算”，課程設(shè)計自 2002 年開始，后來在 IEEE 的 SMC 協(xié)會，我還發(fā)起成立了“認知計算”的技術(shù)委員會。對多模態(tài)大模型的到來，我們是一直有期盼的，因此自 2020 年開始，我和團隊就著手寫了一篇多模態(tài)認知計算的文章，于 2022 年發(fā)表在在《中國科學：信息科學》上， 文章題目就叫《多模態(tài)認知計算》，用 32 頁的篇幅嘗試性探討了多模態(tài)認知計算的理論框架。

我們一直堅信，多模態(tài)認知計算是實現(xiàn)通用人工智能的關(guān)鍵技術(shù)之一。

這次關(guān)于大模型驅(qū)動智能體的研究工作，實際上是多模態(tài)認知計算研究的一個載體。我們希望通過讓多智能體與環(huán)境進行多種模態(tài)的交互，將團隊之前在多模態(tài)認知計算方面的技術(shù)嵌入式地體現(xiàn)到了這個研究中，讓多智能體能全方位地感知周圍世界。同時，我們還把環(huán)境信息、任務指令和技能認知統(tǒng)一映射到語義空間，結(jié)合大模型的語義理解能力，使多智能體能夠解決復雜任務。實際上，傳統(tǒng)上各個學科的邊界逐漸弱化，尤其在工程任務中，往往涉及很多方向的工作。

AI 科技評論：大模型驅(qū)動多智能體在現(xiàn)實場景的具體應用有哪些？以具體場景為例，介紹其是如何發(fā)揮作用的。

李學龍：我們這套系統(tǒng)的核心是由大模型負責中樞控制，不同的智能體各施所長，通過這樣的方式來完成復雜的任務。比如在發(fā)生災害的時候，大模型可以分析收集到的信息，向無人機集群、機器狗和機械臂下達指令，無人機可以大范圍偵察，機器狗和機械臂可以進行現(xiàn)場搜救。同時，智能體也可以自主地交互，完成群體協(xié)作。

這種系統(tǒng)的特點是只需要一個模糊的指令，就能讓各種各樣的智能體動起來，來完成一個復雜的任務，就像電影“機器人總動員”中那樣。我們也在思考并嘗試把這項技術(shù)用在更廣泛的場景中。

AI 科技評論：由于大模型技術(shù)沒有具身化，以至于在解決物理感知、認知問題時仍具有局限性，并且這些難題也無法依靠“喂數(shù)據(jù)”來實現(xiàn)，因此，過去很多的多模態(tài)任務在目標和場景交互上都較為局限，您如何看待多智能體在大模型發(fā)展中的重要作用？

李學龍：這個問題很深刻，我嘗試回答一下，可能不準確?，F(xiàn)在大家普遍認為大模型在物理感知和認知方面存在局限，很大一部分原因是它只有大腦沒有身體，只能被動地接收信息。

從技術(shù)上來說，有數(shù)據(jù)、場景和學習方式三個方面的問題。

首先，大模型的訓練數(shù)據(jù)形式還比較有限。現(xiàn)在的大模型大多是在文本數(shù)據(jù)和圖像數(shù)據(jù)上訓練，很難形成全方位的感受真實，也就是數(shù)據(jù)模態(tài)還不夠多。其次，訓練數(shù)據(jù)覆蓋的場景也有限，雖然我們的數(shù)據(jù)量很多，但很難覆蓋現(xiàn)實中的所有場景，比如深空和水下，大模型學習到的常識可能并不適用于它實際面對的問題。最后，大模型的學習方式是被動的。人類可以自主地去學習，而大模型主要還是依賴人類給它準備好的數(shù)據(jù)，就像柏拉圖的“洞穴寓言”，大模型從出生開始就只能看到人類給它展示的世界，這不是真實的世界。

多智能體恰恰可以作為大模型的眼、耳、手、腳。讓無人機和機器狗帶著大模型去看，讓機械臂帶著大模型自己去感受，也可以讓水下潛器帶著它了解海底的世界，這樣它才能對身處的環(huán)境產(chǎn)生全面的、立體的感知，才能和物理世界建立真實的聯(lián)系，才能適應我們生活中面臨的各種場景。

AI 科技評論：大模型驅(qū)動多智能體是算法和硬件交叉的創(chuàng)新性研究，是一個重要趨勢和方向，但如果要進入落地環(huán)節(jié)，目前還存在哪些難點或痛點亟待解決？其進一步發(fā)展的關(guān)鍵點是什么？

李學龍：談到落地，我現(xiàn)在能想到的難點有四個。

第一是算力。這里的算力，主要是指移動平臺的算力。大模型的運行需要龐大的計算資源，實際應用面臨的首要問題，就是如何讓大模型在移動智能體上跑起來，兼顧實時性和高效性。

第二是安全。有了機械臂、無人機這些物理實體，大模型就可能直接對人類的安全構(gòu)成威脅。我們在使用的時候，要確保這些智能體不被惡意操控。

第三是倫理。大模型+多智能體這樣的組合，它是生活在我們的真實世界中的，這可能就會產(chǎn)生倫理問題。比如，智能體可能需要為大模型尋找甚至生成更好的訓練數(shù)據(jù)，這個過程中我們要確保智能體的行為符合倫理，不侵犯人類隱私。

第四是新型智能體設(shè)計。人類在發(fā)明機器狗、機械臂、無人機、水下潛器的時候，大模型還沒有出現(xiàn)。有了大模型以后，什么樣的智能體是適合大模型的，還需要探討，這在未來可能會有相關(guān)的研究。

上面提到的四個問題，每一個都很復雜。任何一個問題，都需要匯聚各行各業(yè)的力量去解決。大模型驅(qū)動多智能體這項研究，也需要不同領(lǐng)域的研究人員一起推動。我們對大模型的認識還不夠，除了上面提到的難點，還有其他一些問題我們目前還沒有想到，需要在推動的過程中發(fā)現(xiàn)和解決。感謝這個時代和領(lǐng)域的快速發(fā)展，讓我們一直有機會學習新的知識、接觸新的問題，

可以暢想，隨著機電、材料、傳感、計算這些技術(shù)的發(fā)展，大模型驅(qū)動多智能體這項研究可能會帶動人工智能領(lǐng)域的進步，也具備推動生產(chǎn)力發(fā)展的潛力。

（雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。