在城市數(shù)字化不斷加速的今天，交通管理、環(huán)境監(jiān)測(cè)、公共安全等關(guān)鍵領(lǐng)域都面臨著一個(gè)共同挑戰(zhàn)：數(shù)據(jù)來(lái)源分散、質(zhì)量參差不齊、傳感器覆蓋有限，導(dǎo)致許多真實(shí)世界問題無(wú)法依靠單一數(shù)據(jù)或單一模型得出穩(wěn)定可靠的判斷。

隨著城市系統(tǒng)規(guī)模迅速擴(kuò)大，如何整合多源信息，讓人工智能真正理解并洞察現(xiàn)實(shí)世界，已經(jīng)成為產(chǎn)業(yè)界與科研界共同關(guān)注的核心課題。在這一背景下，長(zhǎng)期深耕城市計(jì)算和多模態(tài)智能研究的鄭宇教授，用一篇論文為行業(yè)帶來(lái)了具有系統(tǒng)性突破性的跨域多模態(tài)知識(shí)融合框架。

鄭宇教授現(xiàn)任京東集團(tuán)副總裁、京東科技首席數(shù)據(jù)科學(xué)家，是 IEEE Fellow、ACM 杰出科學(xué)家，在城市計(jì)算、時(shí)空大數(shù)據(jù)與人工智能落地方面具有國(guó)際領(lǐng)先影響力。他的研究不僅推動(dòng)了理論發(fā)展，也在多個(gè)城市應(yīng)用中取得了重要實(shí)踐成果。

值得關(guān)注的是，鄭宇教授將出席雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng)) 2025 年 GAIR 全球人工智能與機(jī)器人大會(huì)，并分享他在跨域多模態(tài)融合與城市智能方面的最新進(jìn)展。GAIR 大會(huì)聚焦人工智能的核心技術(shù)、前沿趨勢(shì)與產(chǎn)業(yè)落地，長(zhǎng)期吸引來(lái)自全球的技術(shù)領(lǐng)袖和科研人士。

本屆大會(huì)將于 2025 年 12 月 12—13 日在深圳·博林天瑞喜來(lái)登酒店舉行，與產(chǎn)業(yè)界和學(xué)術(shù)界的嘉賓共同探討人工智能的下一步發(fā)展。

論文地址：https://arxiv.org/pdf/2506.03155

融合跨域知識(shí)，讓模型理解城市

整體來(lái)看，這項(xiàng)研究提出的跨域多模態(tài)知識(shí)融合框架在多個(gè)真實(shí)應(yīng)用場(chǎng)景中展現(xiàn)出顯著優(yōu)勢(shì)，實(shí)驗(yàn)結(jié)果主要體現(xiàn)在預(yù)測(cè)精度、異常識(shí)別能力以及稀疏數(shù)據(jù)推斷能力的全面提升。

首先，在空氣質(zhì)量推斷與預(yù)測(cè)任務(wù)中，模型融合空氣監(jiān)測(cè)站數(shù)據(jù)、氣象觀測(cè)、道路與建筑結(jié)構(gòu)、POI 信息以及車輛移動(dòng)等多領(lǐng)域數(shù)據(jù)，能夠從多個(gè)互補(bǔ)維度刻畫城市污染過(guò)程。

與只依賴單一數(shù)據(jù)源的模型相比，融合模型在未來(lái)多小時(shí)至兩天的空氣質(zhì)量趨勢(shì)預(yù)測(cè)中表現(xiàn)更加穩(wěn)定，對(duì)污染的突發(fā)性變化具有更高的捕捉能力，并能更準(zhǔn)確地定位局地污染熱點(diǎn)，即便在監(jiān)測(cè)站稀疏的區(qū)域，也能根據(jù)周邊交通行為、土地利用與氣象模式合理推斷污染情況。

其次，在城市運(yùn)行監(jiān)測(cè)中，單個(gè)數(shù)據(jù)源往往難以識(shí)別輕微卻可能引發(fā)重大后續(xù)影響的異常事件，而融合多源數(shù)據(jù)后，模型能夠捕獲來(lái)自交通流量、社交媒體活動(dòng)和共享單車使用等多類數(shù)據(jù)在同一時(shí)空范圍內(nèi)的細(xì)微同步偏離，從而提前識(shí)別弱影響交通事故、局部人群聚集、環(huán)境污染初期釋放以及道路施工等事件，顯著提升了異常檢測(cè)的及時(shí)性，為管理部門提供更早的干預(yù)時(shí)間窗口。

最后，在傳感器覆蓋不足的情況下，如道路速度估計(jì)和城市噪聲推斷任務(wù)中，模型借助跨域信息，信息包括道路物理屬性、區(qū)域功能特征與城市結(jié)構(gòu)規(guī)律，仍能在極為稀疏的數(shù)據(jù)環(huán)境中做出穩(wěn)定、可信的推斷。

實(shí)驗(yàn)結(jié)果顯示，這種方法不僅能為原本無(wú)監(jiān)測(cè)數(shù)據(jù)的道路生成連貫、合理的估計(jì)結(jié)果，而且能有效降低稀疏區(qū)域的推斷誤差，消除空間上的“斷層”現(xiàn)象，顯著提升數(shù)據(jù)缺失條件下的整體推斷質(zhì)量。

總體而言，跨域知識(shí)的融入突破了傳感器不足的限制，使模型在復(fù)雜、動(dòng)態(tài)、數(shù)據(jù)不完備的真實(shí)城市環(huán)境中依然具備可靠而強(qiáng)大的智能推理能力。

跨域融合的四個(gè)核心階段

實(shí)驗(yàn)結(jié)果之外，這項(xiàng)研究的實(shí)驗(yàn)過(guò)程也遵循了一個(gè)完整而系統(tǒng)的跨域融合流程，依次包括數(shù)據(jù)選擇、知識(shí)對(duì)齊、模型構(gòu)建與數(shù)據(jù)轉(zhuǎn)換四個(gè)核心階段。

首先，在數(shù)據(jù)選擇階段，需要明確任務(wù)相關(guān)的數(shù)據(jù)來(lái)源并分析問題的根因。例如在空氣質(zhì)量推斷中，污染受本地排放、區(qū)域傳輸、氣象擴(kuò)散和化學(xué)反應(yīng)等因素共同影響，因此必須從不同領(lǐng)域篩選與這些因素對(duì)應(yīng)的數(shù)據(jù)，包括反映土地利用的道路網(wǎng)絡(luò)和 POI、反映人類活動(dòng)的出租車軌跡、反映擴(kuò)散條件的氣象數(shù)據(jù)以及提供真實(shí)污染讀數(shù)的監(jiān)測(cè)站數(shù)據(jù)。由于這些數(shù)據(jù)來(lái)自交通、城市規(guī)劃、氣象與環(huán)境監(jiān)測(cè)等多個(gè)領(lǐng)域，它們構(gòu)成了典型的跨域數(shù)據(jù)組合。

隨后，在知識(shí)對(duì)齊階段，需要確定這些異構(gòu)數(shù)據(jù)為何能夠被融合。研究通過(guò)多視角、相似性、依賴性與共性四類原則來(lái)建立不同數(shù)據(jù)之間的聯(lián)系。

多視角原則認(rèn)為來(lái)自不同領(lǐng)域的數(shù)據(jù)能夠從不同角度描述同一對(duì)象，相似性原則強(qiáng)調(diào)同類對(duì)象之間往往具有一致的結(jié)構(gòu)或行為模式，依賴性原則指出不同對(duì)象的性質(zhì)可能存在概率性關(guān)聯(lián)，共性原則則強(qiáng)調(diào)不同領(lǐng)域之間可能共享某些潛在結(jié)構(gòu)，如周期性規(guī)律或人類活動(dòng)模式。這些原則為跨域數(shù)據(jù)之間的互補(bǔ)性提供了理論基礎(chǔ)。

在模型構(gòu)建階段，作者提出精確融合和粗粒度融合兩種范式：前者適用于因果關(guān)系明確、數(shù)據(jù)量有限的任務(wù)，通常基于結(jié)構(gòu)化建模方法，例如矩陣分解、圖結(jié)構(gòu)建模和顯式變量設(shè)計(jì)。后者適用于數(shù)據(jù)規(guī)模大、關(guān)系復(fù)雜且無(wú)法完全由先驗(yàn)知識(shí)描述的場(chǎng)景，更多依賴深度學(xué)習(xí)的自動(dòng)建模能力，通過(guò)卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)或注意力機(jī)制等結(jié)構(gòu)捕獲潛在規(guī)律。

最后，在數(shù)據(jù)轉(zhuǎn)換階段，需要將不同模態(tài)的數(shù)據(jù)處理成可直接輸入模型的形式。具體包括對(duì)所有數(shù)據(jù)進(jìn)行清洗、切片和插值等預(yù)處理，對(duì)結(jié)構(gòu)明確的數(shù)據(jù)進(jìn)行精確轉(zhuǎn)換，如構(gòu)建道路網(wǎng)絡(luò)圖或計(jì)算監(jiān)測(cè)站間的空間關(guān)系，以及對(duì)文本、圖像或軌跡等復(fù)雜數(shù)據(jù)進(jìn)行粗轉(zhuǎn)換，通過(guò)編碼器或嵌入模型提取統(tǒng)一長(zhǎng)度的向量表示。完成這些轉(zhuǎn)換后，所有跨域數(shù)據(jù)即可統(tǒng)一輸入到構(gòu)建好的模型中，支撐整個(gè)實(shí)驗(yàn)流程的訓(xùn)練與推理。

面向真實(shí)城市的賦能路徑

總體來(lái)看，這項(xiàng)研究的意義體現(xiàn)在幾個(gè)方面。

首先，它解決了現(xiàn)實(shí)世界中數(shù)據(jù)不夠用的難題。在交通、環(huán)境和城市管理等領(lǐng)域，傳感器數(shù)量有限、采集成本高，很多地方根本沒有數(shù)據(jù)可用?？缬蛉诤系姆椒軌蚶闷渌I(lǐng)域已經(jīng)存在的數(shù)據(jù)來(lái)填補(bǔ)這些缺口，不需要額外增加設(shè)備，也能讓模型在數(shù)據(jù)稀少的情況下保持良好表現(xiàn)。這讓各種智能系統(tǒng)在真實(shí)城市環(huán)境中的應(yīng)用變得更加可行。

其次，這項(xiàng)研究提出了一套系統(tǒng)的跨域多模態(tài)融合理論，包括多視角、相似性、依賴性和共性等原則，為不同領(lǐng)域的數(shù)據(jù)如何組合、如何一起發(fā)揮作用提供了清晰的依據(jù)，避免了以往“靠經(jīng)驗(yàn)亂拼數(shù)據(jù)”的做法，也讓未來(lái)的模型設(shè)計(jì)有了更規(guī)范的方向。

再次，研究的意義還在于推動(dòng)人工智能從主要處理圖像、文本等虛擬世界數(shù)據(jù)，走向解決現(xiàn)實(shí)世界的城市問題。通過(guò)這套融合框架，多模態(tài)技術(shù)可以在交通預(yù)測(cè)、空氣質(zhì)量推斷、能源管理等更貼近生活的場(chǎng)景中展現(xiàn)價(jià)值，幫助政府和企業(yè)提升城市治理的效率和智能化水平。雷峰網(wǎng)

最后，這項(xiàng)研究也為跨部門的數(shù)據(jù)協(xié)作提供了新的可能。城市里的數(shù)據(jù)往往分散在不同機(jī)構(gòu)，各自獨(dú)立難以利用，而跨域融合的思路讓這些原本孤立的數(shù)據(jù)能夠共同服務(wù)于更復(fù)雜、更重要的任務(wù)，為未來(lái)建設(shè)更高水平的智慧城市提供了一條清晰的路徑。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。