0
| 本文作者： 我在思考中 | 2022-03-10 14:04 |
編譯丨OGAI
圖可以方便地抽象關系和交互的復雜系統(tǒng)。社交網(wǎng)絡、高能物理、化學等研究領域都涉及相互作用的對象（無論是人、粒子還是原子）。在這些場景下，圖結構數(shù)據(jù)的重要性日漸凸顯，相關方法取得了一系列初步成功，而一系列工業(yè)應用使得圖深度學習成為機器學習方向的熱門研究話題之一。
圖注：通過圖對復雜系統(tǒng)的關系、交互進行抽象。例如，「分子圖」中構成分子的原子至今的化學鍵，「社交網(wǎng)絡」中用戶之間的關系和交互，「推薦系統(tǒng)」中用戶和商品之間的聯(lián)系。
受物理啟發(fā)的圖上的持續(xù)學習模型可以克服傳統(tǒng) GNN 的局限性。多年來，消息傳遞一直是圖深度學習領域的主流范式，使圖神經(jīng)網(wǎng)絡（GNN）在粒子物理到蛋白質(zhì)設計的廣泛應用中取得了巨大成功。
從理論角度來看，它建立了與 Weisfeiler-Lehman（WL）層次結構的聯(lián)系，我們可以以此分析 GNN 的表達能力。但是在 Michael Bronstein 看來，當前圖深度學習方案「以節(jié)點和邊為中心」的思維方式帶來了無法克服的局限性，阻礙了該領域未來的發(fā)展。
另一方面，在關于幾何深度學習的最新綜述中，Bronstein 提出了受物理啟發(fā)的持續(xù)學習模型，從微分幾何、代數(shù)拓撲和微分方程等領域出發(fā)開啟了一系列新工具的研究。到目前為止，圖機器學習領域中還鮮有此類研究。
針對Bronstein的最新思考，AI科技評論做了不改原意的整理與編譯：
GNN 的輸入為具有節(jié)點和邊特征的圖，計算一個既依賴于特征又依賴于圖結構的函數(shù)。消息傳遞類的 GNN（即 MPNN）通過交換相鄰節(jié)點之間的信息在圖上傳播特征。典型的 MPNN 架構由幾個傳播層組成，基于鄰居特征的聚合函數(shù)對每個節(jié)點進行更新。根據(jù)聚合函數(shù)的不同，我們可以將 MPNN分為：卷積（鄰居特征的線性組合，權值僅依賴于圖的結構）、注意力（線性組合，權值依賴于圖結構和特征）和消息傳遞（廣義的非線性函數(shù)）。消息傳遞 GNN 是最常見的，而前者可以視為消息傳遞 GNN 的特殊情況。
圖注：GNN 的三種風格——卷積、注意力和廣義非線性信息傳遞風格，它們都是消息傳遞的表現(xiàn)形式。
傳播層由基于下游任務學習的參數(shù)構成，典型的用例包括：節(jié)點嵌入（每個節(jié)點表示為向量空間中的一個點，通過點之間的距離恢復出原始圖的連通性，此類任務被稱為「鏈接預測」），節(jié)點級的分類或回歸（如推斷社交網(wǎng)絡用戶的屬性），或者通過進一步聚合節(jié)點的特征進行圖級別的預測（例如，預測分子圖的化學性質(zhì)）。
GNN 在多個方面都取得了令人印象深刻的成功，最近的相關研究也具有相當?shù)膹V度和深度。但是，當下的圖深度學習范式的主流模型是：對于構建好的圖，通過消息傳遞的方式沿著圖的邊傳播節(jié)點信息。Michael Bronstein 認為，正是這種以節(jié)點和邊為中心的思維方式，為該領域進一步發(fā)展帶來了主要的障礙。
WL 的類比能力有限。適當選擇像「求和」這樣的局部聚合函數(shù)，可以使消息傳遞等價于 WL 圖同構測試，使圖神經(jīng)網(wǎng)絡能夠根據(jù)信息在圖上的傳播方式發(fā)現(xiàn)某些圖結構。通過這種與圖論的重要聯(lián)系，研究人員提出了多種分析 GNN 表達能力的理論結果，決定了圖上的某些函數(shù)是否可以通過消息傳遞來計算。然而，這種類型的分析結果通常不能說明表征的效率（即需要多少層來計算某個函數(shù)），也不能說明 GNN 的泛化能力。
圖注：WL 測試就好比在沒有地圖的情況下走進迷宮，并試圖理解迷宮的結構。位置編碼提供了迷宮的地圖，而重連則提供了一個越過「墻壁」的梯子。
即使是對于三角形這種簡單的圖結構，有時 WL 算法也無法將它們檢測出來，這讓試圖將信息傳遞神經(jīng)網(wǎng)絡用于分子圖的從業(yè)者非常失望。例如，在有機化學中，像環(huán)這樣的結構非常普遍，并且對分子的性質(zhì)十分重要（例如，萘等芳香環(huán)之所以被稱為芳香環(huán)，是因為它們主要存在于具有強烈氣味的化合物中）。
圖注：十氫化萘（左）和二環(huán)戊基（右）有不同的結構，但我們無法通過 WL 測試區(qū)分它們。
近年來，研究者們已經(jīng)提出了一些構建表達能力更強的 GNN 模型的方法。例如，WL 層次結構中的高維同構測試（以更高的計算和內(nèi)存復雜度以及缺乏局域性為代價），將 WL 測試應用于子圖集合；位置或結構編碼，為圖中的節(jié)點著色，以這種方式幫助打破迷惑 WL 算法的規(guī)律。位置編碼目前在 Transformer 模型中是最常見的技術，在 GNN 中也廣為使用。雖然存在多種位置編碼方法，但具體的選擇還取決于目標應用，要求使用者有一定經(jīng)驗。
圖注：位置編碼示例：隨機特征、拉普拉斯特征向量（類似于 Transformer 中的正弦曲線）、結構特征（三角形和矩形的個數(shù)）。
「圖重連」突破了 GNN 的理論基礎。GNN 和卷積神經(jīng)網(wǎng)絡（CNN）之間的一個重要且微妙的區(qū)別是：圖既是輸入的一部分，也是計算結構的一部分。傳統(tǒng)的 GNN 使用輸入的圖結構來傳播信息，通過這種方式獲得既反映圖結構又反映圖上特征的表示。然而，由于某些結構特征（「瓶頸」），一些圖在信息傳播方面的性能較差，導致來自太多節(jié)點的信息被壓縮到一個節(jié)點彪悍尊能中，即「過壓縮」。
現(xiàn)代 GNN 實現(xiàn)通過將輸入圖與計算圖解耦（或為計算目的優(yōu)化輸入圖）來處理這種現(xiàn)象，這種技術稱為「圖重連」。重連可以采取以下形式：鄰域采樣、虛擬節(jié)點、連通性擴散或演化，或節(jié)點和邊的 Dropout 機制。Transformer 和像 GAT 這類基于注意力的 GNN 通過為每條邊分配不同的權重來有效地學習新的圖，這也可以理解為一種「軟性」的重接。最后，潛圖學習方法也可以歸入這一類，它可以構建針對特定任務的圖，并在每一層中更新它（初始狀態(tài)下有位置編碼、初始圖，或有時根本沒有圖）。很少有現(xiàn)代 GNN 模型在原始輸入圖上傳播信息。
圖注：GNN 中使用的各種圖重連技術——原始圖、鄰域采樣（例如，GraphSAGE）、注意力機制（例如，GAT）、連通性演化（例如，DIGL）。
WL 測試根據(jù)信息在圖上的傳播方式來描述圖。重連突破了這種理論上的聯(lián)系，但又讓我們陷入機器學習領域常見的問題中：學術界從理論上分析的模型與實踐中使用的模型并不相同。
有時，圖的「幾何特性」不足。GNN 是幾何深度學習宏偉藍圖中的一個實例。幾何深度學習是一個「群論框架」，使我們可以根據(jù)數(shù)據(jù)底層的域的對稱性設計深度學習架構。由于圖沒有規(guī)范的節(jié)點順序，在圖的場景下，這種對稱性指的是節(jié)點排列。由于這種結構特性，局部作用圖上的 MPNN 必須依賴于滿足排列不變性的特征聚合函數(shù)，這意味著圖上沒有「方向」的概念，信息的傳播是各向同性的。這種情況與在連續(xù)域、網(wǎng)格上的學習有著顯著的不同，并且是 GNN 的缺點之一，人們認為各向同性濾波器的作用有限。
圖注：網(wǎng)格是具有局部歐氏結構的離散流形。我們根據(jù)旋轉來定義鄰居節(jié)點，從而形成了「方向」的概念。圖的結構較少，它根據(jù)排列來定義鄰居節(jié)點。
有時，圖的「幾何特性」又過多。距離與方向的差異在某種程度上也與構建節(jié)點嵌入時遇到的問題有關。在某些空間中節(jié)點表征之間的距離被用來捕獲圖的聯(lián)通性。我們大致可以將嵌入空間中接近的節(jié)點通過圖中的一條邊連接起來。在推薦系統(tǒng)中，圖嵌入被用來在節(jié)點所代表的實體之間創(chuàng)建關聯(lián)（邊）。
圖嵌入的質(zhì)量及其表達圖結構的能力，在很大程度上取決于嵌入空間的幾何性質(zhì)及其與圖的幾何性質(zhì)的兼容性。歐氏空間在表示學習中有重要的地位，也是目前最簡單、最方便的表征空間，但對于許多自然中的圖來說，歐氏空間并不理想，原因之一是：歐幾里德度規(guī)球的體積隨半徑以多項式形式增長，而隨維數(shù)指數(shù)增長，而現(xiàn)實世界中許多圖的體積增長是指數(shù)的。因此，嵌入變得「過于擁擠」，我們被迫使用高維空間，從而導致較高的計算復雜度和空間復雜度。
最近流行的一種替代方法是使用負曲率（雙曲）空間，它具有與圖更兼容的指數(shù)體積增長。雙曲幾何的使用通常會使嵌入維數(shù)更低，使節(jié)點表示更加緊湊。然而，圖往往是異質(zhì)的（例如，有些部分看起來像樹，其它部分看起來像團，具有非常不同的體積增長特性），而雙曲嵌入空間是同質(zhì)的（每個點都有相同的幾何性質(zhì)）。
此外，即使嵌入空間具有非歐幾何性質(zhì)，但通常不可能在該空間中準確地表示通用的圖的度量結構。因此，圖的嵌入不可避免地是近似的。然而，更糟糕的是，由于嵌入是在考慮鏈接預測標準的情況下構建的，高階結構（三角形、矩形等）的畸變可能會大到無法控制的。在社會和生物網(wǎng)絡等應用場景下，這樣的結構扮演著重要的角色，因為它們可以捕獲更復雜的非成對的相互作用和模體。
圖注：圖的模體是一種高階的結構。在對許多生物現(xiàn)象建模的圖中可以觀察到這種結構。
當數(shù)據(jù)的結構與底層圖的結構不兼容時，GNN 的性能就會受到挑戰(zhàn)。許多圖學習數(shù)據(jù)集和對比基準都默認假設數(shù)據(jù)是同質(zhì)性的（即相鄰節(jié)點的特征或標簽是相似的，或者說是平滑的）。在這種情況下，即使是對圖進行簡單的低通濾波（例如，取鄰接平均值）也能起到很好的效果。早期的對比基準測試（例如，Cora），都是在具有高度同質(zhì)性的圖上進行的，這使得 GNN 的評估過于容易。
圖注：同構和異構數(shù)據(jù)集。在同構圖中，節(jié)點特征或標簽的結構與圖是兼容的（即節(jié)點與其鄰居節(jié)點相似）。
然而，在處理親異（heterophilic）數(shù)據(jù)時，許多模型顯示出令人失望的結果，在這種情況下，必須使用更精細的聚合方式。我們不妨考慮兩種典型的情況：（1）模型完全避免使用鄰居信息（GNN 退化為節(jié)點級的多層感知機）（2）出現(xiàn)「過平滑」現(xiàn)象，即節(jié)點的表征在經(jīng)過 GNN 的各層后變得更加平滑，最終「坍塌」為一個點。親同數(shù)據(jù)集中也存在「過平滑」現(xiàn)象，對于某些 MPNN 來說是一個更為本質(zhì)的缺陷，使深度圖學習模型難以實現(xiàn)。
我們通常很難理解 GNN 學到了什么，GNN 往往是難以解釋的黑盒模型。雖然可解釋性的定義在很大程度上還較為模糊，但在大多數(shù)情況下，我們確實并不真正理解 GNN 學習了什么。最近的一些工作試圖通過以緊湊的子圖結構和在 GNN 預測中起關鍵作用的節(jié)點特征子集的形式來解釋基于 GNN 的模型，從而緩解可解釋性的缺陷。通過潛圖學習架構學習的圖也可以看作提供「解釋」的一種形式。
約束通用的消息傳遞函數(shù)有助于排除不合理的輸出，確保 GNN 學到的東西有意義，并且在特定領域的應用程序中可以更好地理解 GNN。具體而言，這樣做可以為消息傳遞賦予額外的「內(nèi)部」數(shù)據(jù)對稱性，從而更好地理解底層的問題。例如，E(3)-等變消息傳遞能夠正確地處理分子圖中的原子坐標，最近對 AlphaFold 和 RosettaFold 等蛋白質(zhì)結構預測架構的成功作出了貢獻。
在 Miles Cranmer 和 Kyle Cranmer 合著的論文“Discovering symbolic models from deep learning with inductive biases”中，作者用符號公式取代了多體動力系統(tǒng)上學習的消息傳遞函數(shù)，從而可以「學習物理方程」。還有的研究者試圖將 GNN 與因果推理聯(lián)系起來，試圖構建一個圖來解釋不同變量之間的因果關系。總的來說，這仍然是一個處于起步階段的研究方向。
圖注：不同的「可解釋」GNN 模型——圖解釋器、潛圖學習、等變消息傳遞。
大多數(shù) GNN 的實現(xiàn)是與硬件無關的。目前大多數(shù) GNN 依賴于 GPU 實現(xiàn)，并默認數(shù)據(jù)可以裝入內(nèi)存。然而，在處理大規(guī)模圖（如生物網(wǎng)絡和社交網(wǎng)絡）時，這往往是一種一廂情愿的想法。在這種情況下，理解底層硬件的局限性（如不同的帶寬和內(nèi)存層次結構的延遲），并方便地使用硬件是至關重要的。大體來說，在相同物理內(nèi)存中的兩個節(jié)點和不同芯片上的兩個節(jié)點之間，消息傳遞的成本可能存在一個數(shù)量級的差異。「使 GNN 對現(xiàn)有硬件友好」是一個重要而又經(jīng)常被忽視的問題?？紤]到設計新芯片所需的時間和精力，以及機器學習的發(fā)展速度，開發(fā)以圖為中心的新型硬件是一個更大的挑戰(zhàn)。
「持續(xù)」學習模型是一個取代離散 GNN 的新興的、希望的方案?！甘艿轿锢硐到y(tǒng)啟發(fā)的持續(xù)學習」從微分幾何、代數(shù)拓撲和微分方程等領域出發(fā)開辟了一系列新的工具，迄今為止在圖機器學習中還尚未被探索。
將 GNN 重新想象為連續(xù)的物理過程。與在圖上傳遞多層消息不同，我們可以考慮在連續(xù)的時間維度上發(fā)生在某個域（可以是流形等連續(xù)的域，并將其轉化為離散圖）上的物理過程。該過程在空間和時間上的某個點的狀態(tài)取代了一層 GNN 生成的圖中某個節(jié)點的潛在特征。該過程由一組參數(shù)（表示底層物理系統(tǒng)的屬性）控制，這些參數(shù)取代了消息傳遞層的可學習權值。
我們可以根據(jù)經(jīng)典系統(tǒng)和量子系統(tǒng)構造出大量不同的物理過程。研究者們在一系列論文中證明，許多現(xiàn)有的 GNN 可能與擴散過程有關，這可能最自然的傳播信息方式。也可能存在一些更奇特的方式（如耦合振蕩系統(tǒng)），它們可能具備某些優(yōu)勢。
圖注：圖耦合振蕩系統(tǒng)的動力學。
連續(xù)系統(tǒng)在時間和空間上可以是離散的?？臻g離散化指的是：以圖的形式在連續(xù)域上連接附近的點，它可以隨時間和空間變化。這種學習范式與傳統(tǒng)的 WL 測試截然不同，后者嚴格地受底層輸入圖假設的約束。更重要的是，空間離散化思想啟發(fā)了一系列新的工具的誕生。至少從原則上說，它讓我們可以解決一些重要的問題，這些問題是現(xiàn)有的圖論技術所無法解決的。
圖注：2D 拉普拉斯算子的不同離散化結果。
學習是一個最優(yōu)控制問題。在給定的時間內(nèi)，過程的所有可能狀態(tài)的空間可以被看作是一個可以表示的函數(shù)的「假設類」。這種學習方式可以看作一個最優(yōu)控制問題，即是否可以控制過程（通過在參數(shù)空間中選擇一條軌跡）使其達到某種理想狀態(tài)。我們可以將表示能力定義為：是否可以通過在參數(shù)空間中選擇適當?shù)能壽E來控制過程，從而實現(xiàn)某種給定的功能（可達性）；效率與達到某一狀態(tài)所需的時間有關；而泛化性則與該過程的穩(wěn)定性有關。
圖注：將學習作為控制問題。通過飛機來比喻物理系統(tǒng)，其 xyz 坐標（系統(tǒng)狀態(tài)）是通過操縱推理、副翼、和方向舵（參數(shù)空間）來控制的。
可以由離散微分方程推導出 GNN。物理系統(tǒng)的行為通?？捎晌⒎址匠炭刂疲浣猱a(chǎn)生系統(tǒng)的狀態(tài)。在某些情況下，這樣的解可以是閉式解。但在更普遍的情況下，必須依靠基于適當離散化的數(shù)值解。經(jīng)過一個多世紀的研究，數(shù)值分析領域出現(xiàn)了各種各樣的迭代求解器，為圖上的深度學習提供了可能的全新架構。
GNN 中的注意力機制可以解釋為具有可學習擴散系數(shù)的離散擴散偏微分方程，使用顯式數(shù)值方法求解。此時，求解器的每一步迭代對應于 GNN 的一個層。目前還沒有 GNN 架構能夠直接類比于更復雜的求解器（例如，使用自適應步長或多步方案），該方向的研究可能催生出新的架構。另一方面，隱式的方案則需要在每次迭代時求解一個線性系統(tǒng)，可以將其解釋為「多跳」濾波器。此外，數(shù)值方法具有穩(wěn)定性和收斂性的保證，為它們能夠工作提供了條件，也為失效情況提供了解釋。
數(shù)值求解器應該對硬件友好。迭代求解器比數(shù)字計算機更古老，從數(shù)字計算機誕生之日起，它就必須知道自己擁有底層硬件，并有效地利用它們?？茖W計算中的大規(guī)模問題通常必須在計算機集群上解決，而這些問題是至關重要的。
在圖上進行「持續(xù)」深度學習的方式，使我們以與模擬它們的硬件兼容的方式對底層微分方程進行離散化。這里可能用到超級計算研究社區(qū)的大量成果（如域分解技術）。具體而言，圖重連和自適應迭代求解器考慮了內(nèi)存的層次結構，例如：在不同物理位置的節(jié)點上執(zhí)行很少的信息傳遞步驟，而在相同物理內(nèi)存中的節(jié)點上執(zhí)行更頻繁的步驟。
將演化方程解釋為與物理系統(tǒng)相關的能量函數(shù)的梯度流，有助于理解學習模型。許多物理系統(tǒng)都有一個相關的能量泛函（有時也包含某些對稱或守恒定律），其中控制系統(tǒng)動力學的微分方程是一個最小化的梯度流。例如，擴散方程使狄利克雷能量最小化，而它的非歐版本（Beltrami 流）使 Polyakov 泛函最小化，從而直觀地理解了學習模型。利用最小作用原理，某些能量泛函可以導出雙曲方程（如波動方程）。這些方程的解是波動的（振蕩的），與典型的 GNN 動力學有很大的不同。
分析這種流的極限情況提供了對模型表現(xiàn)的深刻理解，而這是很難通過其它方法獲得的。例如，在論文“Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs”中，Michael 等人證明了傳統(tǒng)的 GNN 必然會導致過平滑，并且只有在同質(zhì)性假設下才具有分離的能力；在使用圖上的額外結構可以獲得更好的分離能力。在論文“Graph-Coupled Oscillator Networks”中，Michael 等人證明了振動系統(tǒng)在極限下可避免過平滑。這些結果可以解釋為什么在某些 GNN 架構中會產(chǎn)生某些不良現(xiàn)象，以及如何設計架構來避免它們。此外，將流的極限情況與分離聯(lián)系起來，揭示了模型表達能力的界限。
可以在圖中使用更豐富的結構。如前文所述，有時圖的幾何性質(zhì)可能「不足」（無法捕獲更復雜的現(xiàn)象，如非成對關系），也可能「過?！梗措y以在同質(zhì)空間中表示）。我們可以通過使用額外的結構使圖更豐富，從而處理圖幾何性質(zhì)不足的問題。例如，分子包含環(huán)，化學家認為環(huán)是單一的實體，而不是原子和鍵（節(jié)點和邊）的集合。
Michael 等人的研究指出，圖可以被「提升」為「簡單元胞復合體」（simplicial- and cellular complexes）的高維拓撲結構。我們可以設計一個更復雜的消息傳遞機制，使信息不僅可以像在 GNN 中那樣在節(jié)點之間傳播，還可以在環(huán)這樣的結構之間傳播。恰當?shù)貥嬙爝@類「提升」操作使這些模型比傳統(tǒng)的 WL 測試具有更強的表達能力。
圖注：將圖「提升」為元胞復合體，元胞消息傳遞。
在論文“Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs”中，Michael 等人證明了，通過給節(jié)點和邊分配向量空間和線性映射，可以給圖配備一種額外的幾何結構，即「元胞束」。傳統(tǒng)的 GNN 隱式地假設圖具有簡單的底層束結構，這反映在相關擴散方程的性質(zhì)和圖拉普拉斯算子的結構上。與傳統(tǒng)的 GNN 相比，使用復雜的「束」可以產(chǎn)生更豐富的擴散過程，有利于對其漸近行為。例如，在選擇出的恰當?shù)氖Y構上的擴散方程可以在極限的多個類中分離，即使在親異環(huán)境中也是如此。
從幾何的觀點來看，束結構類似于連接，這是微分幾何中描述流形上向量的平行傳輸?shù)母拍?。從這個意義上說，我們可以把束的學習看作是一種取決于下游任務演化圖的幾何結構的方法。Michaedl 等人證明，通過限制束的結構群（例如，限制為特殊的正交群），可以使節(jié)點特征向量只旋轉，這樣可以獲得一些有趣的發(fā)現(xiàn)。
圖注：建立在圖上的元胞束由附加在每個節(jié)點上的向量空間和連接它們的線性約束映射組成。這可以被認為是賦予圖幾何性質(zhì)，約束映射與連接類似。
「離散曲率類比」是另一種圖幾何結構的例子，這是微分幾何領域用來描述流形局部性質(zhì)的標準方法。在論文“Understanding over-squashing and bottlenecks on graphs via curvature”中，Michael 等人證明了負圖 Ricci 曲率會對圖上的信息流產(chǎn)生瓶頸，從而導致 GNN 中的過壓縮現(xiàn)象。離散 Ricci 曲率可以被應用于高階結構（三角形和矩形），這在許多應用中都很重要。這種結構對于傳統(tǒng)的圖嵌入來說有些「過剩」，因為圖是異構的（非常曲率）。對于通常用于嵌入的空間，即使是非歐空間，也是同構的（常曲率）。
在論文“Heterogeneous manifolds for curvature-aware graph embedding”中，Michael 等人展示了一種具有可控 Ricci 曲率的異構嵌入空間的構造，可以選擇與圖的曲率匹配的 Ricci 曲率，不僅可以更好地表示鄰域（距離）結構，而且可以更好地表示三角形和矩形等高階結構。這些空間被構造成同構、對旋轉對稱的流形的乘積，可以使用標準黎曼梯度下降方法進行有效優(yōu)化。
圖注：（左）空間形式（球體、平面和雙曲面）具有常的正的、零的和負的Ricci曲率，下方為它們與相應的離散的 Forman 曲率的圖的類比（團、網(wǎng)格和樹）。（中）積流形（圓柱可以被認為是圓和線的乘積）。（右）具有變曲率的異質(zhì)流形及其圖的類比。
位置編碼可以看作是域的一部分。將圖看作連續(xù)流形的離散化，可以將節(jié)點位置坐標和特征坐標視為同一空間的不同維度。在這種情況下，圖可以用來表示由這種嵌入引出的黎曼度規(guī)的離散類比，與嵌入相關的諧波能量是狄利克雷能量的非歐擴展，在弦論中稱為 Polyakov 泛函。這種能量的梯度流是一個擴散型方程，它演化了位置坐標和特征坐標。在節(jié)點的位置上構建圖是一種針對特定任務的圖重連的形式，它也會在擴散的迭代層中發(fā)生變化。
圖注：通過帶有重連的 Beltrami 流對 Cora 圖的位置和特征分量進行演化的結果。
域的演化可替代圖重連。作為一個預處理步驟，擴散方程也可以應用于圖的連通性，旨在改善信息流和避免過壓縮。Klicpera 等人提出了一種基于個性化 Page Rank 的算法，這是一種圖擴散嵌入。在論文“Understanding over-squashing and bottlenecks on graphs via curvature”中，我們分析了這個過程，指出了它在異構設定下的缺陷，并提出了一個受 Ricci 流啟發(fā)的過程的圖重接的替代方案。這樣的重連減少了負曲率造成的圖瓶頸的影響。Ricci 流是流形的幾何演化方程，非常類似于用于黎曼度規(guī)的擴散方程，是微分幾何中類流行且強大的技術（包括著名的 Poincaré 猜想的證明）。更廣義地說，與其將圖重連作為預處理步驟，還不如考慮一個演化過程的耦合系統(tǒng)：一個演化特征，另一個演領域。
圖注：（上）具有負曲率的瓶頸的啞鈴形黎曼流形，經(jīng)過基于曲率的度規(guī)演化，變得更圓，瓶頸更不明顯。（下）一個類似的基于曲率的圖重連過程，減少了瓶頸，使圖對消息傳遞更友好。
新的理論框架能讓我們走多遠，是否能夠解決該領域目前尚未解決的問題，仍然是一個懸而未決的問題。
這些方法真的會在實踐中被使用嗎？對于實踐者來說，一個關鍵的問題是，這些方法是否會催生新的更好的架構，或者仍然是一個脫離實際應用的理論工具。Michael Bronstein 相信，這個領域的研究將是實用的，通過拓撲和幾何工具獲得的理論成果將使我們對現(xiàn)有 GNN 架構做出更好的選擇。例如，如何約束消息傳遞函數(shù)，以及何時使用這些特定的選擇。
我們是否已經(jīng)超越了消息傳遞的范疇？從廣義上講，數(shù)字計算機上的任何計算都是一種消息傳遞形式。然而，在嚴格意義上的 GNN 中，消息傳遞是一個計算概念，它通過將信息從一個節(jié)點發(fā)送到另一個節(jié)點來實現(xiàn)，這是一個內(nèi)在的離散過程。另一方面，所描述的物理模型以連續(xù)的方式在節(jié)點之間共享信息（例如，在一個圖耦合振蕩系統(tǒng)中，一個節(jié)點的動力學依賴于它的鄰居在每個時間點上的動力學）。在對描述該系統(tǒng)的微分方程進行離散化和數(shù)值求解時，所對應的迭代確實是通過消息傳遞實現(xiàn)的。
然而，人們可以假設使用這些物理系統(tǒng)的實際實現(xiàn)或其他計算范式（例如，模擬電子學或光子學）。在數(shù)學上，底層的微分方程的解有時可能以封閉形式給出：例如，各向同性擴散方程的解是一個高斯核卷積。在這種情況下，鄰居的影響被吸收到核的結構中，沒有發(fā)生實際的消息傳遞。
圖注：基于反向傳播的深度學習在真實物理系統(tǒng)中的應用。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
