0
雷鋒網(wǎng) AI 科技評(píng)論按：圖神經(jīng)網(wǎng)絡(luò)（GNN）是當(dāng)下風(fēng)頭無(wú)兩的熱門研究話題。然而，正如計(jì)算機(jī)視覺的崛起有賴于 ImageNet 的誕生，圖神經(jīng)網(wǎng)絡(luò)也急需一個(gè)全球?qū)W者公認(rèn)的統(tǒng)一對(duì)比基準(zhǔn)。
近日，Bengio 大神帶領(lǐng)其團(tuán)隊(duì)發(fā)布了新的圖神經(jīng)網(wǎng)絡(luò)對(duì)比基準(zhǔn)測(cè)試框架以及附帶的 6 個(gè)標(biāo)準(zhǔn)化數(shù)據(jù)集。大家可以開始盡情刷榜了！
論文鏈接：https://arxiv.org/pdf/2003.00982.pdf
開源鏈接：https://github.com/graphdeeplearning/benchmarking-gnns
時(shí)至今日，圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了分析圖數(shù)據(jù)并且進(jìn)行學(xué)習(xí)的標(biāo)準(zhǔn)工具，被成功地應(yīng)用到了各個(gè)領(lǐng)域（例如，化學(xué)、物理、社會(huì)科學(xué)、知識(shí)圖譜、推薦系統(tǒng)，以及神經(jīng)科學(xué)）。隨著這個(gè)領(lǐng)域的興起，識(shí)別出在不同的網(wǎng)絡(luò)尺寸下都可以泛化的架構(gòu)和關(guān)鍵機(jī)制就變得至關(guān)重要了，這讓我們可以處理更大、更復(fù)雜的數(shù)據(jù)集和領(lǐng)域。
不幸的是，在缺乏具有統(tǒng)一的實(shí)驗(yàn)設(shè)置和大型數(shù)據(jù)集的標(biāo)準(zhǔn)化對(duì)比基準(zhǔn)的情況下，衡量新型 GNN 的有效性以及對(duì)模型進(jìn)行比較的難度越來(lái)越大。
在本文中，Bengio 團(tuán)隊(duì)提出了一種可復(fù)現(xiàn)的 GNN 對(duì)比基準(zhǔn)框架，而且為研究人員添加新數(shù)據(jù)集和模型帶來(lái)了便利。他們將這個(gè)對(duì)比基準(zhǔn)框架應(yīng)用于數(shù)學(xué)建模、計(jì)算機(jī)視覺、化學(xué)和組合問題等新穎的中型圖形數(shù)據(jù)集，從而在設(shè)計(jì)有效的 GNN 時(shí)創(chuàng)建關(guān)鍵操作。與此同時(shí)，還精確地將圖卷積，各向異性擴(kuò)散，殘差連接和歸一化層作為通用構(gòu)建模塊，用于開發(fā)魯棒且可擴(kuò)展的 GNN。
在許多前人的工作的努力下，近年來(lái)，圖神經(jīng)網(wǎng)絡(luò)（GNN）已經(jīng)成為了風(fēng)口浪尖上的熱門研究話題，研究人員陸續(xù)開發(fā)出了一系列具有發(fā)展前景的方法。
隨著該領(lǐng)域的不斷發(fā)展，如何構(gòu)建強(qiáng)大的 GNN 成為了核心問題。什么樣的架構(gòu)、基本原則或機(jī)制是通用的、可泛化的，并且能擴(kuò)展到大型圖數(shù)據(jù)集和大型圖之上呢？另一個(gè)重要的問題是：如何研究并量化理論發(fā)展對(duì) GNN 的影響？
對(duì)比基準(zhǔn)測(cè)試為解決這些基本的問題給出了一個(gè)強(qiáng)大的范例。這種方法已經(jīng)被證明在推動(dòng)科學(xué)進(jìn)步、確定基本思想、解決特定領(lǐng)域的問題等方面對(duì)于一些科學(xué)領(lǐng)域大有助益。
近年來(lái)，大名鼎鼎的 2012 ImageNet 挑戰(zhàn)賽提供了一個(gè)很好的對(duì)比基準(zhǔn)測(cè)試數(shù)據(jù)集，它掀起了深度學(xué)習(xí)的革命。來(lái)自世界各國(guó)的研究團(tuán)隊(duì)爭(zhēng)相開發(fā)出用于在大規(guī)模數(shù)據(jù)集上進(jìn)行圖像分類的最幽默型。
由于在 ImageNet 數(shù)據(jù)集上取得的重大進(jìn)展，計(jì)算機(jī)視覺研究社區(qū)已經(jīng)開辟出了一條光明的發(fā)展道路，朝著發(fā)現(xiàn)魯棒的網(wǎng)絡(luò)架構(gòu)和訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的技術(shù)邁進(jìn)。
然而，設(shè)計(jì)出成功的對(duì)比基準(zhǔn)是一件極具挑戰(zhàn)的事情，它需要：設(shè)計(jì)合適的數(shù)據(jù)集、魯棒的編碼接口，以及為了實(shí)現(xiàn)公平的比較而設(shè)立的通用實(shí)驗(yàn)環(huán)境，所有上述元素都需要時(shí)可復(fù)現(xiàn)的。
這樣的需求面臨著一些問題：
首先，如何定義合適的數(shù)據(jù)集？想要收集到具有代表性的、真實(shí)的大規(guī)模數(shù)據(jù)集可能是很困難的。而對(duì)于 GNN 來(lái)說(shuō)，這卻是最重要的問題之一。大多數(shù)已發(fā)表的論文關(guān)注的都是非常小的數(shù)據(jù)集（例如，CORA 和 TU 數(shù)據(jù)集），在這種情況下，從統(tǒng)計(jì)及意義上說(shuō)，幾乎所有的 GNN 的性能都是相同的。有些與直覺相悖的是，那些沒有考慮圖結(jié)構(gòu)的對(duì)比基線模型性能與 GNN 相當(dāng)，甚至還有時(shí)要優(yōu)于 GNN。
這就對(duì)人們研發(fā)新的、更復(fù)雜的 GNN 架構(gòu)的必要性提出了疑問，甚至對(duì)使用 GNN 的必要性也提出了疑問。例如，在 Hoang&Maehara 等人以及 Chen 等人于 2019 年發(fā)表的工作中，作者分析了 GNN 中的組件的能力，從而揭示了模型在小數(shù)據(jù)集上收到的限制。他們認(rèn)為這些數(shù)據(jù)集不適合設(shè)計(jì)復(fù)雜的結(jié)構(gòu)化歸納學(xué)習(xí)框架。
GNN 領(lǐng)域面臨的另一個(gè)主要問題是如何定義通用的實(shí)驗(yàn)環(huán)境。正如 Errica 等人于 2019 年發(fā)表的論文《A fair comparison of graph neural networks for graph classifification》所述，最近基于 TU 數(shù)據(jù)集完成的論文在訓(xùn)練、驗(yàn)證和測(cè)試集的劃分以及評(píng)估協(xié)議方面沒有達(dá)成共識(shí)，這使得比較新思想和架構(gòu)的性能變得不公平。
人們目前尚不明確如何進(jìn)行良好的數(shù)據(jù)集劃分（除了隨機(jī)劃分之外），已經(jīng)證明這樣會(huì)得到過(guò)于樂觀的預(yù)測(cè)結(jié)果（Lohr，2009）。此外，不同的超參數(shù)、損失函數(shù)和學(xué)習(xí)率計(jì)劃（learning rate schedules）使得評(píng)價(jià)架構(gòu)的新進(jìn)展變得困難。
本文主要的貢獻(xiàn)如下：
發(fā)布了一個(gè)公開的 GNN 對(duì)比基準(zhǔn)框架，它是基于 PyTorch 和 DGL 庫(kù)開發(fā)的，并將其托管于 GitHub 上。
目標(biāo)：超越目前流行的小型數(shù)據(jù)庫(kù) CORA 和 TU，引入了 12,000~70,000 張具有 9~500 個(gè)節(jié)點(diǎn)的圖組成的中型數(shù)據(jù)集。數(shù)據(jù)集涉及數(shù)學(xué)建模（隨機(jī)分塊模型）、計(jì)算機(jī)視覺（超像素），組合優(yōu)化（旅行商問題）以及化學(xué)（分子溶解度）
提出的對(duì)比基準(zhǔn)框架確定了 GNN 的重要構(gòu)建模塊。圖卷積、各向異性擴(kuò)散、殘差連接，以及歸一化層等技術(shù)對(duì)于設(shè)計(jì)高效的 GNN 是最有用的。
作者目的并不是對(duì)已發(fā)布的 GNN 進(jìn)行排名。對(duì)于一個(gè)特定的任務(wù)來(lái)說(shuō)，找到最佳的模型的計(jì)算開銷是非常高昂的（超出了相應(yīng)資源限制），它需要使用較差驗(yàn)證對(duì)超參數(shù)的值進(jìn)行窮舉搜索。相反，作者為所有的模型設(shè)定了一個(gè)參數(shù)變化的實(shí)驗(yàn)計(jì)劃，并且分析了性能的趨勢(shì)，從而確定重要的 GNN 機(jī)制。
數(shù)值化的結(jié)果是可以完全被復(fù)現(xiàn)的。
這項(xiàng)工作的目的之一就是給出一系列易于使用的中型數(shù)據(jù)集，在這些數(shù)據(jù)集上，過(guò)去幾年提出的各種 GNN 架構(gòu)在性能方面表現(xiàn)出明顯且具有統(tǒng)計(jì)意義的差異。如表 1 所示，本文給出了 6 個(gè)數(shù)據(jù)集。對(duì)于其中的兩個(gè)計(jì)算機(jī)視覺數(shù)據(jù)集，作者將經(jīng)典的 MNIST 和 CIFAR10 數(shù)據(jù)集中的每張圖片使用「super-pixel」技術(shù)轉(zhuǎn)換為圖的形式（詳見原文第 5.2 節(jié)）。接下來(lái)的任務(wù)就是對(duì)這些圖進(jìn)行分類。
表1：已提出的基準(zhǔn)數(shù)據(jù)集統(tǒng)計(jì)表
「PATTERN」和「CLUSTER」數(shù)據(jù)集是根據(jù)隨機(jī)分塊模型生成的（詳見原文第 5.4 節(jié)）。對(duì)于 PATTERN 數(shù)據(jù)集，對(duì)應(yīng)的任務(wù)是識(shí)別出預(yù)先定義好的子圖；對(duì)于 CLUSTER 數(shù)據(jù)集，對(duì)應(yīng)的任務(wù)是識(shí)別出簇。上述兩個(gè)任務(wù)都是節(jié)點(diǎn)分類任務(wù)。
TSP 數(shù)據(jù)集是基于旅行商問題（給定一組城市，求訪問每個(gè)城市并回到原點(diǎn)的可能的最短路徑）構(gòu)建的，詳見原文第 5.5 節(jié)。作者將隨機(jī)歐幾里得圖上的 TSP 作為一個(gè)邊的分類/連接預(yù)測(cè)任務(wù)來(lái)處理，其中每條邊的真實(shí)值都是由 Concorde 求解器給出的 TSP 路徑確定的。
如原文第 5.3 節(jié)所述，ZINC 是一個(gè)已經(jīng)存在的真實(shí)世界中的分子數(shù)據(jù)集。每個(gè)分子可以被轉(zhuǎn)換成圖的形式：每個(gè)原子作為一個(gè)節(jié)點(diǎn)，每個(gè)化學(xué)鍵作為一條邊。這里對(duì)應(yīng)的任務(wù)是對(duì)一種被稱為受限溶解度（Constrained Solubility）的分子特性進(jìn)行回歸。
本文提出的每一個(gè)數(shù)據(jù)集都至少包含 12,000 個(gè)圖。這與 CORA 和經(jīng)常使用的 TU 數(shù)據(jù)集形成了鮮明的對(duì)比，這些之前的數(shù)據(jù)集往往只包含幾百個(gè)圖。
另一方面，本文提出的數(shù)據(jù)集大多數(shù)都是人造或半人造的（除了 ZINC 之外），而 CORA 和 TU 卻并非如此。因此，可以認(rèn)為這些對(duì)比基準(zhǔn)是互為補(bǔ)充的。
這項(xiàng)工作的主要?jiǎng)訖C(jī)在于，提出足夠大的數(shù)據(jù)集，從而使觀察到的不同 GNN 架構(gòu)之間的差異是具有統(tǒng)計(jì)意義的。
從最簡(jiǎn)單的形式上來(lái)說(shuō)，圖神經(jīng)網(wǎng)絡(luò)根據(jù)以下公式迭代式地從一層到另一層更新其中的節(jié)點(diǎn)表征：
其中
是節(jié)點(diǎn) i 在第 l+1 層中的 d 維嵌入表征，
是圖中與節(jié)點(diǎn) i 相連的節(jié)點(diǎn)集合，
則是節(jié)點(diǎn) i 的度，σ 是一個(gè)非線性函數(shù)，
則是一個(gè)可學(xué)習(xí)的參數(shù)。我們將這個(gè)簡(jiǎn)單版本的圖神經(jīng)網(wǎng)絡(luò)稱為圖卷積網(wǎng)絡(luò)（GCN）。
GraphSage 和 GIN（圖同構(gòu)網(wǎng)絡(luò)）提出了這種平均機(jī)制的簡(jiǎn)單變體。在采用平均聚合版本的 GraphSage 中，公式（1）可以被改寫為：
在嵌入向量被傳給下一層之前，它會(huì)被投影到單位球之上。在 GIN 架構(gòu)中，公式（1）可以被改寫為：
其中 
是可學(xué)習(xí)的參數(shù)，BN 是批歸一化層。值得注意的是，為了最終的預(yù)測(cè)，GIN 在所有中間層都會(huì)使用特征。在上述所有的模型中，每個(gè)鄰居對(duì)中央節(jié)點(diǎn)更新的貢獻(xiàn)是均等的。我們將這種模型稱為各向同性的，它們將所有的邊的方向等同視之。
另一方面，高斯混合模型網(wǎng)絡(luò) MoNet，門控圖卷積網(wǎng)絡(luò) GatedGCN，以及圖注意力網(wǎng)絡(luò) GAT 提出了各向異性的更新方案：
其中，權(quán)重
和
是使用各種各樣的機(jī)制計(jì)算得到的（例如，GAT 中的注意力機(jī)制或 GatedGCN 中的門控機(jī)制）。
最后，還可以考慮一個(gè)層次化的圖神經(jīng)網(wǎng)絡(luò)，即差分池化 DiffPool。它在層次的每一個(gè)階段以及池化的過(guò)程中都用到了 GraphSage 的公式（2）。
在這里，我們來(lái)展示一下這篇文章所提出的開源對(duì)比基準(zhǔn)測(cè)試框架的實(shí)驗(yàn)結(jié)果。
這篇工作中使用的大多數(shù) GNN 網(wǎng)絡(luò)（包括圖卷積網(wǎng)絡(luò) GCN、圖注意力網(wǎng)絡(luò) GAT、GraphSage、差分池化 DiffPool、圖同構(gòu)網(wǎng)絡(luò) GIN、高斯混合模型網(wǎng)絡(luò) MoNet），都來(lái)源于深度圖代碼庫(kù)（DGL），并且使用 PyTorch 實(shí)現(xiàn)。作者使用殘差鏈接、批歸一化，以及圖尺寸歸一化對(duì)所有 DGL 版的 GNN 實(shí)現(xiàn)進(jìn)行了改進(jìn)。門控圖卷積網(wǎng)絡(luò) GatedGCN 是其最終考慮使用的 GNN，并用「GatedGCN-E」代表使用了邊屬性/邊特征的版本。
此外，作者還實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的與具體圖無(wú)關(guān)的對(duì)比基線，它以相同的方式將一個(gè)多層感知機(jī)應(yīng)用于每個(gè)節(jié)點(diǎn)的特征向量，而與其它的節(jié)點(diǎn)無(wú)關(guān)?？梢赃x擇在后面接上一個(gè)門控機(jī)制，從而得到門控的多層感知機(jī)對(duì)比基線。
這篇文章中使用了英偉達(dá) 1080Ti 的 GPU，在 TU、MNIST、CIFAR10、ZINC 以及 TSP 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并且使用英偉達(dá) 2080Ti 的 GPU 在 PATTERN 和 CLUSTER 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。
1、在 TU 數(shù)據(jù)集上進(jìn)行圖分類
第一個(gè)實(shí)驗(yàn)是在 TU 數(shù)據(jù)集上進(jìn)行圖分類。論文中選用了 3 個(gè) TU 數(shù)據(jù)集，ENZYMES（訓(xùn)練集、驗(yàn)證集、測(cè)試集分別包含 480、60、60 個(gè)尺寸為 2-126 的圖），DD（訓(xùn)練集、驗(yàn)證集、測(cè)試集分別包含 941、118、119 個(gè)尺寸為 30-5748 的圖），以及 PROTEINS（訓(xùn)練集、驗(yàn)證集、測(cè)試集分別包含 889、112、112 個(gè)尺寸為 4-620 的圖）。
實(shí)驗(yàn)的數(shù)值結(jié)果如表 2 所示，從統(tǒng)計(jì)意義上說(shuō)，所有的神經(jīng)網(wǎng)絡(luò)都具有差不多的性能，然而標(biāo)準(zhǔn)差卻非常大。
表 2：在標(biāo)準(zhǔn) TU 測(cè)試數(shù)據(jù)集上的模型性能（數(shù)值越高越好）。給出了兩次實(shí)驗(yàn)的結(jié)果，這兩次實(shí)驗(yàn)所使用的超參數(shù)是相同的，但是使用的隨機(jī)種子是不同的。作者分別展示了這兩次實(shí)驗(yàn)的結(jié)果，從而說(shuō)明排序和可復(fù)現(xiàn)性的差異。性能最好的結(jié)果用加粗的紅色表示，性能第二的結(jié)果用加粗的藍(lán)色表示，性能第三的結(jié)果用加粗的黑色表示。
2、使用超像素（SuperPixel） 的圖分類
在第二個(gè)實(shí)驗(yàn)中，作者用到了計(jì)算機(jī)視覺領(lǐng)域流行的 MNIST 和 CIFAR10 圖像分類數(shù)據(jù)集。他們使用 SuperPixel 將原始的 MNIST 和 CIFAR10 圖像轉(zhuǎn)換為圖。
在 MNIST 數(shù)據(jù)集中，訓(xùn)練集、驗(yàn)證集、測(cè)試集分別包含 55,000、5,000、10,000 個(gè)尺寸為 40-75 個(gè)節(jié)點(diǎn)（即 SuperPixel 的數(shù)量）的圖；在 CIFAR10 數(shù)據(jù)集中，訓(xùn)練集、驗(yàn)證集、測(cè)試集分別包含 45,000、5,000、10,000 個(gè)尺寸為 85-150 個(gè)節(jié)點(diǎn)的圖。
對(duì)于每一個(gè)樣本，作者構(gòu)建了一個(gè) k 最近鄰鄰接矩陣，權(quán)值
，其中 x_i，x_j 是超像素 i，j 的二維坐標(biāo)，σ_x 是放縮參數(shù)（通過(guò)計(jì)算每個(gè)節(jié)點(diǎn)的 k 個(gè)最近鄰的平均距離 x_k 得到）。MNIST 和 CIFAR10 的超像素圖的可視化結(jié)果如圖 1 所示。
圖 1：示例圖及其超像素圖。通過(guò) SLIC 得到的超像素圖（MNIST 最多有 75 個(gè)節(jié)點(diǎn)，CIFAR10 中最多有 150 個(gè)節(jié)點(diǎn)）是歐氏空間中得到的 8-最近鄰圖，圖中節(jié)點(diǎn)的顏色表示平均的像素強(qiáng)度。
在 MNIST 和 CIFAR 10 數(shù)據(jù)集上的圖分類結(jié)果如表 3 所示。
表 3：在標(biāo)準(zhǔn)的 MNIST 和 CIFAR10 測(cè)試數(shù)據(jù)集上的模型性能（數(shù)值越高越好）。實(shí)驗(yàn)結(jié)果是根據(jù)四次使用不同的種子進(jìn)行的實(shí)驗(yàn)求平均得到的。紅色代表最優(yōu)的模型，紫色代表較優(yōu)模型，加粗黑色代表具有殘差連接和不具有殘差連接的模型之中的最優(yōu)模型（如果二者性能相同，則都是加粗黑色字體）。
3、在分子數(shù)據(jù)集上進(jìn)行圖回歸
作者將 ZINC 分子圖數(shù)據(jù)集用于對(duì)被稱為「受限溶解度」（constrained solubility）的分子性質(zhì)進(jìn)行回歸。在 ZINC 數(shù)據(jù)集中，訓(xùn)練集、驗(yàn)證集、測(cè)試集分別包含 10,000、1,000、1,000 個(gè)尺寸為 9-37 個(gè)節(jié)點(diǎn)/原子。對(duì)于每個(gè)分子圖來(lái)說(shuō)，節(jié)點(diǎn)特征是原子的種類，邊的特征是邊的種類。實(shí)驗(yàn)結(jié)果如表 4 所示。
表 4：在標(biāo)準(zhǔn)的 ZINC 測(cè)試數(shù)據(jù)集上的模型性能（數(shù)值越低越好）。實(shí)驗(yàn)結(jié)果是根據(jù)四次使用不同的種子進(jìn)行的實(shí)驗(yàn)求平均得到的。紅色代表最優(yōu)的模型，紫色代表較優(yōu)模型，加粗黑色代表具有殘差連接和不具有殘差連接的模型之中的最優(yōu)模型（如果二者性能相同，則都是加粗黑色字體）。
4、在隨機(jī)分塊模型（SBM）數(shù)據(jù)集上進(jìn)行節(jié)點(diǎn)分類
在這里，作者考慮節(jié)點(diǎn)級(jí)的圖模式識(shí)別任務(wù)，以及半監(jiān)督圖聚類任務(wù)。圖模式識(shí)別任務(wù)旨在找出一種嵌入在各種尺寸的大型圖 G 中的固定圖模式 P。對(duì)于 GNN 來(lái)說(shuō)，識(shí)別出不同的圖中的模式是最基本的任務(wù)之一。模式和嵌入后的圖是通過(guò)隨機(jī)分塊模型（SBM）生成的。SBM 是一種隨機(jī)圖，它為每個(gè)節(jié)點(diǎn)按照以下的規(guī)則分配所屬社區(qū)：對(duì)于任意兩個(gè)節(jié)點(diǎn)來(lái)說(shuō)，如果它們從屬于同一個(gè)社區(qū)則它們被連接在一起的概率為 p，如果它們從屬于不同的社區(qū)則它們被連接在一起的概率為 q（q 的值作為噪聲水平）。
在所有的實(shí)驗(yàn)中，作者生成了包含 5 個(gè)社區(qū)的圖 G，每個(gè)社區(qū)的規(guī)模在 [5, 35] 之間隨機(jī)生成。每個(gè)社區(qū)的 SBM 規(guī)則為 p = 0.5，q = 0.2，G 上的信號(hào)是通過(guò)在 3 個(gè)變量（即{0,1,2}）的均勻隨機(jī)分布上采樣得到的。作者隨機(jī)生成了由 20 個(gè)節(jié)點(diǎn)組成的 100 個(gè)模式 P，內(nèi)部概率為 p_P = 0.5，且外部概率 q_P = 0.5（即 P 中 50% 的節(jié)點(diǎn)與 G 中非 P 部分相連）。P 上的信號(hào)也是在{0,1,2}中生成的隨機(jī)信號(hào)。在 PATTERN 數(shù)據(jù)集中，訓(xùn)練集、驗(yàn)證集、測(cè)試集分別包括 10,000、2,000、2,000 個(gè)尺寸為 50-180 個(gè)節(jié)點(diǎn)的圖。當(dāng)節(jié)點(diǎn)從屬于 P 時(shí)輸出信號(hào)的值為 1，節(jié)點(diǎn)在 G 中且不從屬于 P 時(shí)輸出信號(hào)的值為 0。
半監(jiān)督聚類任務(wù)是網(wǎng)絡(luò)科學(xué)中的另一類基本任務(wù)。作者生成了 6 個(gè) SBM 簇，其尺寸為 [5, 35] 之間隨機(jī)生成的值，概率 p = 0.55，q = 0.25。在 CLUSTER 數(shù)據(jù)集中，訓(xùn)練集、驗(yàn)證集、測(cè)試集分別包括 10,000、1,000、1,000 個(gè)尺寸為 40-190 個(gè)節(jié)點(diǎn)的圖。作者僅僅為每個(gè)社區(qū)給出了隨機(jī)選取的單一標(biāo)簽。輸出信號(hào)被定義為聚類類別的標(biāo)簽。
表 5：在標(biāo)準(zhǔn)的 PATTERN 和 CLUSTER SBM 圖測(cè)試集上的模型性能（數(shù)值越高越好）。紅色代表最優(yōu)的模型，紫色代表較優(yōu)模型，加粗黑色代表具有殘差連接和不具有殘差連接的模型之中的最優(yōu)模型。
5、在 TSP 數(shù)據(jù)集上進(jìn)行邊的分類
近年來(lái)，將機(jī)器學(xué)習(xí)用于求解 NP-hard 的組合優(yōu)化問題（COP）成為了備受關(guān)注的研究熱點(diǎn)。最近提出的 COP 深度學(xué)習(xí)求解器將 GNN 與經(jīng)典的圖搜索方法結(jié)合了起來(lái)，用于直接根據(jù)問題實(shí)例（表征為圖）預(yù)測(cè)近似解。在這里，作者考慮被廣泛研究的旅行商問題（TSP）：給定一個(gè)二維的歐氏圖，我們需要找到一個(gè)最優(yōu)的節(jié)點(diǎn)順序（路徑），遍歷所有節(jié)點(diǎn)一次，并且邊的權(quán)重之和（路徑長(zhǎng)度）最小。TSP 的多尺度特性使其成為了一個(gè)極具挑戰(zhàn)的圖任務(wù)，它要求我們同時(shí)做到局部節(jié)點(diǎn)鄰居和全局圖結(jié)構(gòu)的推理。
在這里的 TSP 實(shí)驗(yàn)中，作者遵循了 Li 等人于 2018 年發(fā)表的論文「Combinatorial optimization
with graph convolutional networks and guided tree search」中所描述的基于學(xué)習(xí)的 COP 求解方法，其中 GNN 是為每條邊賦予屬于/部署于某個(gè)預(yù)測(cè)解集的概率的主干架構(gòu)。接著，作者會(huì)通過(guò)圖搜索技術(shù)將概率轉(zhuǎn)換為離散決策。訓(xùn)練集、驗(yàn)證集、測(cè)試集分別包含 10,000、1,000、1,000 個(gè) TSP 實(shí)例，其中每個(gè)實(shí)例都是一個(gè)在單位正方形
中均勻采樣得到的 n 個(gè)節(jié)點(diǎn)位置組成的圖（
）。作者通過(guò)為每個(gè)實(shí)例均勻地采樣得到 n 個(gè)節(jié)點(diǎn)（
），從而生成尺寸和復(fù)雜度不一的多個(gè) TSP 問題。
為了將主干 GNN 架構(gòu)和搜索部分的影響?yīng)毩㈤_來(lái)，作者將 TSP 作為了一個(gè)邊的二分類任務(wù)，TSP 路徑中每條邊的真實(shí)值是由 Concorde 求解器得到的。為了拓展到大的實(shí)例上，作者使用了稀疏的 k = 25 的最近鄰圖，而并非使用完全圖。采樣得到的各種各樣尺寸的 TSP 實(shí)例請(qǐng)參閱圖 2。
圖 2：TSP 數(shù)據(jù)集中采樣得到的圖。節(jié)點(diǎn)用藍(lán)色表示，TSP 路徑中的真實(shí)邊用紅色表示。
1、在小型數(shù)據(jù)集上，與圖無(wú)關(guān)的神經(jīng)網(wǎng)絡(luò)（多層感知機(jī)）的性能與 GNN 相近
表 2 和表 3 說(shuō)明對(duì)于小型的 TU 數(shù)據(jù)集和簡(jiǎn)單的 MNIST 數(shù)據(jù)集來(lái)說(shuō)，將 GNN 用在與圖無(wú)關(guān)的 MLP 對(duì)比基線上沒有明顯的性能提升。此外，MLP 有時(shí)比 GNN 的性能還要好（例如在 DD數(shù)據(jù)集上）。
2、在大型數(shù)據(jù)集上，GNN 可以提升與圖無(wú)關(guān)的神經(jīng)網(wǎng)絡(luò)性能
表 4 和表 5 顯示出，在 ZINC、PATTERN 以及 CLUSTER 數(shù)據(jù)集上，所有的 GNN 都相較于兩個(gè) MLP 對(duì)比基線模型有很大的性能提升。表 6 說(shuō)明使用了殘差連接的 GNN 模型在 TSP 數(shù)據(jù)集上的性能要優(yōu)于 MLP 對(duì)比基線。表 3 中的實(shí)驗(yàn)結(jié)果說(shuō)明，在 CIFAR10 數(shù)據(jù)集上差異較小，盡管最佳的 GNN 模型性能顯著優(yōu)于 MLP 模型。
3、原始的 GCN 性能較差
GCN 是最簡(jiǎn)單的 GNN 形式。它們對(duì)節(jié)點(diǎn)表征的更新依賴于一個(gè)如公式（1）所述的在鄰居節(jié)點(diǎn)上的各向同性平均操作。Chen 等人于 2019 年發(fā)表的論文《Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification》中對(duì)這種各向同性的性質(zhì)進(jìn)行了分析，結(jié)果表明這種方法無(wú)法區(qū)分簡(jiǎn)單的圖結(jié)構(gòu)，這也解釋了 GCN 在所有的數(shù)據(jù)集上為什么性能較差。
4、在 GCN 上進(jìn)行改進(jìn)的新型各向同性 GNN 架構(gòu)
GraphSage 通過(guò)圖卷積層的公式（2）說(shuō)明了使用中心節(jié)點(diǎn)信息的重要性。GIN 也在公式（3）中利用了中心節(jié)點(diǎn)的特征，并采用了一個(gè)與所有中間層的卷積特征相連的新的分類器層。DiffPool 考慮了一種可學(xué)習(xí)的圖池化操作，其中在每一個(gè)分辨率的層級(jí)上使用了 GraphSage。這三種各向同性的 GNN 在除了 CLUSTER 的所有數(shù)據(jù)集上都極大提升了 GCN 的性能。
5、各向異性 GNN 更加精確
諸如 GAT、MoNet、GatedGCN 等各向異性模型在除了 PATTERN 之外的所有數(shù)據(jù)集上都取得了最佳的性能。同時(shí)，作者也注意到 GatedGCN 在所有的數(shù)據(jù)集上都展現(xiàn)出了很好的性能。
與主要依賴于對(duì)鄰居節(jié)點(diǎn)特征的簡(jiǎn)單求和的各向同性 GNN 不同，各向異性 GNN 采用了復(fù)雜的機(jī)制（GAT 用到了稀疏注意力機(jī)制，GatedGCN 用到了邊的門控機(jī)制），這使得它們更難得以高效地實(shí)現(xiàn)。
此外，這種 GNN 還有一個(gè)優(yōu)點(diǎn)，那就是它們可以顯式地使用邊的特征（例如，分子中兩個(gè)原子之間的化學(xué)鍵類型）如表 4 所示，對(duì)于 ZINC 分子數(shù)據(jù)集而言，GatedGCN-E 使用化學(xué)鍵的邊特征，相較于不使用化學(xué)鍵的 GatedGCN 極大地提升了 MAE 性能。
6、殘差連接可以提升性能
殘差連接在計(jì)算機(jī)視覺領(lǐng)域的深度學(xué)習(xí)架構(gòu)中已經(jīng)成為了一種通用的組成部分。使用殘差連接可以從兩方面幫助 GNN 提升性能：
一方面，它在深度網(wǎng)絡(luò)中限制了反向傳播過(guò)程中的梯度彌散的問題。另一方面，它使得在 GCN 和 GAT 這樣的模型中可以在卷積階段包含自節(jié)點(diǎn)信息，而這些模型本身并沒有顯式地使用這些信息。
表 7：對(duì)于帶有殘差連接/不帶有殘差連接的深度 GNN（最多 32 層），在 TSP 測(cè)試數(shù)據(jù)集上的模型性能（數(shù)值越高越好）。L 代表層數(shù)，加粗的黑色字體代表帶有殘差連接和不帶有殘差連接的模型中最優(yōu)的一方（如果性能相同則都是加粗的黑色字體）。
圖 3：帶有殘差連接（實(shí)線）和不帶有殘差連接（虛線）的深度 GNN（最多 32 層）在 ZINC 和 CLUSTER 測(cè)試數(shù)據(jù)集上的模型性能。實(shí)驗(yàn)結(jié)果是根據(jù)四次使用不同的種子進(jìn)行的實(shí)驗(yàn)求平均得到的。
7、歸一化層可以提升學(xué)習(xí)性能
大多數(shù)現(xiàn)實(shí)世界中的圖數(shù)據(jù)集是具有不同圖大小的不規(guī)則圖的集合。將大小不同的圖當(dāng)做一批處理，可能會(huì)導(dǎo)致節(jié)點(diǎn)表征處于不同的尺度。因此，對(duì)激活值進(jìn)行歸一化處理可能會(huì)有助于提升學(xué)習(xí)和泛化的性能。
在試驗(yàn)中，作者使用了兩個(gè)歸一化層：批量歸一化（BN）以及圖尺寸歸一化（GN）。圖尺寸歸一化是一種簡(jiǎn)單的操作，其產(chǎn)生的節(jié)點(diǎn)特征 h_i 是根據(jù)圖的尺寸進(jìn)行歸一化之后的結(jié)果，即
，其中 V 是節(jié)點(diǎn)的個(gè)數(shù)。這種歸一化層被應(yīng)用在卷積層之后、激活層之前。
表 8：有/沒有經(jīng)過(guò)批量歸一化（BN）和圖歸一化（GN）的模型在 ZINC、CIFAR10、CLUSTER 測(cè)試數(shù)據(jù)集上的性能。
實(shí)驗(yàn)結(jié)果是根據(jù)四次使用不同的種子進(jìn)行的實(shí)驗(yàn)求平均得到的，表示為（均值±標(biāo)準(zhǔn)差），對(duì)于 ZINC 數(shù)據(jù)集來(lái)說(shuō)數(shù)值越低越好，對(duì)于 CIFAR10 和 CLUSTER 數(shù)據(jù)集來(lái)說(shuō)數(shù)值越高越好。加粗的黑色字體代表使用和不使用歸一化層的模型之中最優(yōu)的一方（當(dāng)二者性能相同時(shí)則都為加粗黑色字體）。
在本文中，Begio等人提出了一種促進(jìn)圖神經(jīng)網(wǎng)絡(luò)研究的對(duì)比基準(zhǔn)測(cè)試框架，并解決了實(shí)驗(yàn)中的不一致性問題。他們證明了被廣為使用的小型 TU 數(shù)據(jù)集對(duì)于檢驗(yàn)該領(lǐng)域的創(chuàng)新性是不合適的，并介紹了框架內(nèi)的 6 個(gè)中型數(shù)據(jù)集。
在多個(gè)針對(duì)圖的任務(wù)上進(jìn)行的實(shí)驗(yàn)表明：
1）當(dāng)我們使用更大的數(shù)據(jù)集時(shí)，圖結(jié)構(gòu)是很重要的；
2）作為最簡(jiǎn)單的各向同性 GNN，圖卷積網(wǎng)絡(luò) GCN 并不能學(xué)習(xí)到復(fù)雜的圖結(jié)構(gòu)；
3）自節(jié)點(diǎn)信息、層次、注意力機(jī)制、邊門控以及更好的讀取函數(shù)（Readout Function）是改進(jìn) GCN 的關(guān)鍵；
4）GNN 可以使用殘差連接被擴(kuò)展地更深，模型性能也可以使用歸一化層得到提升。
最后需要說(shuō)明的是，本文提出的對(duì)比基準(zhǔn)框架是利用 PyTorch 和 DGL 實(shí)現(xiàn)的，是完全可復(fù)現(xiàn)的，并且對(duì) GitHub 上的用戶開放，供大家試驗(yàn)新的模型和添加數(shù)據(jù)集。 雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
