作者 | 楊亞明，管子玉，李建新

趙偉，崔江濤，王泉

單位 | 西安電子科技大學(xué)

論文地址：https://ieeexplore.ieee.org/document/9508875

代碼地址：https://github.com/kepsail/ie-HGCN

1

引言

目前面向異質(zhì)圖的圖卷積神經(jīng)網(wǎng)絡(luò)普遍存在兩個(gè)重要的不足：

（1）大部分已有工作依賴(lài)用戶(hù)人工輸入一系列任務(wù)相關(guān)的元路徑（Meta-path），這對(duì)于沒(méi)有專(zhuān)業(yè)知識(shí)的用戶(hù)來(lái)說(shuō)是困難的。換句話說(shuō)，已有方法無(wú)法有效地、靈活地從所有可能的元路徑中自動(dòng)挖掘出針對(duì)某個(gè)任務(wù)的最優(yōu)元路徑，這阻礙了模型的有效性和可解釋性；

（2）大部分已有方法在執(zhí)行圖卷積之前都需要執(zhí)行額外的、耗時(shí)的預(yù)處理操作，這顯著增加了模型的時(shí)間復(fù)雜度，限制了模型的伸縮性。為了解決上述兩個(gè)問(wèn)題，該論文提出了高效且可解釋的異質(zhì)圖卷積神經(jīng)網(wǎng)絡(luò)ie-HGCN，其包含了投影，對(duì)象級(jí)聚合，類(lèi)型級(jí)聚合三個(gè)關(guān)鍵步驟。該模型可以端到端地自動(dòng)評(píng)估所有可能的元路徑的重要性，在粗粒度和細(xì)粒度兩個(gè)層面上發(fā)現(xiàn)對(duì)于當(dāng)前任務(wù)最優(yōu)的元路徑。而且，提出的兩層聚合架構(gòu)也可以避免額外的預(yù)處理操作，從而降低了模型的時(shí)間復(fù)雜度。

論文從理論上證明了ie-HGCN自動(dòng)發(fā)現(xiàn)元路徑的能力，分析了其與譜圖卷積的聯(lián)系，分析了其近似線性的時(shí)間復(fù)雜度。在四個(gè)真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，ie-HGCN不僅能夠取得優(yōu)越的性能，而且可以有效地發(fā)現(xiàn)元路徑。

2

方法

下圖通過(guò)在DBLP上的一個(gè)模型實(shí)例展示了方法的基本流程。如左側(cè)子圖（a）所示，模型一共包含5層。在每一層，針對(duì)某個(gè)對(duì)象類(lèi)型，都將其異質(zhì)鄰居的特征聚合過(guò)來(lái)（實(shí)線），同時(shí)也將其自身的上一層的特征聚合過(guò)來(lái)（虛線）。右側(cè)子圖（b）展示了針對(duì)P（Paper）類(lèi)型對(duì)象的計(jì)算過(guò)程：（1）自身/鄰居的特征投影；（2）利用歸一化鄰接矩陣聚合；（3）利用注意力聚合。

圖1 模型整體架構(gòu)圖

投影

考慮到在異質(zhì)圖里，不同類(lèi)型的對(duì)象的特征通常有著不同的分布，因此在每一層，通過(guò)相關(guān)的投影矩陣把鄰居特征映射到一個(gè)共同的語(yǔ)義空間中。同時(shí)，也將上一層輸出的目標(biāo)對(duì)象的自身特征也投影到這個(gè)空間：

對(duì)象級(jí)聚合

對(duì)于每種類(lèi)型的鄰居，通過(guò)相應(yīng)的行歸一化的鄰接矩陣將其投影后的特征聚合起來(lái)。這里，自身的投影特征不需要執(zhí)行對(duì)象級(jí)聚合。至此，形成若干個(gè)臨時(shí)的特征，即：目標(biāo)對(duì)象自身的投影特征，以及聚合的各種類(lèi)型的鄰居的投影特征。每種特征都從不同的方面反映了目標(biāo)對(duì)象的特性。

類(lèi)型級(jí)聚合

利用注意力機(jī)制將這些臨時(shí)的特征聚合起來(lái)，從而全面地刻畫(huà)目標(biāo)對(duì)象的特性。首先，通過(guò)不同的參數(shù)將目標(biāo)對(duì)象的自身投影特征映射為注意力的查詢(xún)值和鍵值，也通過(guò)不同的參數(shù)將鄰居的聚合特征映射為相應(yīng)的鍵值：

然后，通過(guò)一個(gè)小型的非線性神經(jīng)網(wǎng)絡(luò)將查詢(xún)與鍵值映射為注意力系數(shù)：

通過(guò)softmax函數(shù)將注意力系數(shù)歸一化：

利用歸一化的注意力系數(shù)，將若干個(gè)臨時(shí)特征聚合起來(lái)，形成目標(biāo)對(duì)象本層輸出的新的特征：

3

理論分析

論文從理論上證明、分析了該模型具有以下三個(gè)良好的性質(zhì)：

• 在粗粒度和細(xì)粒度兩個(gè)層面上，可以自動(dòng)發(fā)現(xiàn)針對(duì)當(dāng)前任務(wù)最優(yōu)的元路徑。

• 模型實(shí)際上是在譜域執(zhí)行異質(zhì)譜圖卷積。

• 具有近似線性的時(shí)間復(fù)雜度。

4

實(shí)驗(yàn)

論文在4個(gè)公開(kāi)的真實(shí)數(shù)據(jù)集上與若干個(gè)先進(jìn)的基線方法進(jìn)行了實(shí)驗(yàn)比較。結(jié)果顯示該模型能夠取得優(yōu)越的性能以及效率。最重要的是，模型可以有效地自動(dòng)發(fā)現(xiàn)最有用的元路徑，從而促進(jìn)了模型的可解釋性。我們考慮在DBLP數(shù)據(jù)集上對(duì)作者（A）類(lèi)型的對(duì)象進(jìn)行分類(lèi)任務(wù)。下圖展示了模型發(fā)現(xiàn)的針對(duì)此任務(wù)最有用的若干元路徑。上方的子圖（a）展示了每一層中，每個(gè)目標(biāo)對(duì)象類(lèi)型與鄰居類(lèi)型（包括自身）之間的歸一化注意力系數(shù)。下方的子圖（b）展示了最有用的幾條元路徑的重要性得分及其計(jì)算過(guò)程。其中，第二列中的符號(hào)“—”代表了自連接（如圖1中的虛線所示），這表明了有些路徑是可以“坍縮”的。如此，經(jīng)過(guò)合并一系列等價(jià)的路徑，我們可以得到任意長(zhǎng)度的元路徑（第一列）的重要性得分。

很明顯，我們可以看到，元路徑CPA的得分最高，而該路徑的語(yǔ)義是：作者（A）將其論文（P）發(fā)表到了會(huì)議（C）。令人鼓舞的是，這與數(shù)據(jù)集的真實(shí)情況高度吻合。實(shí)際上，這個(gè)數(shù)據(jù)集中，作者（A）類(lèi)型對(duì)象的真實(shí)類(lèi)別標(biāo)簽（ground-truth label）就是根據(jù)作者的論文（P）所發(fā)表的會(huì)議（C）來(lái)被標(biāo)記的。

其他幾個(gè)得分高的元路徑也可以得到合理的解釋。元路徑CPTPA表明除了作者自己所發(fā)表論文的會(huì)議以外，另外一些會(huì)議也很重要，這些會(huì)議里的論文和作者的論文有很多共同的關(guān)鍵詞（T）。元路徑CPAPA表明作者的共同合作者所發(fā)表論文的會(huì)議也很重要。元路徑CPCPA也比較有意思，因?yàn)橐黄撐耐ǔＶ粫?huì)被發(fā)表到一個(gè)會(huì)議，從而左側(cè)的子路徑CPC等價(jià)于子路徑C，進(jìn)而CPCPA也可以被解釋為CPA。

圖2 模型自動(dòng)發(fā)現(xiàn)的最有用的若干元路徑

雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。