丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
國(guó)際 正文
發(fā)私信給天諾
發(fā)送

0

ICML論文 | 利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

本文作者: 天諾 2016-06-20 10:33
導(dǎo)語(yǔ):根據(jù)卷積神經(jīng)網(wǎng)絡(luò)CNN識(shí)別圖像的理論而設(shè)計(jì),并將這些理論拓展應(yīng)用在任意圖上。

論文作者:Mathias Niepert、Mohamed Ahmed、Konstantin Kutzkov NEC Labs Europe,海德?tīng)柋?,德?guó)

論文摘要

許多重要問(wèn)題可以劃歸到圖像數(shù)據(jù)學(xué)習(xí)框架里。我們針對(duì)學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)提出了一個(gè)框架,可以適用于任何圖形。這些圖形可以是無(wú)向的,定向的,也可以是具有離散和連續(xù)節(jié)點(diǎn)和邊緣屬性。類似于基于圖形的卷積網(wǎng)絡(luò),可以再本地化的可連接輸入?yún)^(qū)域上允許,我們提出了一種普遍方法,可以從圖形中提取本地化的可連接區(qū)域。使用既定的基準(zhǔn)數(shù)據(jù)集,我們展示了帶有最先進(jìn)圖形內(nèi)核的學(xué)習(xí)功能表現(xiàn),是具有競(jìng)爭(zhēng)力的,同時(shí),它們的計(jì)算效率也是非常高的。

一、概述

在這篇論文中,我們的目標(biāo)是卷積神經(jīng)網(wǎng)絡(luò)解決一大類基于圖形的學(xué)習(xí)問(wèn)題。我們想到了以下兩個(gè)問(wèn)題:

1. 給定一個(gè)圖形集合,學(xué)習(xí)一項(xiàng)功能,可以用于在未見(jiàn)圖形上進(jìn)行分類和回歸。任意兩個(gè)圖的節(jié)點(diǎn)不一定是對(duì)應(yīng)的。舉個(gè)例子,集合中的每一個(gè)圖形都可以“模型化”一種化合物,輸出也可以是一個(gè)功能,將未見(jiàn)組件定位到癌細(xì)胞的活性水平。 

2. 給定一個(gè)大圖,學(xué)習(xí)圖形表現(xiàn),可以用來(lái)推斷看不見(jiàn)的圖形屬性,比如節(jié)點(diǎn)類型或是缺少的邊。我們提出了一個(gè)框架,用于學(xué)習(xí)定向和無(wú)向圖形類別的表現(xiàn)。這些圖形可以有多個(gè)離散和連續(xù)屬性的節(jié)點(diǎn)和邊,可能有多個(gè)類型的邊。和識(shí)別圖像的卷積神經(jīng)網(wǎng)絡(luò)類似,我們利用輸入的圖像構(gòu)建了局部連接的鄰域。這些鄰域構(gòu)建效率高,可以充當(dāng)卷積網(wǎng)絡(luò)的感知域,讓卷積網(wǎng)絡(luò)有成效地學(xué)習(xí)圖像特征。

ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

圖1:一個(gè)3*3感受域的卷積神經(jīng)網(wǎng)絡(luò)。該域可以覆蓋圖形被移動(dòng),從左到右,從上到下,通過(guò)使用一個(gè)特定跨越(這里:1)和零填充(這里:0)(a).被感受域所讀取的值被轉(zhuǎn)化成一個(gè)現(xiàn)行層,并反饋送至一個(gè)卷積架構(gòu)(b). 被創(chuàng)建的感受域和感受域的形狀的節(jié)點(diǎn)序列完全由超參數(shù)決定。

ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

 

圖2. 建議架構(gòu)的一個(gè)圖例通過(guò)一個(gè)圖形標(biāo)記程序,從圖中選擇一個(gè)節(jié)點(diǎn)序列。對(duì)于序列中的一些節(jié)點(diǎn),局部領(lǐng)域圖將會(huì)被拼裝且正則化。正則化的鄰域也將被用作感受域,并且和現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)組件進(jìn)行整合。

此處建議的方式根據(jù)卷積神經(jīng)網(wǎng)絡(luò)(CNN)識(shí)別圖像的理論(福島邦彥,1980年; Atlaset等人,1988年;LeCun等人,1998年、2015年)而設(shè)計(jì),并將這些理論拓展應(yīng)用在任意圖上。

圖1展示了卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像的局部連接感知域。

一個(gè)圖像可以表現(xiàn)為正方形格網(wǎng)的圖形,其節(jié)點(diǎn)就代表像素?,F(xiàn)在,一個(gè)卷積神經(jīng)網(wǎng)絡(luò)可以被視為穿越一個(gè)節(jié)點(diǎn)序列(圖1(a)中的節(jié)點(diǎn)1到4,每個(gè)節(jié)點(diǎn)之間形成大小固定的鄰域圖(圖1(b)的3乘3格網(wǎng)))。鄰域圖可以充當(dāng)感知域,通過(guò)像素節(jié)點(diǎn)解讀特征值。由于像素的空間順序并不清晰,鄰域的圖從左到右、從上到下生成節(jié)點(diǎn)序列,這種序列的確定過(guò)程是獨(dú)特的。自然語(yǔ)言處理(NLP)的問(wèn)題也同樣是獨(dú)一無(wú)二的,因?yàn)槊總€(gè)句子(及其句法樹(shù))都決定了一些詞語(yǔ)的序列。然而,對(duì)多個(gè)圖形集合來(lái)說(shuō),某個(gè)特定問(wèn)題的順序(空間、時(shí)間或是其他順序)是缺失的,圖形的節(jié)點(diǎn)并不對(duì)應(yīng)。在這種情況下,必須解決兩個(gè)問(wèn)題:(i)確定鄰域產(chǎn)生的節(jié)點(diǎn)序列;(ii) 計(jì)算鄰域圖形的正則化,即一種從圖形特征轉(zhuǎn)換到矢量特征的獨(dú)特映射。每個(gè)輸入圖形首先確定鄰域生成的節(jié)點(diǎn)(及其順序)。在生成這些節(jié)點(diǎn)的鄰域里都能提取一個(gè)k節(jié)點(diǎn),并進(jìn)行正則化。也就是說(shuō),以固定的線性順序,進(jìn)行空間的獨(dú)特映射。經(jīng)過(guò)正則化的鄰域可以成為某個(gè)考量節(jié)點(diǎn)的感受域。最終,卷積層和稠密層等特征學(xué)習(xí)組成部分與正則化的鄰域相結(jié)合,形成卷積神經(jīng)網(wǎng)絡(luò)的感受域。

圖2展示了PATCHY-SAN結(jié)構(gòu)。該結(jié)構(gòu)在運(yùn)用現(xiàn)有方式時(shí)有諸多優(yōu)勢(shì):

首先,它效率很高,很容易并行,可以應(yīng)用于大圖形;第二,對(duì)于計(jì)算生物學(xué)和社交網(wǎng)絡(luò)分析等多個(gè)領(lǐng)域的應(yīng)用來(lái)說(shuō),可視化網(wǎng)絡(luò)主題非常重要(Milo等人, 2002),PATCHY-SAN支持特征可視化,那樣可以深入了解圖形結(jié)構(gòu)特征;第三,PATCHY-SAN并未創(chuàng)造另一個(gè)圖核,而是學(xué)習(xí)依靠應(yīng)用的特征,無(wú)需做特征工程的工作。我們的理論貢獻(xiàn)在于,界定圖形及其復(fù)雜性的正則化問(wèn)題;提供一種比較方法,比較各種圖形集合的圖形標(biāo)記方式;顯示PATCHY-SAN歸納圖像卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果。我們通過(guò)運(yùn)用標(biāo)準(zhǔn)的數(shù)據(jù)集展現(xiàn)出,和高級(jí)水平的圖核相比,經(jīng)過(guò)學(xué)習(xí)圖像的卷積神經(jīng)網(wǎng)絡(luò)不但有效,而且效率很高。

二、相關(guān)文獻(xiàn)

對(duì)圖核可以采用基于核的學(xué)習(xí)方法,如支持向量機(jī)(SVM)就可以直接處理圖形(Vishwanathan等人,2010年)。圖形之核最初的定義是,單個(gè)圖形所有節(jié)點(diǎn)的相似函數(shù)(Kondor 與Lafferty,2002年)。核按特征分兩大類,一類是偏差頻譜核,另一類是基于基元的核(Milo等人,2002年;Alon,2007年)。但由于子圖枚舉組合很復(fù)雜,基元圖核受到節(jié)點(diǎn)很少的子圖限制。圖核還有一類是簡(jiǎn)稱WL的Weisfeiler-Lehman算法核(Shervashidze等人,2011年)??墒荳L核只支持離散特征,對(duì)測(cè)試的訓(xùn)練樣本用有記憶的線性系統(tǒng)。PATCHY-SAN用WL核作為計(jì)算感受域時(shí)一個(gè)可能標(biāo)識(shí)的過(guò)程。深度圖核(Yanardag與Vishwanathan,2015年)和圖形不變特征核(Orsini等人,2015)比較圖的依據(jù)是子結(jié)構(gòu)的存在方式或者數(shù)量,如根據(jù)基元、子樹(shù)和其他圖形的不變特征(Haussler,1999年;Orsini等人,2015年)。PATCHY-SAN則是從圖形數(shù)據(jù)中學(xué)習(xí)子結(jié)構(gòu),不受預(yù)先界定的主題限制。但所有圖核訓(xùn)練都很復(fù)雜,圖形數(shù)量至少有二次方變化(Shervashidze等人,2011年)。如果是大型圖形的問(wèn)題,用這種方法需要付出很高代價(jià)。PATCHY-SAN用線性方式測(cè)量圖形數(shù)量。

圖形神經(jīng)網(wǎng)絡(luò)(GNN)(Scarselli等人,2009年)是通過(guò)圖形明確的一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。圖形神經(jīng)網(wǎng)絡(luò)運(yùn)用遞歸神經(jīng)網(wǎng)絡(luò)在圖形結(jié)構(gòu)上游走,這期間傳播節(jié)點(diǎn)表示,直至抵達(dá)一個(gè)固定點(diǎn)為止。然后,由此形成的節(jié)點(diǎn)表示會(huì)成為可以用于分類和回歸問(wèn)題的特征。圖形神經(jīng)網(wǎng)絡(luò)僅支持離散的標(biāo)識(shí),只要每次學(xué)習(xí)迭代的圖形都有邊和節(jié)點(diǎn),就能在很多反向傳播操作中發(fā)揮作用。門控圖序列神經(jīng)網(wǎng)絡(luò)會(huì)改變圖形神經(jīng)網(wǎng)絡(luò),以便利用門控遞歸單元(GRU)和輸出序列(Li等人,2015年)。

最近的論著拓展了卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍,將它用在有別于低維度格網(wǎng)結(jié)構(gòu)的拓?fù)鋵W(xué)(Bruna等人,2014年;Henaff等人,2015年)。然而,所有這些方法都假定的是一個(gè)全球圖形結(jié)構(gòu),這即是說(shuō),不同輸入樣本的頂點(diǎn)是同一個(gè)匹配(Duvenaud等人,2015年),基于此在圖形上進(jìn)行卷積類操作,開(kāi)發(fā)某個(gè)圖形特征彼此不同的變量。

三、論文背景

我們?cè)诖撕?jiǎn)要介紹了在卷積網(wǎng)絡(luò)和圖形理論方面所需的背景。

3.1. 卷積神經(jīng)網(wǎng)絡(luò)

根據(jù)早期論著顯示,動(dòng)物大腦的視覺(jué)皮層生長(zhǎng)著結(jié)構(gòu)復(fù)雜的細(xì)胞,它們負(fù)責(zé)監(jiān)測(cè)視域內(nèi)小局部域的光。卷積神經(jīng)網(wǎng)絡(luò)正是受到這些論著啟發(fā)而來(lái)(Hubel 與Wiesel,1968年)。卷積神經(jīng)網(wǎng)絡(luò)于上世紀(jì)80年代開(kāi)創(chuàng),現(xiàn)已用于解決圖像、演講、文本和藥物研發(fā)問(wèn)題(阿特拉斯等人,1988;LeCun等人,1989年、1998年、2015年;Wallach等人,2015年)。卷積神經(jīng)網(wǎng)絡(luò)的前身是神經(jīng)認(rèn)知機(jī)(福島邦彥,1980年)。卷積神經(jīng)網(wǎng)絡(luò)通常由卷積層和稠密層組成。第一層卷積層的目的是,在輸入圖像的局部域內(nèi)發(fā)現(xiàn)共同模式后將其提取。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積過(guò)程學(xué)習(xí)輸入圖像的濾波,對(duì)圖像內(nèi)每個(gè)圖像定位進(jìn)行內(nèi)積運(yùn)算,輸出作為張量的結(jié)果。張量的深度就是濾波數(shù)量。

3.2. 圖形

假如圖形G是一個(gè)偶對(duì),用公式可以表達(dá)為G= (V, E),其中代表圖中頂點(diǎn)的V = {v1, ..., vn},則代表圖中邊的E可以表達(dá)為E ? V × V。假設(shè)n是頂點(diǎn)的數(shù)目,m是邊的數(shù)目。每個(gè)圖形可以用一個(gè)大小為n ×n的鄰接矩陣A表示。如果有一條邊以頂點(diǎn)vi和頂點(diǎn)vj為端點(diǎn),則A i,j = 1,否則Ai,j = 0。在這種情況下,我們可以稱頂點(diǎn)vi在A有一個(gè)定位i。而如果又是A i,j = 1,我們可以說(shuō)vi和vj是鄰接的頂點(diǎn)。節(jié)點(diǎn)和邊的屬性都是有特性的,因?yàn)樵谝粋€(gè)圖形內(nèi)每個(gè)節(jié)點(diǎn)和邊都能獲取一個(gè)值。為了避免與圖論中的標(biāo)號(hào)概念混淆,我們用了屬性值這個(gè)術(shù)語(yǔ),并沒(méi)有用標(biāo)識(shí)一說(shuō)。鏈?zhǔn)菆D形中節(jié)點(diǎn)的序列,其中連續(xù)的節(jié)點(diǎn)剛好由一條邊連接起來(lái)。路是內(nèi)部節(jié)點(diǎn)互不相同的鏈。我們用公式d(u, v)代表u和v之間的距離,它也就代表著u和v之間最短路徑的長(zhǎng)度。N1(v)代表一個(gè)節(jié)點(diǎn)的1-鄰域,也就是所有鄰接的節(jié)點(diǎn)。

標(biāo)識(shí)與節(jié)點(diǎn)劃分 PATCHY-SAN運(yùn)用圖形標(biāo)識(shí)讓節(jié)點(diǎn)形成順序。圖形標(biāo)識(shí)`表現(xiàn)為這樣一個(gè)函數(shù): ` : V → S,其中V是頂點(diǎn)集合,S是一個(gè)有序的組合,比如一些實(shí)際數(shù)目和整數(shù)。圖形標(biāo)識(shí)過(guò)程會(huì)計(jì)算輸入圖的圖形標(biāo)識(shí)。在語(yǔ)境明確的時(shí)候,我們所說(shuō)的標(biāo)識(shí)既是指圖形標(biāo)識(shí),又是指計(jì)算圖形標(biāo)識(shí)的過(guò)程。一個(gè)排序(或著色)可以表達(dá)為這樣一個(gè)函數(shù)r : V → {1, ..., |V |}。僅限于`(u) > `(v)這種條件時(shí),每個(gè)標(biāo)識(shí)都能導(dǎo)出一個(gè)排序,它可以用公式表達(dá)為r(u) < r(v)。如果圖形G的標(biāo)識(shí)是單射函數(shù),它就能決定該圖形所有頂點(diǎn)的順序,以及G特有的鄰接矩陣A`(G)。在那個(gè)鄰接矩陣中,頂點(diǎn)v在A`(G)的定位是r(v) 。而且,每個(gè)圖形標(biāo)識(shí)都能導(dǎo)出一個(gè)頂點(diǎn)V上的節(jié)點(diǎn)劃分{V1, ..., Vn},其中僅限于`(u) = `(v)這種條件時(shí),它們的關(guān)系可以表達(dá)為公式u, v ∈ Vi。圖形標(biāo)識(shí)過(guò)程的實(shí)例是節(jié)點(diǎn)度,以及其他中心度的衡量指標(biāo),都是網(wǎng)絡(luò)分析的常用指標(biāo)。例如,頂點(diǎn)v的中介中心度計(jì)算出穿越v的少數(shù)最短路徑。Weisfeiler-Lehman(WL)算法(Weisfeiler & Lehman,1968年;Douglas,2011年)是劃分某個(gè)圖形內(nèi)部頂點(diǎn)的一種過(guò)程。它也就是業(yè)內(nèi)所說(shuō)的著色求精和樸素頂點(diǎn)分類。著色求精已經(jīng)引起WL研究人員極大的興趣,因?yàn)樗苡脕?lái)提高圖模型推理的速度(Kersting等人,2009年;2014年),還能用作計(jì)算圖核的方法(Shervashidze等人,2011年)。PATCHY-SAN應(yīng)用這些標(biāo)識(shí)過(guò)程和其他度量指標(biāo)(度、網(wǎng)頁(yè)排名、特征向量中心度等),讓圖形的節(jié)點(diǎn)形成一個(gè)順序,在依賴應(yīng)用的順序(時(shí)間、空間順序等)缺失時(shí)彌補(bǔ)空缺。

同構(gòu)與正則化 很多應(yīng)用程序域都存在判定兩個(gè)圖形是否同構(gòu)的計(jì)算問(wèn)題。圖形同構(gòu)(GI)問(wèn)題屬于NP(非確定性多項(xiàng)式問(wèn)題),但尚未明確是P問(wèn)題(能在多項(xiàng)式時(shí)間內(nèi)解決),還是NP難題。 在許多限制較緩和的情況下,GI屬于P問(wèn)題。比如處理有界度的圖,GI就是P問(wèn)題(Luks,1982年)。圖形G的正則化是有固定頂點(diǎn)順序的圖形G0,此圖與G同構(gòu),體現(xiàn)了G的全部同構(gòu)類型。實(shí)際操作中,圖形正則化工具NAUTY展示了卓越的性能(McKay與Piperno,2014年)。

四、任意圖形的學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)

當(dāng)卷積神經(jīng)網(wǎng)絡(luò)用在圖像上時(shí),一個(gè)感受域(一個(gè)方形格網(wǎng))會(huì)以特定的幅度移動(dòng)到每個(gè)圖像上方。感受域會(huì)讀取像素的特征值,每個(gè)頻道讀取一次,每個(gè)頻道會(huì)生成一批值。由于圖像的像素有隱性排列——空間順序,感受域總是從左到右、從上到下移動(dòng)。而且,空間順序獨(dú)到地決定了每個(gè)感受域的節(jié)點(diǎn),以及這些節(jié)點(diǎn)對(duì)向量空間表示的映射方式(見(jiàn)圖1(b))。因此,只有在像素的結(jié)構(gòu)角色(感受域內(nèi)的空間定位)相同時(shí),用兩種不同感受域定位讀取的兩個(gè)像素的值才會(huì)分配給同一相對(duì)定位。

為展示卷積神經(jīng)網(wǎng)絡(luò)和PATCHY-SAN的聯(lián)系,我們將卷積神經(jīng)網(wǎng)絡(luò)框定在圖像上,以此辨認(rèn)在表現(xiàn)為方形格網(wǎng)圖的該圖像上有何節(jié)點(diǎn)序列,并以相同序列的各個(gè)節(jié)點(diǎn)構(gòu)建經(jīng)過(guò)正則化的鄰域圖——一個(gè)感受域。有的圖形集合缺失依賴應(yīng)用的節(jié)點(diǎn)順序,任意兩個(gè)圖形的節(jié)點(diǎn)位置也未能對(duì)準(zhǔn)。對(duì)這類圖形集合,我們需要判斷每個(gè)圖形(i)為創(chuàng)建鄰域的節(jié)點(diǎn)序列,以及(ii)一種從圖形表示到向量表示的獨(dú)特映射。在該向量表示中,那些在鄰域圖上結(jié)構(gòu)角色相同的節(jié)點(diǎn)定位也相同。

我們解決這些問(wèn)題的對(duì)策是,運(yùn)用圖形標(biāo)識(shí)過(guò)程,將兩個(gè)不同圖形的節(jié)點(diǎn)分配給各自鄰接矩陣的同一相對(duì)定位,前提是這些節(jié)點(diǎn)在圖形內(nèi)的結(jié)構(gòu)角色相同。對(duì)給定的圖形集合,PATCHY-SAN(選擇組裝-正則化)對(duì)每個(gè)圖形都采用了以下步驟:(1)從圖形中挑選一個(gè)長(zhǎng)度固定的節(jié)點(diǎn)序列;(2)對(duì)選中的序列,將其所有節(jié)點(diǎn)組裝為固定大小的鄰域;(3)將提取后的鄰域圖正則化;(4)對(duì)于由此得來(lái)的區(qū)域序列,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)鄰域表示。

接下來(lái),我們會(huì)一一介紹解決上述問(wèn)題的方法。

4.1. 節(jié)點(diǎn)序列選擇

 ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

算法1 SELNODESEQ: 選擇節(jié)點(diǎn)序列

選擇節(jié)點(diǎn)序列是面向各個(gè)輸入圖的辨識(shí)過(guò)程,其辨識(shí)的是構(gòu)建感受域的節(jié)點(diǎn)序列。算法1列舉了一個(gè)這樣的選擇過(guò)程。首先,根據(jù)給定的圖形標(biāo)識(shí)將輸入圖的頂點(diǎn)分類。接著,利用給定的卷積步長(zhǎng)s遍歷,得到節(jié)點(diǎn)序列。對(duì)每個(gè)訪問(wèn)過(guò)的節(jié)點(diǎn),用算法3構(gòu)建感受域,直至感受域w全部構(gòu)建完畢。相對(duì)于選中的節(jié)點(diǎn)序列,卷積步長(zhǎng)s決定了創(chuàng)建一個(gè)感受域時(shí)兩個(gè)連續(xù)節(jié)點(diǎn)的距離。如果節(jié)點(diǎn)的數(shù)目小于w,為了間隔考慮,該算法會(huì)構(gòu)建全零的感受域。挑選頂點(diǎn)序列可能有多種可選的方法。比如根據(jù)圖形標(biāo)識(shí)的值深度優(yōu)先遍歷輸入圖。我們將在今后的論文中探討這些方法。

4.2. 鄰域組裝

 ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

算法2:NEIGHASSEMB: 領(lǐng)域組裝

以上步驟辨識(shí)的每個(gè)節(jié)點(diǎn)都必須構(gòu)建一個(gè)感受域。算法3首先需要算法2組裝輸入節(jié)點(diǎn)的局部鄰域。鄰域的節(jié)點(diǎn)是感受域的候選集。算法2列舉鄰域組裝步驟。已知輸入一個(gè)節(jié)點(diǎn)v以及感受域的大小k,選擇過(guò)程會(huì)執(zhí)行廣度優(yōu)先搜索,以一個(gè)和節(jié)點(diǎn)v相距越來(lái)越遠(yuǎn)的距離探索頂點(diǎn),并將這些頂點(diǎn)添加到一個(gè)N集上。如果集合的節(jié)點(diǎn)數(shù)目小于k,就會(huì)收集大部分新近添加到N的頂點(diǎn)1-鄰域,直到至少數(shù)目為k的頂點(diǎn)都已經(jīng)進(jìn)入N為止,或者直到再也沒(méi)有鄰域添加到N。請(qǐng)注意,在這種情況下,N的大小可能不等于k。

4.3. 圖像正則化

ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

圖3:每個(gè)圖形都會(huì)執(zhí)行正則化,感應(yīng)到一個(gè)根節(jié)點(diǎn)v的鄰域上(紅色節(jié)點(diǎn);節(jié)點(diǎn)顏色表示了到根節(jié)點(diǎn)的距離)。一個(gè)圖形標(biāo)簽用于對(duì)節(jié)點(diǎn)進(jìn)行評(píng)級(jí),并創(chuàng)建正則化感受域,節(jié)點(diǎn)屬性之一的大小k (這里: k = 9) 和邊緣屬性之一的大小k × k 。正則化還包括過(guò)量節(jié)點(diǎn)和虛擬節(jié)點(diǎn)的填充。每個(gè)頂點(diǎn)(邊緣)屬性對(duì)應(yīng)一個(gè)帶有各自感受域的輸入通道。 

 ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

算法3:RECEPTIVEFIELD: 創(chuàng)建感受域

 ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

算法4:NORMALIZEGRAPH: 圖形正則化

對(duì)上一步組裝的鄰域進(jìn)行正則化,就可以構(gòu)建一個(gè)節(jié)點(diǎn)的感受域。如圖3所示,正則化賦予鄰域圖的節(jié)點(diǎn)一種順序,以便進(jìn)行從無(wú)序圖形空間到線性順序向量空間的映射?;驹O(shè)想是利用圖形標(biāo)識(shí)過(guò)程,即使是兩個(gè)不同圖形的節(jié)點(diǎn),只要節(jié)點(diǎn)在圖形內(nèi)的結(jié)構(gòu)角色相同,就將它們分配給對(duì)應(yīng)鄰接矩陣相同的相對(duì)定位。為了實(shí)現(xiàn)這種設(shè)想,我們給優(yōu)化圖形正則化的問(wèn)題下了定義,旨在尋找相對(duì)給定圖形集合而言最適合的標(biāo)識(shí)。

ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu) 

問(wèn)題1(優(yōu)化圖形正則化)。在以下公式中,G是k個(gè)節(jié)點(diǎn)未標(biāo)識(shí)圖形的集合,l是一個(gè)單射圖形標(biāo)識(shí)過(guò)程,dG是有k個(gè)節(jié)點(diǎn)的圖形的距離度量,是k × k矩陣的距離度量,可以根據(jù)公式得出 。


 .ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

這里的問(wèn)題可以歸結(jié)為,對(duì)于任意兩個(gè)從中隨機(jī)統(tǒng)一繪出的圖形,可以預(yù)計(jì)到圖形在向量空間的距離(有關(guān)基于l的鄰接矩陣),而圖形在圖形空間的距離又是最小的,找出一個(gè)圖形標(biāo)識(shí)過(guò)程l。優(yōu)化圖形正則化的問(wèn)題是對(duì)典型的圖形規(guī)范化問(wèn)題做一個(gè)總結(jié)。不過(guò),典型標(biāo)識(shí)算法只針對(duì)同構(gòu)圖才有優(yōu)化效果,對(duì)那些可能相似但并非同構(gòu)的圖形,可能效果不佳。優(yōu)化正則化問(wèn)題的預(yù)期值越低,標(biāo)識(shí)就能讓節(jié)點(diǎn)與相似的結(jié)構(gòu)角色匹配得越好。請(qǐng)注意,相似性是由dG決定的。

對(duì)于優(yōu)化正則問(wèn)題的復(fù)雜性,我們得到以下結(jié)論:

推論1 優(yōu)化圖形正則化是NP難題。

證明方法:減少子圖同構(gòu),PATCHY-SAN并未解決以上優(yōu)化問(wèn)題,而是可能對(duì)比不同的圖形標(biāo)識(shí)方法,然后選擇對(duì)給定圖形集合而言最適合的方法。

推論2 在以下公式中,G是圖形集合,(G1, G0 1), ...,(GN , G0 N)是圖形對(duì)的序列,那些圖形來(lái)自G,是隨機(jī)且獨(dú)立的統(tǒng)一抽樣結(jié)果。

已知θ?` := PN i=1 dA A`(Gi), A`(G0 i) /N,并且θ` :=E G  dA A`(G), A`(G0) ? dG(G, G0) 。如果dA ≥ dG,只要θ`1 < θ`2,則EG[θ?`1] < EG[θ?`2]。

有了推論2,我們能以未經(jīng)監(jiān)督的方式,通過(guò)對(duì)相關(guān)估算的對(duì)比,比較不同的標(biāo)識(shí)過(guò)程。在dA ≥ dG的前提下, ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)的估算值越小,絕對(duì)差越小。因此,我們可以簡(jiǎn)單選擇 ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)最小的標(biāo)識(shí)。仍然以dA ≥ dG為前提舉例。編輯圖形距離和鄰接矩陣的漢明距離。最后要注意,所有上述演算結(jié)果都可以延用在有向圖上。

就本文主張的方法而言,其核心內(nèi)容就是圖形正則化問(wèn)題,以及應(yīng)用局部圖形結(jié)構(gòu)正則化適合的圖形標(biāo)識(shí)過(guò)程。在PATCHY-SAN框架內(nèi),我們進(jìn)行一個(gè)頂點(diǎn)v的鄰域圖正則化。頂點(diǎn)的標(biāo)識(shí)因此受限于v的圖形距離:對(duì)任意兩個(gè)頂點(diǎn)u和w,假如u比w更接近v,那么v的排名就始終高于w。這樣的界定能保證v始終排在第一位。在G中,一個(gè)頂點(diǎn)越靠近v,其在向量空間表示中的排名就越高。

大部分標(biāo)識(shí)方法都不是單射的,因此有必要打破同一標(biāo)識(shí)節(jié)點(diǎn)的聯(lián)系。為此,我們采用了NAUTY(McKay 與Piperno,2014年)。NAUTY將此前的節(jié)點(diǎn)劃分視為輸入,通過(guò)選擇按字典序最大的鄰接矩陣打破了現(xiàn)有的聯(lián)系。對(duì)有界度的圖來(lái)說(shuō),圖形同構(gòu)是在PTIME時(shí)刻(Luks,1982年)由于鄰域圖的大小恒定為k,此算法在多項(xiàng)式時(shí)間內(nèi)以原始圖大小運(yùn)行,平均線性時(shí)間為k(Babai等人,1980年)。我們的實(shí)驗(yàn)證實(shí),計(jì)算圖形鄰域的典型標(biāo)識(shí)增加的功耗微乎其微。

算法4列舉了正則化過(guò)程。如果輸入集U的大小超過(guò)k,該過(guò)程首先應(yīng)用在基于l的排名,以便選擇排名最高的那些k節(jié)點(diǎn),并重新計(jì)算較小節(jié)點(diǎn)集的排名。如果U的大小不及k,該過(guò)程就增加不連通的偽節(jié)點(diǎn)。最后,它會(huì)導(dǎo)出頂點(diǎn)N的子圖,將以排名r作為此前著色的圖形規(guī)范化。

我們能按照下面的方法將PATCHY-SAN 結(jié)構(gòu)關(guān)聯(lián)到卷積神經(jīng)網(wǎng)絡(luò)上。

定理3. 給定一個(gè)圖形的像素序列。將 P大小為(2m – 1)2,幅度為s,沒(méi)有零填充,以及1-WL標(biāo)準(zhǔn)化感受域的ATCHY-SAN架構(gòu)應(yīng)用到上序列上,和大小為(2m – 1),幅度為s,沒(méi)有零填充感受域的卷積神經(jīng)網(wǎng)絡(luò)第一層是一樣的。(相當(dāng)于固定序列感受域)

證據(jù):有可能顯示出,如果一個(gè)輸入圖形是一個(gè)正方形網(wǎng)格,那么之后為頂點(diǎn)構(gòu)建的1-WL正則化感受域?qū)⑹冀K是一個(gè)按照獨(dú)特頂點(diǎn)順序,且有著獨(dú)特正方形網(wǎng)格圖形。

4.4. 卷積架構(gòu)

PATCHY-SAN能夠處理頂點(diǎn)和邊緣屬性(離散的和連續(xù)的)。設(shè)av是頂點(diǎn)屬性的數(shù)量,設(shè)ae是邊緣屬性的數(shù)量。對(duì)于每一個(gè)輸入圖形G,它都適用于頂點(diǎn)和邊緣,結(jié)果就是一個(gè) (w, k, av) 和一個(gè) (w, k, k, ae) 張量。這些可以被重塑到一個(gè) (wk, av) 和一個(gè)(wk2, ae) 張量上。請(qǐng)注意,av 和ae 都是輸入渠道的數(shù)量。我們現(xiàn)在可以將大小設(shè)為k的跨越和感受域的1維卷積層應(yīng)用到第一個(gè)張量,把k2應(yīng)用到第二張量。其余的架構(gòu)可以被任意選擇。

我們可以使用合并層去整合分別代表節(jié)點(diǎn)和邊緣的卷積層。

五、復(fù)雜性和實(shí)現(xiàn)

ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu) 

圖4:在不同圖形上感受域的每秒處理速率

PATCHY-SAN創(chuàng)造感受域的算法效率非常高,而且也是原生并行化的,因?yàn)楦惺苡蚴仟?dú)立生成的。我們可以展示以下漸近的最壞結(jié)果。

定理四.  把N設(shè)為圖形數(shù)量,把K設(shè)為感受域大小體積,把W設(shè)為寬度,還有O(f(n, m))函數(shù)化了為一個(gè)n個(gè)頂點(diǎn)和m個(gè)邊緣的圖形計(jì)算指定標(biāo)簽復(fù)雜度。對(duì)于計(jì)算N圖形的感受域來(lái)說(shuō),PATCHY-SAN有一個(gè)最差復(fù)雜度函數(shù)O(Nw(f(n, m) + nlog(n) + exp(k)))。

證明: 節(jié)點(diǎn)序列選擇需要每個(gè)輸入圖形的標(biāo)簽和k最高排名的節(jié)點(diǎn)檢索。對(duì)于正則化圖形補(bǔ)丁的創(chuàng)建,絕大多數(shù)計(jì)算工作都花費(fèi)在了將標(biāo)簽過(guò)程應(yīng)用在一個(gè)大小可能比k大的鄰域上。將d設(shè)為輸入圖形G的最大度,將U設(shè)為由算法2返回的鄰域。我可以得到 |U| ≤ (k ? 2)d ≤ n. 函數(shù)exp(k)來(lái)自于在一個(gè)K節(jié)點(diǎn)圖形上最圖形正則化算法NAUTY最壞情況下的復(fù)雜度(Miyazaki, 1997)。

舉個(gè)例子,對(duì)于Weisfeiler-Lehman算法來(lái)說(shuō),它有一個(gè)O((n + m)log(n)) 復(fù)雜度 (Berkholz 等人, 2013),還有常量w <n 和 k <n,PATCHY-SAN復(fù)雜度就是在N內(nèi)的線性化,以及在m和n中的非線性化。

六、實(shí)驗(yàn)

我們進(jìn)行了三種類型的實(shí)驗(yàn):一個(gè)運(yùn)行分析,一個(gè)學(xué)習(xí)功能的定量(定性)分析,還有在基準(zhǔn)數(shù)據(jù)集上的圖形內(nèi)核比較。

6.1. 運(yùn)行分析

通過(guò)將PATCHY-SAN結(jié)構(gòu)應(yīng)用在真實(shí)世界的圖形中,我們?cè)u(píng)估了它的效率。目標(biāo)是對(duì)比感受域被生成的等級(jí)和最先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)表現(xiàn)的學(xué)習(xí)等級(jí)。所有輸入圖形都是Python模塊GRAPHTOOL1集合的一部分。對(duì)于一個(gè)指定圖形,通過(guò)利用標(biāo)準(zhǔn)化一維Weisfeiler-Lehman  (1-WL)算法,我們使用PATCHY-SAN結(jié)構(gòu)來(lái)計(jì)算所有節(jié)點(diǎn)的感受域(Douglas, 2011)。環(huán)面(torus)是一個(gè)帶有1萬(wàn)個(gè)節(jié)點(diǎn)的周期性晶格;隨機(jī)(random)是一個(gè)帶有1萬(wàn)個(gè)節(jié)點(diǎn)和一度分布P(k) ∝ 1/k and kmax = 3的隨機(jī)無(wú)向圖;電網(wǎng)(power)是一個(gè)美國(guó)地區(qū)電網(wǎng)拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò);polbooks是polbooks是關(guān)于2004年美國(guó)總統(tǒng)大選書(shū)籍的一個(gè)聯(lián)合購(gòu)買網(wǎng)絡(luò); 優(yōu)先(preferential)是一個(gè)優(yōu)先連接網(wǎng)絡(luò)模型,新加入的頂點(diǎn)有3度;astro-ph 是一個(gè)合著網(wǎng)絡(luò),上面有很多來(lái)自提交天體物理論文預(yù)印本的平臺(tái)arvix的作者(Newman,2001);email-enron 是一個(gè)交流網(wǎng)絡(luò)是由近50萬(wàn)封已發(fā)送的電子郵件生成的(Leskovec et al., 2009)。所有實(shí)驗(yàn)都是在一個(gè)有64G RAM和2.8GHz獨(dú)立處理器的商用硬件上。

圖4描繪了感受域在每秒時(shí)間里是如何對(duì)每個(gè)輸入圖形進(jìn)行評(píng)級(jí)的。對(duì)于大小k = 5和k = 10的感受域,PATCHY-SAN 創(chuàng)建的域的評(píng)級(jí)速率超過(guò)1000/s,除了email-enron 的速率分別是600/s和320/s。 一個(gè)有2卷積和2致密層的卷積神經(jīng)網(wǎng)絡(luò)可以在同樣的機(jī)器上,以每秒200-400個(gè)訓(xùn)練樣子速率進(jìn)行學(xué)習(xí)。因此,感受域所產(chǎn)生的這個(gè)速率對(duì)于一個(gè)下游卷積神經(jīng)網(wǎng)絡(luò)而言完全足夠了。

ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

圖5:受限玻爾茲曼機(jī)可視化功能可以和1維WL(大小為9的正則感受域),一個(gè)有線連接圖形(Barabasi & Albert ′ 1999, 左下),一個(gè)聯(lián)合采購(gòu)政治書(shū)籍網(wǎng)絡(luò)(右上),一個(gè)隨機(jī)圖形(右下)一起學(xué)習(xí),這些帶有100個(gè)節(jié)點(diǎn)的圖形實(shí)例被描繪在左邊。一個(gè)功能可視化表現(xiàn)的權(quán)重(像素越暗,相應(yīng)的權(quán)重就會(huì)越高)和3個(gè)樣例圖形都取自受限玻爾茲曼機(jī)(通過(guò)設(shè)置除了隱藏節(jié)點(diǎn)相應(yīng)的全部功能為0)。在相鄰矩陣中,黃色節(jié)點(diǎn)已經(jīng)被有了位置1(建議看彩色圖形)

6.2. 功能可視化

可視化實(shí)驗(yàn)的目標(biāo),就是要定性調(diào)查無(wú)監(jiān)督特質(zhì)學(xué)習(xí)熱門模型,比如受限玻爾茲曼機(jī)(RBM) (Freund & Haussler, 1992) 是否能夠被整合到PATCHY-SAN 結(jié)構(gòu)里。對(duì)于每一個(gè)輸入圖形,我們已經(jīng)為所有階段生成了感受域,并把這些用于是受限玻爾茲曼機(jī)的輸入香。受限玻爾茲曼機(jī)有100個(gè)隱藏節(jié)點(diǎn),結(jié)合對(duì)比分歧差異,它以0.01的學(xué)習(xí)速率被分成30個(gè)時(shí)期進(jìn)行訓(xùn)練。針對(duì)大小為9標(biāo)準(zhǔn)化感受域的1維Weisfeiler-Lehman算法(1-WL),通過(guò)一個(gè)單層受限玻爾茲曼機(jī),我們實(shí)現(xiàn)了功能可視化。值得注意的是,通過(guò)受限玻爾茲曼機(jī)學(xué)習(xí)的功能,相當(dāng)于感受域類型在發(fā)生。圖5描繪了部分功能和樣例,它們都是從四個(gè)不同圖形中抽取的。

6.3. 圖形分類

圖形分類是指將圖形分配到多個(gè)類型中的一個(gè)的問(wèn)題。

ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu) 

表1: PATCHY-SAN架構(gòu)數(shù)據(jù)集合屬性和準(zhǔn)確度及時(shí)間結(jié)果(按秒),以及圖形內(nèi)核的四種狀態(tài)。

 ICML論文 |  利用CNN來(lái)學(xué)習(xí)任意圖結(jié)構(gòu)

表2:在社交圖形上的準(zhǔn)確度比較結(jié)果

數(shù)據(jù)集。依靠先進(jìn)的圖形內(nèi)核,我們使用了六個(gè)標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集來(lái)對(duì)于運(yùn)行時(shí)間和分類準(zhǔn)確度,它們分別是:MUTAG, PCT, NCI1, NCI109, PROTEIN, 以及D&D。 MUTAG (Debnath 等人, 1991) 是一個(gè)188硝基化合物數(shù)據(jù)集合,類別可以指出化合物對(duì)細(xì)菌的誘變效應(yīng)。PTC由344個(gè)化學(xué)化合物組成,類別可以指出雄性小白鼠和雌性小白虎的致癌性(Toivonen等人, 2003). NCI1和NCI109 是化學(xué)混合物,可以按照非小細(xì)胞肺癌和卵巢腫瘤細(xì)胞進(jìn)行篩選(Wale & Karypis, 2006). PROTEINS是一個(gè)圖形集合,節(jié)點(diǎn)是二級(jí)結(jié)構(gòu)元素,邊緣指示氨基酸序列里或是3D空間里的鄰域。Graphs可以按照酶或非酶被歸類。D&D是1178蛋白質(zhì)結(jié)構(gòu)的數(shù)據(jù)集(Dobson & Doig, 2003) ,可以按照酶和非酶被分類。

實(shí)驗(yàn)設(shè)置. 我們比較了帶有最短路徑內(nèi)核(SP)的PATCHY-SAN結(jié)構(gòu)(Borgwardt & Kriegel, 2005),隨機(jī)游走內(nèi)核 (RW) (Gaertner 等人., 2003),圖形計(jì)數(shù)內(nèi)核 (GK) (Shervashidze 等人, 2009),以及Weisfeiler-Lehman子樹(shù)內(nèi)核(WL) (Shervashidze 等人, 2011)。和之前的工作類似 (Yanardag & Vishwanathan, 2015), 我們把WL的高度參數(shù)設(shè)為2,GK的圖形體積大小設(shè)為7,然后從{10?6, 10?5, ..., 10?1}中為隨機(jī)游走內(nèi)核(RW)選擇選擇衰弱因子。我們利用LIB-SVM進(jìn)行了十倍交叉驗(yàn)證(Chang &Lin, 2011),使用九倍交叉驗(yàn)證進(jìn)行培訓(xùn),一倍用于測(cè)試,并且重復(fù)試驗(yàn)了十次。我們匯報(bào)了平均預(yù)測(cè)準(zhǔn)確度和標(biāo)準(zhǔn)偏差。

對(duì)于PATCHY-SAN 結(jié)構(gòu)(也被稱為PSCN)來(lái)說(shuō),我們使用了1維WL正則化,一個(gè)寬度w等于節(jié)點(diǎn)平均值(見(jiàn)表1),感受域大小是k = 5和k = 10。對(duì)于試驗(yàn),我們只是有了節(jié)點(diǎn)屬性。此外,我們還在k=10的條件下進(jìn)行了試驗(yàn),我們使用了合并層(k = 10E),為節(jié)點(diǎn)和邊緣整合了感受域。為了做出一個(gè)較為公平的比較,我們使用了一個(gè)單一網(wǎng)絡(luò)架構(gòu),它有兩個(gè)卷積層,一個(gè)致密隱藏層,以及針對(duì)所有試驗(yàn)的softmax層。第一個(gè)卷積層有十六個(gè)輸出信道(特征映射)。第二個(gè)卷積層有八個(gè)輸出信道,一個(gè)大跨越到s = 1,域大小定為10。卷積層具有可調(diào)整的線性單元。致密層有128個(gè)可調(diào)整的線性單元,丟碼率為0.5。丟碼和神經(jīng)元的數(shù)量相對(duì)較少,需要避免過(guò)度擬合較小的數(shù)據(jù)集合。我們唯一優(yōu)化的超參數(shù)是針對(duì)迷你梯度下降算法RMSPROP的時(shí)期數(shù)量和批量大小,上面提到的所有這一切都是結(jié)合THEANO (Bergstra等人., 2010)和KERAS (Chollet, 2015)執(zhí)行的。同時(shí)在k = 10的批量處理中,我們還應(yīng)用了一個(gè)邏輯回歸(PSLR)分類器。

不僅如此,我們用同樣的設(shè)置2 在更大的社交圖形集合上進(jìn)行了實(shí)驗(yàn)(每個(gè)集合最多有1.2萬(wàn)個(gè)圖形,平均400個(gè)節(jié)點(diǎn)),根據(jù)之前圖形計(jì)數(shù)(GK)和深度圖形計(jì)數(shù)內(nèi)核(DGK)匯報(bào)的結(jié)果,我們和PATCHY-SAN進(jìn)行了比較(Yanardag & Vishwanathan, 2015)。我們使用了正則化節(jié)點(diǎn)度作為屬性,突出了其優(yōu)勢(shì)之一:它可以輕松地整合進(jìn)行連續(xù)功能。

結(jié)果. 表1列出了實(shí)驗(yàn)結(jié)果。我們忽略了NCI109的結(jié)果,因?yàn)樗麄兒蚇CI1的結(jié)果幾乎一模一樣。盡管使用了一個(gè)通用的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),但是,現(xiàn)有圖形內(nèi)核的卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度還是有很強(qiáng)競(jìng)爭(zhēng)力的。在絕大多數(shù)情況下,一個(gè)感受域體積里的10個(gè)結(jié)果都被分到了最適合的類別里,分類準(zhǔn)確度也是最好的。相對(duì)較高的方差可以用小規(guī)模的基準(zhǔn)數(shù)據(jù)集合來(lái)解釋,事實(shí)上,卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)(時(shí)期和批量處理大小除外)無(wú)法調(diào)準(zhǔn)到個(gè)體數(shù)據(jù)集合。與圖形和文本數(shù)據(jù)的實(shí)驗(yàn)相似,在處理大數(shù)據(jù)集合時(shí),我們期望PATCHY-SAN能夠表現(xiàn)的比絕大多數(shù)大數(shù)據(jù)集合要更好。不僅如此,相比于絕大多數(shù)圖形內(nèi)核(WL),PATCHY-SAN的效率能夠提升2-8倍。對(duì)于海量圖形的數(shù)據(jù)集合,我們期待能夠獲得更加顯著的性能優(yōu)勢(shì)。中介度中心性正則化的結(jié)果,其實(shí)和運(yùn)行時(shí)間異常非常相似,大概只有10%的差異。邏輯回歸應(yīng)用在PATCHY-SAN的感受域上表現(xiàn)的不好,甚至更差,這說(shuō)明PATCHY-SAN在和卷積神經(jīng)網(wǎng)絡(luò)一起使用的時(shí)候效果會(huì)很好,卷積神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)非線性功能整合以及在各個(gè)感受域上分享權(quán)重。

在社交圖形數(shù)據(jù)上,PATCHY-SAN 同樣具有很強(qiáng)的競(jìng)爭(zhēng)力。相比于其他六個(gè)數(shù)據(jù)集合中的四個(gè)雙內(nèi)核,它明顯更好,并且實(shí)現(xiàn)了其他數(shù)據(jù)集合的聯(lián)系。表2羅列了試驗(yàn)的結(jié)果。

七、結(jié)論和未來(lái)工作

我們提出了一個(gè)學(xué)習(xí)圖形表現(xiàn)框架方法,當(dāng)和卷積神經(jīng)網(wǎng)絡(luò)連同協(xié)作時(shí)能發(fā)揮更大作用。它結(jié)合了兩個(gè)互補(bǔ)程序: (a) 選擇一個(gè)可以覆蓋圖形大部分區(qū)域的節(jié)點(diǎn)序列,以及(b) 對(duì)序列中的每個(gè)節(jié)點(diǎn),生成本地標(biāo)準(zhǔn)化鄰域表現(xiàn)。實(shí)驗(yàn)表明,這種方法在最先進(jìn)的圖形內(nèi)核狀態(tài)下是具有競(jìng)爭(zhēng)力的。對(duì)于未來(lái)工作的方向,包括替代神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的使用,比如循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN);整合不同的感受域大小;結(jié)合受限玻爾茲曼機(jī)(RBM)和自編碼器進(jìn)行訓(xùn)練;以及基于該方法理念的統(tǒng)計(jì)關(guān)系模型。

Via PDF

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。

分享:
相關(guān)文章
當(dāng)月熱門文章
最新文章
請(qǐng)?zhí)顚?xiě)申請(qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
立即驗(yàn)證
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說(shuō)