雷鋒網(wǎng)AI研習(xí)社按：圖是一種常見的數(shù)據(jù)結(jié)構(gòu)，可以被用于許多不同的預(yù)測(cè)任務(wù)。如何從圖數(shù)據(jù)學(xué)習(xí)有效特征是個(gè)重要的問(wèn)題。我們的新概念是從點(diǎn)和邊出發(fā)，拓展到更高階的子圖結(jié)構(gòu)（比如路徑、子圖）來(lái)幫助圖特征學(xué)習(xí)。這些高階的子圖結(jié)構(gòu)通常具有不同的功能，事實(shí)上在一起共同構(gòu)造了整個(gè)網(wǎng)絡(luò)，所以我們稱這些高階的子圖結(jié)構(gòu)為網(wǎng)絡(luò)功能模塊（Network Functional Blocks）。

在這次分享中，嘉賓將用語(yǔ)義相關(guān)度搜索（Semantic Proximity Search）作為一個(gè)應(yīng)用例子，來(lái)介紹他們最近在探索不同粒度的網(wǎng)絡(luò)功能模塊、以進(jìn)行有效圖特征學(xué)習(xí)的一些進(jìn)展。

分享嘉賓：

鄭文琛，微眾銀行人工智能項(xiàng)目組專家工程師和副總經(jīng)理。主要研究方向?yàn)榻Y(jié)構(gòu)化數(shù)據(jù)的特征學(xué)習(xí)和遷移學(xué)習(xí)，已在相關(guān)研究領(lǐng)域發(fā)表了60余篇頂級(jí)會(huì)議和期刊論文，并擁有多項(xiàng)專利和技術(shù)。

在圖數(shù)據(jù)特征工程的成就獲得國(guó)際人工智能頂級(jí)會(huì)議 IJCAI 2018 年的 Early Career Spotlight，在遷移學(xué)習(xí)應(yīng)用于用戶行為識(shí)別的成就獲得國(guó)際會(huì)議ICCSE 2018年的最佳論文獎(jiǎng)。是 Cognitive Computation 雜志的副主編。同時(shí)也是多個(gè)頂級(jí)人工智能國(guó)際會(huì)議的編委會(huì)委員和研討會(huì)的組織者。

公開課回放地址：

http://www.mooc.ai/open/course/560?=Leiphone 

分享主題：基于網(wǎng)絡(luò)功能模塊的圖特征學(xué)習(xí)

分享提綱：

• 圖特征學(xué)習(xí)簡(jiǎn)介。

• 網(wǎng)絡(luò)功能模塊的概念，及其在語(yǔ)義相關(guān)度搜索的應(yīng)用。

• 利用節(jié)點(diǎn)路徑作為網(wǎng)絡(luò)功能模塊的解決方案。

• 利用子圖擴(kuò)展路徑作為網(wǎng)絡(luò)功能模塊的解決方案。

• 利用異質(zhì)有向無(wú)環(huán)圖作為網(wǎng)絡(luò)功能模塊的解決方案。

• 總結(jié)。

• 微眾 AI 招聘簡(jiǎn)介

雷鋒網(wǎng) AI 研習(xí)社將其分享內(nèi)容整理如下：

首先，我給大家做一些簡(jiǎn)單的介紹，圖是一種常見的數(shù)據(jù)結(jié)構(gòu)，我們會(huì)發(fā)現(xiàn)存在很多不一樣的圖結(jié)構(gòu)，尤其是這種異質(zhì)圖的網(wǎng)絡(luò)，比較常見的類型包括職場(chǎng)網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、學(xué)術(shù)網(wǎng)絡(luò)和電商網(wǎng)絡(luò)等等。

 

過(guò)去我們處理圖數(shù)據(jù)/圖的特征學(xué)習(xí)，主要解決的是「點(diǎn)」層面的圖的特征學(xué)習(xí)，比如下面這張圖，左邊是圖的結(jié)構(gòu)，我們通常會(huì)據(jù)此做圖的特征學(xué)習(xí)，就是將圖上的每個(gè)點(diǎn)映射到第一維的空間上，這樣做的話圖上相近的點(diǎn)在第一維空間上同樣會(huì)很靠近，黃色的點(diǎn)與黃色的點(diǎn)聚在一起，黑色的點(diǎn)與黑色的點(diǎn)聚在一起。

 

將一個(gè)圖的結(jié)構(gòu)映射到一個(gè)低維空間，從而得到一個(gè)點(diǎn)的表征，是一種比較簡(jiǎn)單的做法。實(shí)際上，圖的結(jié)構(gòu)還挺有意思的，特別是當(dāng)圖存在異質(zhì)信息的時(shí)候。由于圖本身具有拓?fù)浣Y(jié)構(gòu)，我們會(huì)發(fā)現(xiàn)存在很多不同的模塊?？紤]一個(gè)電商圖，這個(gè)點(diǎn)可能是個(gè)買家，而在功能定位上它是一個(gè)角色（role）。除了點(diǎn)的結(jié)構(gòu)以外，還存在其他的一些結(jié)構(gòu)，比如說(shuō)路徑（買家-車-賣家），更復(fù)雜的我們還有子圖（賣家-書&城市-買家）。

 

因此，同樣的一張圖，通過(guò)不同的點(diǎn)、不同的圖來(lái)組成模塊，它們之間是有區(qū)別的，從點(diǎn)——路徑——子圖，它們各自承載不同的功能，正因?yàn)楣δ艿牟煌S之語(yǔ)義也就不同。所以我們認(rèn)為一張圖是由許多不同的模塊組成的，而每一個(gè)模塊的功能主要取決于兩個(gè)因素：一是拓?fù)浣Y(jié)構(gòu)，也就是說(shuō)形狀是什么樣的；二是它的預(yù)測(cè)任務(wù)究竟是什么。

這也意味著，圖并不只是點(diǎn)與點(diǎn)之間的連接，實(shí)際上這些點(diǎn)與點(diǎn)之間的變化是很豐富的，它們構(gòu)成了不同子圖的結(jié)構(gòu)，這些子圖結(jié)構(gòu)又為我們帶來(lái)了豐富的語(yǔ)義。

根據(jù)傳統(tǒng)的做法，大家會(huì)直接把圖上的點(diǎn)單獨(dú)做成特征向量，那么問(wèn)題來(lái)了，我們能不能利用好這些含有豐富語(yǔ)義的拓?fù)浣Y(jié)構(gòu)，無(wú)論是路徑也好，子圖也好，我們將它們擴(kuò)展開來(lái)，利用語(yǔ)義更豐富的這些結(jié)構(gòu)作為網(wǎng)絡(luò)的功能模塊，再基于這些功能模塊來(lái)做網(wǎng)絡(luò)特征學(xué)習(xí)，最后利用這些特征來(lái)做點(diǎn)的分類、回歸、排序等等。總之，不局限于點(diǎn)的層面，而是探索網(wǎng)絡(luò)功能模塊這么一個(gè)概念。這是我們的一個(gè)整體思路。

語(yǔ)義相關(guān)度搜索（Semantic Proximity Search）

 

我們近期在做的工作，是探索一些比較特殊的網(wǎng)絡(luò)功能模塊的使用場(chǎng)景。這里我會(huì)以一個(gè)場(chǎng)景作為例子介紹這個(gè)網(wǎng)絡(luò)功能模塊的概念。這個(gè)例子就是語(yǔ)義相關(guān)度搜索（Semantic Proximity Search），這是一個(gè)比較常見的異質(zhì)圖搜索應(yīng)用。在語(yǔ)義相關(guān)度搜索使用場(chǎng)景中，只要給定一個(gè) query 和一個(gè) relation，可以對(duì)其他節(jié)點(diǎn)進(jìn)行排序，讓我們對(duì)這個(gè)應(yīng)用有了很大的想象空間。再者，異質(zhì)圖本身存在不同的功能模塊，用來(lái)做語(yǔ)義相關(guān)搜索可說(shuō)是最適合不過(guò)。

那么做語(yǔ)義相關(guān)檢索會(huì)遇到哪些挑戰(zhàn)呢？我們認(rèn)為主要有兩個(gè)：

1）點(diǎn)嵌入（node embedding）是一個(gè)比較間接的解法。我們做語(yǔ)義相關(guān)度檢索，關(guān)心的是兩個(gè)節(jié)點(diǎn)之間的語(yǔ)義相關(guān)度，對(duì)于點(diǎn)嵌入來(lái)說(shuō)，它更關(guān)心的是每個(gè)節(jié)點(diǎn)之間的向量。考慮到兩個(gè)節(jié)點(diǎn)之間并不一定直接相鄰的，在給定兩個(gè)點(diǎn)的向量后，我們需要算出兩個(gè)點(diǎn)之間的距離，這意味著必須通過(guò)很多種方式去計(jì)算，然而我們并不知道哪種計(jì)算方式是最好的。此外，在大部分情況下，點(diǎn)嵌入更多被用來(lái)處理同質(zhì)圖；如果是異質(zhì)圖，我舉個(gè)例子：「我買了一個(gè)牙刷」，不能說(shuō)我跟牙刷的 embedding 很像，這說(shuō)明什么呢？傳統(tǒng)的 node embedding 是很難處理這種圖的異質(zhì)性的?？偠灾?，node embedding 是一個(gè)比較間接的解法，因?yàn)殛P(guān)心的是兩個(gè)點(diǎn)之間的結(jié)構(gòu)，而不是單個(gè)點(diǎn)的結(jié)構(gòu)。

2）有沒有一些工作是專門做異質(zhì)圖嵌入的呢？有，比較常見的是知識(shí)圖譜嵌入，目前這塊有許多特別好的工作。我們認(rèn)為知識(shí)圖譜的 embedding 是非常有意思的解法，不過(guò)要強(qiáng)調(diào)的是，知識(shí)圖譜其實(shí)是比較特殊的異質(zhì)圖，一般會(huì)分為 head、 relation、tail 幾個(gè)部分，然而一般的異質(zhì)圖很少存在這么「干凈」的關(guān)系鏈。如果考慮的是兩個(gè)點(diǎn)之間的距離，那么我們關(guān)心的重點(diǎn)不是究竟哪個(gè)點(diǎn)先嵌入的，而是這兩個(gè)點(diǎn)之間的結(jié)構(gòu)的嵌入。

這是我們認(rèn)為在工作上比較有挑戰(zhàn)性的地方。

利用節(jié)點(diǎn)路徑作為網(wǎng)絡(luò)功能模塊的解決方案

接下來(lái)我會(huì)介紹我們的三個(gè)工作——三種用于解決語(yǔ)義相關(guān)搜索任務(wù)的網(wǎng)絡(luò)功能模塊（Network Function Blocks）。

第一個(gè)工作很簡(jiǎn)單，我們利用異質(zhì)路徑作為網(wǎng)絡(luò)功能模塊，我們的主體思路是，既然關(guān)心兩個(gè)節(jié)點(diǎn)之間的距離，那就干脆把兩個(gè)點(diǎn)之間的網(wǎng)絡(luò)結(jié)構(gòu)做成輸入，由此算出引向量特征，再綜合算出相關(guān)度。這樣做的好處是，一是把節(jié)點(diǎn)之間的結(jié)構(gòu)變成一個(gè)映射，這是一種比較直接的做法；另外，由于這是一個(gè)異質(zhì)子圖結(jié)構(gòu)，這種做法可以避免我們不停地去考慮每個(gè)節(jié)點(diǎn)的處境。

 

在具體的操作上，我們首先把兩個(gè)節(jié)點(diǎn)之間的結(jié)構(gòu)（通過(guò)異質(zhì)路徑獲得）輸入到特征學(xué)習(xí)里（可以采用任意序列的學(xué)習(xí)模型），接著做一些 discounted pooling，因?yàn)閷?duì)于整個(gè)特征表達(dá)而言，有些路徑可能很長(zhǎng)，有些路徑可能很短，有些路徑則可能不是非常顯著。結(jié)束后，我們將這些不同的路徑整合成一個(gè)向量，最終得到一個(gè) embedding，再將 embedding 乘以參數(shù)向量來(lái)得到最終的距離值。對(duì)于語(yǔ)義相關(guān)度搜索來(lái)說(shuō)，只要給定點(diǎn)和點(diǎn)之間的距離，我們就可以做一個(gè)排序。這也是我們選擇做一對(duì)一的訓(xùn)練和對(duì)路徑做 discounted pooling 的原因，過(guò)程非常簡(jiǎn)單，結(jié)果卻挺有意思的。

ProxEmbed 是一種基于路徑的操作方法，事實(shí)上是通過(guò)一堆路徑給兩個(gè)節(jié)點(diǎn)之間的網(wǎng)絡(luò)結(jié)構(gòu)做近似。這樣的 idea 也被利用到許多其他領(lǐng)域的工作里。這種 path-based 的方法盡管很成功，但我們后來(lái)發(fā)現(xiàn)路徑是一種比較低階的結(jié)構(gòu)，如果對(duì)每個(gè)路徑進(jìn)行單獨(dú)考慮，其實(shí)能夠挖掘出來(lái)的信息是非常有限的，除非擁有非常優(yōu)秀的 pooling 策略，不然你沒法判斷信息是如何被不同路徑相互看到的，因此不一定足以描述豐富的語(yǔ)義。

利用子圖擴(kuò)展路徑作為網(wǎng)絡(luò)功能模塊的解決方案

接著我們做了第二個(gè)工作，我們將路徑做了擴(kuò)展。剛剛我們有提到兩個(gè)節(jié)點(diǎn)之間的關(guān)系不只有路徑，還包括頻繁子圖，于是我們就在思考，有沒有可能通過(guò)頻繁子圖去擴(kuò)充路徑的結(jié)構(gòu)。為什么要做路徑的擴(kuò)充呢？因?yàn)辄c(diǎn)和點(diǎn)之間的路徑能夠很好地描述點(diǎn)和點(diǎn)之間的距離，如果再給點(diǎn)和點(diǎn)之間的關(guān)系增加一些豐富的子圖語(yǔ)義信息，路徑的表達(dá)能力將會(huì)因此大大增強(qiáng)。通過(guò)增加頻繁子圖的語(yǔ)義信息，我們最終可以得到 subgragh-augmented path，接著我們將它作為模型特征的學(xué)習(xí)，將 subgragh-augmented path 作為映射，從而學(xué)習(xí)到特征表達(dá)，最終算出它的語(yǔ)義距離（Proximity Score）。

 

可能有人會(huì)問(wèn)，為什么在具體的操作上考慮的是用戶和用戶之間的關(guān)系，而不是任意兩個(gè)點(diǎn)之間？原因是我們?cè)谔岬秸Z(yǔ)義相關(guān)搜索的時(shí)候，其實(shí)指的是和用戶相關(guān)的語(yǔ)義相關(guān)搜索，這種應(yīng)用考慮的更多還是用戶和用戶之間的關(guān)系，所以我們只對(duì)用戶做兩兩交叉。另外，這種交叉還有一個(gè)好處，那就是可以減少計(jì)算的復(fù)雜度。

考慮到并不是所有子圖、S-node、S-path 的貢獻(xiàn)都是一樣的，我們專門做了一個(gè)分層級(jí)注意力（hierarchical attention）模型來(lái)幫我們做篩選。此外，我們還考慮到子圖路徑其實(shí)是有結(jié)構(gòu)的，所以專門針對(duì)子圖的 embedding 結(jié)構(gòu)的相似性，我們來(lái)描述兩個(gè)節(jié)點(diǎn)之間的 embedding 關(guān)系，由此得到每一個(gè)節(jié)點(diǎn)和節(jié)點(diǎn)之間的 subgragh-augmented path 的一個(gè)全新 embedding。

 

我們的工作基于這么一個(gè)假設(shè)，那就是子圖的 patterns 和 instances 都是預(yù)先算好的。在實(shí)際的操作中我們發(fā)現(xiàn)這個(gè)假設(shè)是可以被接受的，因?yàn)?strong>頻繁子圖經(jīng)常會(huì)被離線算好，再用來(lái)作為圖索引。我舉幾個(gè)比較典型的例子，比如阿里巴巴的反欺詐和 Twitter 的用戶內(nèi)容推薦，都是如此。另外，我們發(fā)現(xiàn)過(guò)往的一些工作中，也存在很多這種高效的子圖挖掘和匹配的算法。

那么問(wèn)題來(lái)了，我們能不能不做子圖挖掘，然后將這些豐富的子圖結(jié)構(gòu)給利用起來(lái)呢？

利用異質(zhì)有向無(wú)環(huán)圖作為網(wǎng)絡(luò)功能模塊的解決方案

帶著這個(gè)問(wèn)題，我們又做了另外一項(xiàng)工作，那就是利用異質(zhì)的有向無(wú)環(huán)圖作為網(wǎng)絡(luò)功能模塊。我們使用 DAGs（Directed Acyclic Graphs）代替路徑去計(jì)算節(jié)點(diǎn)結(jié)構(gòu)的特征，主要是基于這么一項(xiàng)考慮：關(guān)系通常是有向的，然而路徑的表達(dá)能力卻有限。另外，DG 一般是環(huán)狀結(jié)構(gòu)，環(huán)則意味著更長(zhǎng)的距離，對(duì)于描述兩個(gè)點(diǎn)之間的關(guān)系并沒有多大好處。況且從計(jì)算角度來(lái)說(shuō)，環(huán)結(jié)構(gòu)對(duì)于圖的 inference 是不友好的。于是我們將部分的環(huán)去掉，最終得到 DAG 結(jié)構(gòu)。

 

接下來(lái)，我們需要解決的是 DAGs 的產(chǎn)生效率問(wèn)題，為此我們引入了一個(gè)距離可感知的 DAG 產(chǎn)生機(jī)制。我們會(huì)預(yù)先進(jìn)行采樣，采樣好路徑以后，我們將這些路徑拼成一個(gè)圖，然后利用路徑遍歷來(lái)構(gòu)建 DG，過(guò)程中通過(guò)一套計(jì)算來(lái)進(jìn)行去環(huán)，經(jīng)過(guò)不停地遍歷所有的 path 以后，我們最終可以得到 DAG 結(jié)構(gòu)。這樣處理的好處是，可以避免一個(gè)點(diǎn)到另一個(gè)點(diǎn)的結(jié)構(gòu)只有一種 DAG。接著我們可以利用一堆 DAG 去給兩個(gè)點(diǎn)之間的結(jié)構(gòu)做近似，讓語(yǔ)義變得更加豐富。

 

解決了 DAG 的產(chǎn)生效率問(wèn)題，接下來(lái)我們要解決的是如何去描述和做特征學(xué)習(xí)，為此我們做了一個(gè)距離遞減機(jī)制（recursive distance discount mechanism），因?yàn)槲覀儼l(fā)現(xiàn)點(diǎn)和點(diǎn)之間的結(jié)構(gòu)路徑的貢獻(xiàn)率不一定都是一樣的，這就凸顯了距離的重要性。當(dāng)我們仔細(xì)觀察每一個(gè) DAG 的結(jié)構(gòu)時(shí)，每個(gè)節(jié)點(diǎn)都有不同的前驅(qū)。為了區(qū)分不同節(jié)點(diǎn)的迭代貢獻(xiàn)率，我們可以根據(jù)不同前驅(qū)到達(dá) query 的距離，將之與 predecessor 綜合起來(lái)進(jìn)行計(jì)算，來(lái)得到最終目標(biāo)節(jié)點(diǎn)的 embedding，每個(gè)節(jié)點(diǎn)我們可以不停往后推，直至得到最終的 embedding 為止。

實(shí)驗(yàn)結(jié)果

最后我們做了一些實(shí)驗(yàn)，主要測(cè)試三個(gè)數(shù)據(jù)集的六種語(yǔ)義關(guān)系，這些數(shù)據(jù)集包括了 LinkedIn、Facebook 和 DBLP。因?yàn)檫@是一項(xiàng)排序任務(wù)，因此我們加入了一些評(píng)估指標(biāo)，那就是 NDCG（normalized discounted cumulative gain）和 Map（mean average precision）。

同時(shí)我們還列了一些比較典型的 Baseline 算法：首先是 deep walk ranking（DWR）算法，它從一個(gè)點(diǎn)采集一堆的路徑，來(lái)學(xué)習(xí)節(jié)點(diǎn)特征；第二個(gè)是 meta-graph proximity（MGP），通過(guò)數(shù)任意兩個(gè)節(jié)點(diǎn)間的 meta-graph 個(gè)數(shù)來(lái)計(jì)算節(jié)點(diǎn)間距離；第三個(gè)是 Metapath2vec，通過(guò)采樣 metapaths 來(lái)學(xué)習(xí)節(jié)點(diǎn)特征。

最終結(jié)果顯示，ProxEmbed、SPE 以及 D2AGE 三者在不同的 symmetric 和 asymmetric 里的效果都比較好，當(dāng)中 SPE 的表現(xiàn)是最出色的，因?yàn)?strong> SPE 為了在挖掘頻繁子圖方面做了較多工作，因此得到的信息更多更好。其次就是 D2AGE，效果跟 SPE 比較接近，有些地方甚至表現(xiàn)得更好，說(shuō)明了即使不挖掘頻繁子圖，也有可能獲得比較穩(wěn)定的效果。

總結(jié)

最后我再總結(jié)以下我們的工作。我們主要想利用圖特征學(xué)習(xí)來(lái)解決語(yǔ)義相關(guān)度檢索任務(wù)，而我們認(rèn)為點(diǎn)嵌入（node embedding）是一個(gè)間接的解決方案，所以我們提出把 query 和 target 之間的結(jié)構(gòu)拿來(lái)做特征學(xué)習(xí)。具體要如何獲得結(jié)構(gòu)特征？我們采用的是 network functional blocks 方法，也就是三種基于網(wǎng)絡(luò)功能模塊的圖特征學(xué)習(xí)方法。第一項(xiàng)工作是 ProxEmbed，利用異質(zhì)路徑作為網(wǎng)絡(luò)功能模塊；第二項(xiàng)工作是 SPE，利用子圖擴(kuò)充路徑作為網(wǎng)絡(luò)功能模塊；第三項(xiàng)工作是 D2AGE，利用有向無(wú)環(huán)圖作為網(wǎng)絡(luò)功能模塊。

最后這些模塊都在數(shù)據(jù)集上取得了比 baselines 要好的效果。

我們整理了一份關(guān)于 network functional blocks 近期工作的文獻(xiàn)集，同時(shí)我們也開源了我們所有的工作數(shù)據(jù)和代碼，感興趣的同學(xué)可以到網(wǎng)上去檢索，然后自己做一些復(fù)現(xiàn)。

 

分享完我們的工作，我想順便做個(gè)招聘廣告。我目前就職的微眾銀行，是騰訊發(fā)起的國(guó)內(nèi)首家民營(yíng)銀行、互聯(lián)網(wǎng)銀行。我們目前在微眾做很多的 AI 落地實(shí)踐，包括如何利用 AI 獲客、如何用機(jī)器人來(lái)低成本高質(zhì)量地服務(wù)客戶、以及如何在保護(hù)隱私的前提下跨越數(shù)據(jù)墻和最大化數(shù)據(jù)使用效率等。

非常期待大家能夠加入我們，我們提供了很多相關(guān)的 AI 領(lǐng)域職位，有興趣的同學(xué)可以將簡(jiǎn)歷發(fā)到 quainajiang@webank.com。謝謝大家！

以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請(qǐng)到雷鋒網(wǎng)AI研習(xí)社社區(qū)（https://club.leiphone.com/  ）觀看。關(guān)注微信公眾號(hào)：AI 研習(xí)社（okweiwu），可獲取最新公開課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。