0
| 本文作者： 木子 | 2022-01-12 15:40 |
近期，在國際頂級圖學習基準評測榜單OGB(Open Graph Benchmark)中，微信支付與微信看一看Embedding聯(lián)合團隊憑借在邊性質(zhì)預測任務方面的出色表現(xiàn)，在學者合作網(wǎng)絡、藥物反應網(wǎng)絡以及學術引用網(wǎng)絡三個數(shù)據(jù)集的邊預測競賽中分列第一名、第一名和第二名。邊預測算法主要是基于觀測到的圖結(jié)構(gòu)，預測未來會出現(xiàn)或未觀測到的邊關系，可以廣泛應用在如蛋白質(zhì)交互檢測、欺詐檢測，朋友推薦以及商品推薦等多個工業(yè)界場景中。
在比賽中，微信支付與微信看一看Embedding聯(lián)合團隊根據(jù)邊預測的特性，提出了一種更優(yōu)的圖神經(jīng)網(wǎng)絡邊預測模型的學習算法，PLNLP。該算法通過利用Pairwise Learning to Rank的思路而非傳統(tǒng)的二分類思路，對圖神經(jīng)網(wǎng)絡邊預測模型進行參數(shù)優(yōu)化學習，并基于EmbedX大規(guī)模表示學習框架，實現(xiàn)了PLNLP算法的分布式版本，能夠支持在十億級節(jié)點，千億級邊的圖數(shù)據(jù)上訓練模型。最終在學者合作網(wǎng)絡、學術引用網(wǎng)絡以及藥物反應網(wǎng)絡三個數(shù)據(jù)集的邊預測競賽中，聯(lián)合團隊成果分列第一名、第一名和第二名。
OGB Link Property Prediction榜單鏈接:Leaderboards for Link Property Prediction | Open Graph Benchmark（https://ogb.stanford.edu/docs/leader_linkprop/）
學者合作網(wǎng)絡(ogbl-collab) 取得第一名
藥物反應網(wǎng)絡(ogbl-ddi) 取得第一名
學術引用網(wǎng)絡(ogbl-citation2) 取得第二名
據(jù)介紹，比賽中使用到的鄰域編碼、邊預測、負采樣等通用技術，已經(jīng)在微信支付反欺詐、商戶風控、營銷發(fā)券等多個場景落地。其中反欺詐場景致力于打擊欺詐交易，基于有向圖、異構(gòu)圖等模型，挖掘用戶多階復雜關系，在線上交易風險模型應用，準確度提升30%+。在商戶風控場景下，基于半監(jiān)督對比學習模型，與下游業(yè)務模型融合建模，整體模型KS提升10%+。
而比賽中使用到的圖模型技術均已沉淀到分布式表示學習框架EmbedX之中，EmbedX在騰訊內(nèi)部服務于看一看、搜一搜、視頻號、微信支付、安全、微信表情、騰訊新聞、應用寶、信息安全、QQ音樂、騰訊課堂、騰訊課堂、領航平臺、Joox音樂等多個關鍵業(yè)務，幫助業(yè)務大幅提升用戶體驗。
OGB(Open Graph Benchmark)是目前公認最權(quán)威的國際頂級圖學習基準評測榜單，由斯坦福大學Jure Leskovec教授團隊建立并開源，YoshuaBengio、Will Hamilton與Max Welling等學術界大牛也出任OGB的指導委員會成員，吸引了斯坦福大學、康奈爾大學、北京大學、Facebook、NVIDIA、百度等國際頂尖高校與科技巨頭參與。
該數(shù)據(jù)集涵蓋了生物網(wǎng)絡、分子圖、學術網(wǎng)絡和知識圖譜等領域，且囊括了基本的節(jié)點預測、邊預測、圖預測等圖學習任務，數(shù)據(jù)真實、極具挑戰(zhàn)性，素有圖神經(jīng)網(wǎng)絡領域“ImageNet”之稱，已成為全球圖神經(jīng)網(wǎng)絡研究者檢驗自身功力的“試劍石”。
本次參賽團隊為微信支付和微信看一看Embedding聯(lián)合團隊。微信支付Embedding團隊致力于前沿Graph Embedding算法的研究與落地，目前結(jié)合支付業(yè)務特性自研圖對比學習、半監(jiān)督Graphsage、有向圖、動態(tài)圖等多個算法，基于EmbedX框架提供大規(guī)模訓練能力。團隊成果在多個業(yè)務場景落地，效果提升顯著，并沉淀一系列高質(zhì)量文章。
微信看一看Embedding團隊深耕于大規(guī)模機器學習系統(tǒng)設計與模型應用領域。團隊研發(fā)成果EmbedX系統(tǒng)不僅支持十億級節(jié)點、千億級邊的圖模型訓練與推理，還支持百億級樣本、百億級特征的傳統(tǒng)Embedding模型，包括排序、召回等的訓練與推理。該系統(tǒng)應用于微信的搜索、推薦、支付等領域，并在此過程中，研發(fā)并沉淀了一套通用可遷移的模型庫。
參賽方案已整理成論文：Pairwise Learning for Neural Link Prediction (https://arxiv.org/pdf/2112.02936.pdf)
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
