網(wǎng)絡(luò)表示學(xué)習(xí)領(lǐng)域（NRL/NE）必讀論文匯總

本文作者：楊文

2018-02-24 16:25

導(dǎo)語：NRL/NE領(lǐng)域必讀論文匯總

雷鋒網(wǎng)AI科技評論按：近日，Cunchao Tu 和 Yuan Yao 兩位研究者在 GitHub 上總結(jié)發(fā)表了一份關(guān)于網(wǎng)絡(luò)表示學(xué)習(xí)（NRL: network representation learning）和網(wǎng)絡(luò)嵌入研究領(lǐng)域（NE: network embedding）必讀論文清單。這份清單共包含 5 篇綜述論文和 64 篇會議期刊論文。同時(shí)兩位研究者在 GitHub 上發(fā)布了 NE / NERL 的開源工具包 OpenNE。該庫提供了標(biāo)準(zhǔn)的 NE / NRL（網(wǎng)絡(luò)表示學(xué)習(xí)）培訓(xùn)和測試框架，目前在 OpenNE 中實(shí)現(xiàn)的模型包括 DeepWalk，LINE，node2vec，GraRep，TADW 和 GCN。

五篇必讀Survey Papers

Representation Learning on Graphs: Methods and Applications.

作者：William L. Hamilton, Rex Ying
論文地址：https://arxiv.org/pdf/1709.05584.pdf

論文摘要：在不同圖（Graph）上的機(jī)器學(xué)習(xí)是一項(xiàng)重要且無處不在的任務(wù)，其應(yīng)用范圍從藥物設(shè)計(jì)到社交網(wǎng)絡(luò)中的好友推薦。該領(lǐng)域的主要挑戰(zhàn)是找到一種方法來表示或編碼圖結(jié)構(gòu)，以便機(jī)器學(xué)習(xí)模型可以輕松利用它。傳統(tǒng)的機(jī)器學(xué)習(xí)方法依賴于用戶定義的啟發(fā)式方法來提取編碼關(guān)于圖的結(jié)構(gòu)信息的特征（例如，度數(shù)統(tǒng)計(jì)或內(nèi)核函數(shù)）。然而，近年來，使用基于深度學(xué)習(xí)和非線性降維的技術(shù)，自動學(xué)習(xí)將圖結(jié)構(gòu)編碼為低維嵌入的方法出現(xiàn)了激增。在這里，我們提供了關(guān)于圖形表示學(xué)習(xí)領(lǐng)域進(jìn)展的關(guān)鍵概念回顧，包括基于矩陣分解的方法，基于隨機(jī)游走的算法和圖形卷積網(wǎng)絡(luò)。文中回顧了嵌入單個(gè)節(jié)點(diǎn)的方法以及嵌入整個(gè)（子）圖的方法。為此，制定了一個(gè)統(tǒng)一的框架來描述這些最新的方法，并且強(qiáng)調(diào)了未來工作的一些重要應(yīng)用和方向。

Graph Embedding Techniques, Applications, and Performance: A Survey

作者：Palash Goyal ， Emilio Ferrara
論文地址: https://arxiv.org/pdf/1705.02801.pdf

論文摘要：社交網(wǎng)絡(luò)，詞語共現(xiàn)網(wǎng)絡(luò)和通信網(wǎng)絡(luò)等圖（Graph）出現(xiàn)在現(xiàn)實(shí)世界的應(yīng)用中。在過去，研究人員已經(jīng)通過很多方法分析它們用來洞察社會結(jié)構(gòu)，語言以及不同的交流模式。最近，在向量空間中使用圖節(jié)點(diǎn)表示的方法得到了研究團(tuán)隊(duì)的關(guān)注。在這次調(diào)查中，我們對文獻(xiàn)中提出的各種圖嵌入技術(shù)進(jìn)行了全面和結(jié)構(gòu)化分析。我們首先介紹嵌入任務(wù)及其可擴(kuò)展性，維度選擇，以及要保留的功能等挑戰(zhàn)及其可能的解決方案。然后，我們基于因式分解方法，隨機(jī)游走和深度學(xué)習(xí)，提出了三類方法，并給出了每個(gè)類別中具有代表性算法的例子以及各種任務(wù)的表現(xiàn)分析。我們在幾個(gè)常見數(shù)據(jù)集上評估這些最先進(jìn)的方法，并比較它們的性能。我們最終呈現(xiàn)了我們開發(fā)的開源 Python 庫，名為 GEM（圖嵌入方法，可在 https://github.com/palash1992/GEM 上獲得），它提供了所有在統(tǒng)一界面中提到的算法。

A Comprehensive Survey of Graph Embedding: Problems, Techniques and Applications.

作者：Hongyun Cai, Vincent W. Zheng, Kevin Chen-Chuan Chang
論文地址：https://arxiv.org/pdf/1709.07604.pdf

論文摘要：圖是一種重要的數(shù)據(jù)表示形式，它出現(xiàn)在各種各樣的現(xiàn)實(shí)場景中。有效的圖分析為用戶提供了對數(shù)據(jù)背后知識更深入的了解，從而可以使許多有價(jià)值的應(yīng)用程序受益，如節(jié)點(diǎn)分類，節(jié)點(diǎn)推薦，鏈接預(yù)測等。然而，大多數(shù)圖分析方法仍遭受高計(jì)算和空間成本的限制。圖嵌入是解決圖分析問題的有效且高效的方法，它將圖形數(shù)據(jù)轉(zhuǎn)換為低維空間，其中圖形結(jié)構(gòu)信息和圖形屬性得到最大限度地保留。在這次調(diào)查中，我們對過去關(guān)于圖嵌入的文獻(xiàn)進(jìn)行了全面的回顧。我們首先介紹圖形嵌入的正式定義以及相關(guān)的概念。之后，我們提出了兩種圖嵌入分類法，它們對應(yīng)于不同圖嵌入問題設(shè)置中存在的挑戰(zhàn)以及現(xiàn)有工作如何解決其解決方案中的這些挑戰(zhàn)。最后，我們總結(jié)了圖嵌入的應(yīng)用，并提出了四個(gè)有前景的未來研究方向，包括計(jì)算效率，問題設(shè)置，技術(shù)和應(yīng)用場景。

Network Representation Learning: A Survey.

作者：Daokun Zhang, Jie Yin，Xingquan Zhu， Chengqi Zhang
論文地址：https://arxiv.org/pdf/1801.05852.pdf

論文摘要：隨著信息技術(shù)的廣泛使用，捕捉社交網(wǎng)絡(luò)，引文網(wǎng)絡(luò)，電信網(wǎng)絡(luò)和生物網(wǎng)絡(luò)等各種學(xué)科網(wǎng)絡(luò)之間的復(fù)雜關(guān)系變得越來越流行。分析這些網(wǎng)絡(luò)揭示了社會生活的不同方面，如社會結(jié)構(gòu)，信息傳播和不同的交流模式。然而，大規(guī)模的信息網(wǎng)絡(luò)往往使網(wǎng)絡(luò)分析任務(wù)計(jì)算成本昂貴且棘手。最近，網(wǎng)絡(luò)表示學(xué)習(xí)被提出作為一種新的學(xué)習(xí)范式，通過保留網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，頂點(diǎn)內(nèi)容和其他邊信息將網(wǎng)絡(luò)頂點(diǎn)嵌入低維向量空間。這有助于在新的向量空間中輕松處理原始網(wǎng)絡(luò)以供進(jìn)一步分析。在這次調(diào)查中，我們對數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域中的網(wǎng)絡(luò)表示學(xué)習(xí)的當(dāng)前文獻(xiàn)進(jìn)行了全面的回顧。我們提出了一種新的分類方法，根據(jù)他們所使用的方法和他們保存的網(wǎng)絡(luò)信息來分析和總結(jié)最先進(jìn)的網(wǎng)絡(luò)表示學(xué)習(xí)技術(shù)。最后，為了便于研究這一主題，我們總結(jié)了基準(zhǔn)數(shù)據(jù)集和評估方法，并討論了該領(lǐng)域的未來研究方向。

Network Representation Learning: An Overview.

作者:Cunchao Tu, Cheng Yang, Zhiyuan Liu, Maosong Sun
論文地址：http://engine.scichina.com/publisher/scp/journal/SSI/47/8/10.1360/N112017-00145?slug=full%20text

論文摘要：網(wǎng)絡(luò)是表示對象及其關(guān)系的重要方式。網(wǎng)絡(luò)研究中的一個(gè)關(guān)鍵問題是如何正確表示網(wǎng)絡(luò)信息。隨著機(jī)器學(xué)習(xí)的發(fā)展，網(wǎng)絡(luò)頂點(diǎn)的特征學(xué)習(xí)已成為一個(gè)重要的研究領(lǐng)域。網(wǎng)絡(luò)表示學(xué)習(xí)算法將網(wǎng)絡(luò)信息轉(zhuǎn)換為密集的低維實(shí)值向量，可用作現(xiàn)有機(jī)器學(xué)習(xí)算法的輸入。例如，頂點(diǎn)的表示可以被饋送到分類器，例如用于頂點(diǎn)分類的支持向量機(jī)（SVM）。另外，通過將表示作為歐幾里德空間中的點(diǎn)，可以將表示用于可視化。網(wǎng)絡(luò)表征學(xué)習(xí)的研究引起了許多研究者的關(guān)注。在這篇文章中，介紹和總結(jié)了近期關(guān)于網(wǎng)絡(luò)表示學(xué)習(xí)的研究工作。

六十四篇期刊會議論文

DeepWalk: Online Learning of Social Representations. KDD 2014.

論文地址：https://arxiv.org/pdf/1403.6652.pdf；
代碼地址：https://github.com/phanein/deepwalk

Learning Latent Representations of Nodes for Classifying in Heterogeneous Social Networks. WSDM 2014.

論文地址：http://webia.lip6.fr/%7Egallinar/gallinari/uploads/Teaching/WSDM2014-jacob.pdf

Non-transitive Hashing with Latent Similarity Componets. KDD 2015.

論文地址：http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/KDD-NonTransitiveHashing.pdf

GraRep: Learning Graph Representations with Global Structural Information. CIKM 2015.

論文地址：https://www.researchgate.net/publication/301417811_GraRep；
代碼地址：https://github.com/ShelsonCao/GraRep

LINE: Large-scale Information Network Embedding. WWW 2015.

論文地址：https://arxiv.org/pdf/1503.03578.pdf；
代碼地址：https://github.com/tangjianpku/LINE

Network Representation Learning with Rich Text Information. IJCAI 2015.

論文地址：http://thunlp.org/%7Eyangcheng/publications/ijcai15.pdf
代碼地址：https://github.com/tangjianpku/LINE

PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Networks. KDD 2015.

論文地址：https://arxiv.org/pdf/1508.00200.pdf
代碼地址：https://github.com/mnqu/PTE

Heterogeneous Network Embedding via Deep Architectures. KDD 2015.

論文地址：http://www.ifp.illinois.edu/%7Echang87/papers/kdd_2015.pdf

Deep Neural Networks for Learning Graph Representations. AAAI 2016.

論文地址：https://pdfs.semanticscholar.org/1a37/f07606d60df365d74752857e8ce909f700b3.pdf

Asymmetric Transitivity Preserving Graph Embedding. KDD 2016.

論文地址：http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/hoppe.pdf

Revisiting Semi-supervised Learning with Graph Embeddings. ICML 2016.

論文地址：http://proceedings.mlr.press/v48/yanga16.pdf

node2vec: Scalable Feature Learning for Networks. KDD 2016.

論文地址：http://www.kdd.org/kdd2016/papers/files/rfp0218-groverA.pdf
代碼地址：https://github.com/aditya-grover/node2vec

Max-Margin DeepWalk: Discriminative Learning of Network Representation. IJCAI 2016.

論文地址：http://thunlp.org/%7Etcc/publications/ijcai2016_mmdw.pdf
代碼地址：https://github.com/thunlp/mmdw

Tri-Party Deep Network Representation. IJCAI 2016.

論文地址：https://www.ijcai.org/Proceedings/16/Papers/271.pdf

Discriminative Deep RandomWalk for Network Classification. ACL 2016.

論文地址：http://www.aclweb.org/anthology/P16-1095

Structural Deep Network Embedding. KDD 2016.

論文地址：http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/SDNE.pdf

Structural Neighborhood Based Classification of Nodes in a Network. KDD 2016.

論文地址：http://www.kdd.org/kdd2016/papers/files/Paper_679.pdf

Community Preserving Network Embedding. AAAI 2017.

論文地址：http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/NE-Community.pdf

Semi-supervised Classification with Graph Convolutional Networks. ICLR 2017.

論文地址：https://arxiv.org/pdf/1609.02907.pdf
代碼地址：https://github.com/tkipf/gcn

CANE: Context-Aware Network Embedding for Relation Modeling. ACL 2017.

論文地址：http://thunlp.org/%7Etcc/publications/acl2017_cane.pdf
代碼地址：https://github.com/thunlp/cane

Fast Network Embedding Enhancement via High Order Proximity Approximation. IJCAI 2017.

論文地址：http://thunlp.org/%7Etcc/publications/ijcai2017_neu.pdf
代碼地址：https://github.com/thunlp/neu

TransNet: Translation-Based Network Representation Learning for Social Relation Extraction.IJCAI 2017.

論文地址：http://thunlp.org/%7Etcc/publications/ijcai2017_transnet.pdf
代碼地址：https://github.com/thunlp/transnet

metapath2vec: Scalable Representation Learning for Heterogeneous Networks. KDD 2017.

論文地址：https://www3.nd.edu/%7Edial/publications/dong2017metapath2vec.pdf
代碼地址：https://ericdongyx.github.io/metapath2vec/m2v.html

Learning from Labeled and Unlabeled Vertices in Networks.KDD 2017.

論文地址：https://dl.acm.org/citation.cfm?id=3098142

Unsupervised Feature Selection in Signed Social Networks. KDD 2017.

論文地址：http://www.public.asu.edu/%7Ejundongl/paper/KDD17_SignedFS.pdf

struc2vec: Learning Node Representations from Structural Identity. KDD 2017.

論文地址：https://arxiv.org/pdf/1704.03165.pdf
代碼地址：https://github.com/leoribeiro/struc2vec

Label Informed Attributed Network Embedding. WSDM 2017.

論文地址：http://people.tamu.edu/%7Exhuang/Xiao_WSDM17.pdf
代碼地址：https://github.com/xhuang31/LANE

Accelerated Attributed Network Embedding. SDM 2017.

論文地址：http://www.public.asu.edu/%7Ejundongl/paper/SDM17_AANE.pdf
代碼地址：https://github.com/xhuang31/AANE_Python

Inductive Representation Learning on Large Graphs. NIPS 2017.

論文地址：https://arxiv.org/pdf/1706.02216.pdf
代碼地址：https://github.com/williamleif/GraphSAGE

Variation Autoencoder Based Network Representation Learning for Classification. ACL 2017.

論文地址：http://aclweb.org/anthology/P17-3010

Preserving Proximity and Global Ranking for Node Embedding. NIPS 2017.

論文地址：https://papers.nips.cc/paper/7110-prune-preserving-proximity-and-global-ranking-for-network-embedding.pdf

Learning Graph Embeddings with Embedding Propagation. NIPS 2017.

論文地址：https://arxiv.org/pdf/1710.03059.pdf

CIKM 2017

Name Disambiguation in Anonymized Graphs using Network Embedding.

論文地址：https://arxiv.org/pdf/1702.02287.pdf

Enhancing the Network Embedding Quality with Structural Similarity.

論文地址：http://www.cis.pku.edu.cn/faculty/system/zhangyan/papers/CIKM2017-lts.pdf

Attributed Signed Network Embedding.

論文地址：http://www.public.asu.edu/%7Eswang187/publications/SNEA.pdf

Attributed Network Embedding for Learning in a Dynamic Environment.

論文地址：https://arxiv.org/pdf/1706.01860.pdf

HIN2Vec: Explore Meta-paths in Heterogeneous Information Networks for Representation Learning.

論文地址：http://shichuan.org/hin/topic/Embedding/2017.%20CIKM%20HIN2Vec.pdf

From Properties to Links: Deep Network Embedding on Incomplete Graphs.

論文地址：https://dl.acm.org/citation.cfm?id=3132975&dl=ACM&coll=DL

An Attention-based Collaboration Framework for Multi-View Network Representation Learning.

論文地址：https://arxiv.org/pdf/1709.06636.pdf

On Embedding Uncertain Graphs.

論文地址：http://i.cs.hku.hk/%7Ezphuang/pub/CIKM17.pdf

Multi-view Clustering with Graph Embedding for Connectome Analysis.

論文地址：https://www.cs.uic.edu/%7Eclu/doc/cikm17_mcge.pdf

Learning Node Embeddings in Interaction Graphs.

論文地址：https://web.cs.wpi.edu/%7Exkong/publications/papers/cikm17.pdf

Learning Community Embedding with Community Detection and Node Embedding on Graphs.

論文地址：http://sentic.net/community-embedding.pdf
代碼地址：https://github.com/andompesta/ComE

WSDM 2018

Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec.

論文地址：https://arxiv.org/pdf/1710.02971.pdf

Exploring Expert Cognition for Attributed Network Embedding.

論文地址：http://people.tamu.edu/~xhuang/Xiao_WSDM18.pdf

SHINE: Signed Heterogeneous Information Network Embedding for Sentiment Link Prediction.

論文地址：https://arxiv.org/pdf/1712.00732.pdf

Multidimensional Network Embedding with Hierarchical Structures.

論文地址：http://cse.msu.edu/~mayao4/downloads/Multidimensional_Network_Embedding_with_Hierarchical_Structure.pdf

Curriculum Learning for Heterogeneous Star Network Embedding via Deep Reinforcement Learning.

論文地址：https://dl.acm.org/citation.cfm?id=3159711&dl=ACM&coll=DL

AAAI 2018

Adversarial Network Embedding.

論文地址：https://arxiv.org/pdf/1711.07838.pdf

COSINE: Community-Preserving Social Network Embedding from Information Diffusion Cascades.
Dynamic Network Embedding by Modeling Triadic Closure Process.

論文地址：http://yangy.org/works/dynamictriad/dynamic_triad.pdf

Multi-facet Network Embedding: Beyond the General Solution of Detection and Representation.
RSDNE: Exploring Relaxed Similarity and Dissimilarity from Completely-imbalanced Labels for Network Embedding.
Link Prediction via Subgraph Embedding-Based Convex Matrix Completion.
Generative Adversarial Network based Heterogeneous Bibliographic Network Representation for Personalized Citation Recommendation.
DepthLGP: Learning Embeddings of Out-of-Sample Nodes in Dynamic Networks.