0
譯者：AI研習社（季一帆）
雙語原文鏈接：Top Applications of Graph Neural Networks 2021
今年開始。圖神經(jīng)網(wǎng)絡（Graph Neural Networks）成為研究者討論的焦點，作為該領域的研究人員，我甚是欣慰。記得大概三年前，圖神經(jīng)網(wǎng)絡那時還受到冷落，當我和研究GAN和Transformers的同行交流時，他們認為我的研究方向極其小眾。到了現(xiàn)在，這個領域終于守得云開見月明。因此，我將在本文向大家介紹最近的GNNs應用熱點。
在電子商務平臺中，用戶與產(chǎn)品的交互構(gòu)成圖結(jié)構(gòu)，因此許多公司使用圖神經(jīng)網(wǎng)絡進行產(chǎn)品推薦。典型的做法是對用戶和商品的交互關(guān)系進行建模，然后通過某種負采樣損失學習節(jié)點嵌入，并通過kNN實時推薦給用戶相似產(chǎn)品。Uber Eats 公司很早就通過這樣的方式進行產(chǎn)品推薦，具體而言，他們使用圖神經(jīng)網(wǎng)絡 GraphSage 為用戶推薦食品和餐廳。
在食品推薦中，由于地理位置的限制，使用的圖結(jié)構(gòu)比較小。在一些包含數(shù)10億節(jié)點的大規(guī)模圖上，同樣也可以使用圖神經(jīng)網(wǎng)絡。使用傳統(tǒng)方法處理如此大規(guī)模的圖是非常困難的，阿里巴巴公司在包含數(shù)十億用戶和產(chǎn)品的網(wǎng)絡上研究圖嵌入和GNN，最近他們提出的Aligraph，僅需要五分鐘就可以構(gòu)建具有400M節(jié)點的圖。非常強大！此外，Aligraph還支持高效的分布式圖存儲，對采樣過程進行了優(yōu)化，同時內(nèi)部集成了很多GNN模型。該框架已成功用于公司的多種產(chǎn)品推薦和個性化搜索任務。
Alibaba, Amazon 以及其他很多電子商務平臺使用GNN構(gòu)建推薦系統(tǒng)
Pinterest 提出了 PinSage 模型，該模型使用個性化PageRank對鄰域進行高效采樣，并通過聚合鄰域更新節(jié)點嵌入。后續(xù)模型 PinnerSage 進一步擴展了該框架來處理不同用戶的多嵌入問題。受限篇幅，本文僅列出GNN在推薦系統(tǒng)的部分應用（其他案例還包括：Amazon在知識圖譜中應用GNN或Fabula AI使用GNN檢測假新聞等），但這些足以表明，如果用戶互動的信息足夠豐富，那么GNNs將顯著推動推薦系統(tǒng)中進一步發(fā)展。
金融、物流、能源、生命科學和硬件設計等多個領域都面臨組合優(yōu)化（CO）問題。這些問題多數(shù)可以通過圖結(jié)構(gòu)進行建模，因此，過去近一個世紀的研究工作都致力于從算法層面解決CO問題。然而，機器學習的發(fā)展為CO問題的解決提供了另外一種可能性。
Google Brain 團隊將GNN成功用于硬件設計，如對Google TPU芯片塊的功耗、面積和性能的優(yōu)化。可以將計算機芯片視為由內(nèi)存和邏輯部件組成的圖，每個圖由其部件的坐標和類型表示。電氣工程師的工作就是，在遵守密度和布線擁塞限制的同時，確定每個組件的位置。Google Brain團隊結(jié)合GNN和策略/值RL實現(xiàn)對電路芯片布局的設計與優(yōu)化，其表現(xiàn)優(yōu)于人工設計的硬件布局。
芯片布局與國際象棋、圍棋的復雜度對比（圖源）
此外，還可以將機器學習（ML）模型集成到現(xiàn)有求解器中。Gasse et al. 提出了一種用于學習分支定界變量選擇策略（混合整數(shù)線性程序MILP求解器的關(guān)鍵）的圖網(wǎng)，通過該方式能夠最小化求解器的運行時間。同時論文表明，該方法既能保證推理時間，又能保證決策質(zhì)量。
在DeepMind和Google的最新工作中，圖網(wǎng)被用于MILP求解器的兩個關(guān)鍵子任務：聯(lián)合變量分配和目標值定界。在Google生產(chǎn)包和規(guī)劃系統(tǒng)大規(guī)模數(shù)據(jù)集上，他們的神經(jīng)網(wǎng)絡方法比現(xiàn)有求解器快2–10倍。更多內(nèi)容請查閱相關(guān)綜述。
由于世界上所有物體都是密切聯(lián)系的，因此可以將GNN用于物體圖像。通過場景圖可以感知圖像，即一組物體出現(xiàn)在同一場景中，那么它們之間存在聯(lián)系。場景圖已用在圖像檢，理解和推理，字幕生成，視覺問答以及圖像生成等任務，從而大大提高模型的性能。
Facebook的一項研究表明，根據(jù)經(jīng)典CV數(shù)據(jù)集COCO中的物體形狀、位置和大小創(chuàng)建場景圖，然后使用GNN對圖中物體進行嵌入，進而結(jié)合CNN生成物體的遮罩，邊框和外。最終，通過GNN / CNN可以在用戶指定節(jié)點（確定節(jié)點的相對位置和大?。┥晌矬w圖像。
使用場景圖生成圖像。用戶可以將物體放置在畫布的任何位置，圖像也會產(chǎn)生相應變動（如將紅色的“河流”從中間移到右下角，那么圖像中生成的河流也移到右下角）
對于CV的經(jīng)典任務——兩個相關(guān)圖像的匹配，之前的方法僅能通過人工實現(xiàn)。但現(xiàn)在，3D圖形公司Magic Leap開發(fā)出名為SuperGlue的GNN架構(gòu)，該架構(gòu)可在實時視頻中執(zhí)行圖形匹配，以完成3D重建、位置識別、本地化和制圖（SLAM）等任務。SuperGlue由一個基于注意力的GNN組成，GNN學習圖像關(guān)鍵點的表示，然后在最佳傳輸層對這些關(guān)鍵點表示進行匹配。模型可以在GPU上實現(xiàn)實時匹配，還能方便地集成到現(xiàn)有SLAM系統(tǒng)中。關(guān)于圖形與計算機視覺的更多研究和應用，參見以下綜述文章。
根據(jù)粒子或分子之間的相互作用構(gòu)建圖，然后使用GNN預測系統(tǒng)屬性已逐漸成為生命科學中的重要研究方法。Facebook和CMU合作的Open Catalyst項目致力于找到新的方法來存儲可再生能源，例如太陽能或風能?？赡艿姆桨钢皇峭ㄟ^化學反應將這種能量轉(zhuǎn)換成其他燃料，如氫氣。然而，這需要發(fā)現(xiàn)新的、更高效的催化劑來加速化學反應，且已知的DFT方法成本極高。Open Catalyst項目開源了大規(guī)模催化劑數(shù)據(jù)集、DFT弛豫和GNN基準方法，希望找到新的、高效的、低成本催化劑分子。
吸附質(zhì)（小連接分子）和催化劑表面的初始狀態(tài)和松弛狀態(tài)。為了找到吸附質(zhì)-催化劑對的松弛狀態(tài)，需要進行高昂的DFT模擬，而且要花費好幾天時間。Zitnick et al. 2020
DeepMind的研究人員還使用GNN來模擬復雜粒子系統(tǒng)（例如水或沙子）的動力學過程。通過逐步預測每個粒子的相對運動，可以合理重建整個系統(tǒng)的動力學，了解控制運動的基本規(guī)律。這可用于了解玻璃化轉(zhuǎn)變——固態(tài)理論中最有趣的未決問題之一。此外，使用GNN不僅可以模擬過渡中的動力學，而且可以更好地了解粒子之間如何根據(jù)距離和時間產(chǎn)生相互影響。
此外，美國的物理實驗室的Fermilab致力于應用GNNs對CERN大型強子對撞機（LHC）的結(jié)果進行分析，希望能夠?qū)?shù)百萬圖像進行處理，發(fā)現(xiàn)并選擇與新粒子相關(guān)的圖像。他們的任務是將GNN部署在FPGA，并將其與數(shù)據(jù)采集器集成在一起，這樣可以在全球范圍內(nèi)遠程運行GNN。有關(guān)GNNs在粒子物理學中的更多應用，參見以下綜述文章。
制藥行業(yè)競爭激烈，頭部公司每年都會投入數(shù)十億美元來開研發(fā)新藥。在生物學中，圖可以表示不同尺度上的相互作用，如在分子水平，圖的邊緣可以是分子中原子之間的鍵或蛋白質(zhì)中氨基酸殘基之間的相互作用；在更大的尺度上，圖可以表示更復雜的結(jié)構(gòu)（例如蛋白質(zhì)，mRNA或代謝物）之間的相互作用。不同層次尺度中的圖可用于目標識別，分子特性預測，高通量篩選，新型藥物設計，蛋白質(zhì)工程和藥物再利用等。
應用GNN進行藥物研發(fā)的時間流，Gaudelet et al., 2020
麻省理工學院的研究人員及其合作者在Cell(2020)上發(fā)表的文章表明，GNN有助于藥物研發(fā)。他們訓練了名為Chemprop的深層GNN模型來預測分子是否具有抗生素特性，即對大腸桿菌的生長抑制作用。在使用FDA批準的藥物庫中的約2500個分子對其進行訓練后，Chemprop被應用于更大的數(shù)據(jù)集，該數(shù)據(jù)集為包含Halicin分子的Drug Repurposing Hub，并根據(jù)《2001：太空漫游》電影中的HAL9000對其重命名。
需要說明的是，由于Halicin分子結(jié)構(gòu)與已知的抗生素相差很大，因此先前的工作僅對該分子進行研究。但是，體內(nèi)和體外臨床實驗表明，Halicin是一種廣譜抗生素。相比NN模型進行的廣泛基準測試，應用GNN發(fā)現(xiàn)Halicin更加顯示了GNN強大的學習表征能力。除此之外，Chemprop架構(gòu)也值得關(guān)注：不同于多數(shù)GNN模型，Chemprop有5層和1600隱藏層維數(shù)，遠超其他GNN參數(shù)。以上介紹不過是GNN在新藥發(fā)現(xiàn)中的冰山一角，想要了解更多信息，請查閱該綜述和博客。
感謝Michael Bronstein，PetarVeli?kovi?，Andreas Loukas，Chaitanya Joshi，Vladimir Ivashkin，Boris Knyazev等人的反饋與建議。
AI研習社是AI學術(shù)青年和AI開發(fā)者技術(shù)交流的在線社區(qū)。我們與高校、學術(shù)機構(gòu)和產(chǎn)業(yè)界合作，通過提供學習、實戰(zhàn)和求職服務，為AI學術(shù)青年和開發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺，致力成為中國最大的科技創(chuàng)新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學習新知，分享成長。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
