Graph Neural Networks for Link Prediction with Subgraph Sketching

要約

タイトル: サブグラフ スケッチングを用いたリンク予測のためのグラフニューラルネットワーク

要約:
– 多くのグラフニューラルネットワーク（GNN）は、単純なヒューリスティックに比べてリンク予測タスクで性能が低い。
– これは、三角形を数えることができないなどの表現力の制限によるものである。また、同一の構造的役割を持つ自己同形ノードを区別できないためでもある。
– これらの問題は、リンク表現を学習し、三角形のカウントなどの構造的特徴を組み込むことで緩和されることがある。
– 明示的なリンク表現はしばしばえげつないほど高価であり、サブグラフベースの方法を用いることがある。
– しかし、サブグラフベースの方法は、サブグラフ間の高度な冗長性により効率が悪くなることがある。
– SGNN法の構成要素を分析し、Elphと呼ばれる新しいフルグラフGNNを紹介する。
– Elphは、サブグラフの構築を明示することなく、サブグラフスケッチをメッセージとして渡すことでSGNNの主要な構成要素を近似する。
– ElphはMPNNよりも表現力が向上することが証明されており、多くの標準的なLPベンチマークで既存のSGNNモデルよりも優れた性能を発揮する。
– BUDDYと呼ばれる高度にスケーラブルなモデルを開発し、予測性能を犠牲にすることなく、GPUメモリに収まるようにフィーチャの事前計算を使用する。
– BUDDYは、標準的なLPベンチマークでSGNNよりも優れた性能を発揮する一方、高度にスケーラブルで、Elphよりも高速であることが実験で示された。

要約(オリジナル)

Many Graph Neural Networks (GNNs) perform poorly compared to simple heuristics on Link Prediction (LP) tasks. This is due to limitations in expressive power such as the inability to count triangles (the backbone of most LP heuristics) and because they can not distinguish automorphic nodes (those having identical structural roles). Both expressiveness issues can be alleviated by learning link (rather than node) representations and incorporating structural features such as triangle counts. Since explicit link representations are often prohibitively expensive, recent works resorted to subgraph-based methods, which have achieved state-of-the-art performance for LP, but suffer from poor efficiency due to high levels of redundancy between subgraphs. We analyze the components of subgraph GNN (SGNN) methods for link prediction. Based on our analysis, we propose a novel full-graph GNN called ELPH (Efficient Link Prediction with Hashing) that passes subgraph sketches as messages to approximate the key components of SGNNs without explicit subgraph construction. ELPH is provably more expressive than Message Passing GNNs (MPNNs). It outperforms existing SGNN models on many standard LP benchmarks while being orders of magnitude faster. However, it shares the common GNN limitation that it is only efficient when the dataset fits in GPU memory. Accordingly, we develop a highly scalable model, called BUDDY, which uses feature precomputation to circumvent this limitation without sacrificing predictive performance. Our experiments show that BUDDY also outperforms SGNNs on standard LP benchmarks while being highly scalable and faster than ELPH.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI