Translating Subgraphs to Nodes Makes Simple GNNs Strong and Efficient for Subgraph Representation Learning

要約

サブグラフ表現学習は重要な問題として浮上しているが、デフォルトでは大規模なグローバルグラフに特化したグラフ・ニューラル・ネットワークを用いてアプローチされている。これらのモデルは膨大なメモリと計算資源を必要とするが、サブグラフの階層構造をモデル化することは困難である。本稿では、部分グラフの表現を学習するための新しい定式化であるSubgraph-To-Node（S2N）変換を提案する。具体的には、大域グラフ中の部分グラフの集合が与えられたとき、部分グラフをノードに粗く変換することで新しいグラフを構築する。理論的にも経験的にも、S2Nは最新のモデルと比較してメモリと計算コストを大幅に削減するだけでなく、部分グラフの局所的構造と大域的構造の両方を捉えることにより、それらを凌駕する。グラフの粗視化手法を活用することで、我々の手法は、サブグラフが不十分なデータ不足の環境においても、ベースラインを上回る性能を発揮する。8つのベンチマークを用いた我々の実験により、S2N変換を用いて細かくチューニングされたモデルは、最新モデルの183〜711倍のサブグラフサンプルを、同等以上の性能レベルで処理できることが実証された。

要約(オリジナル)

Subgraph representation learning has emerged as an important problem, but it is by default approached with specialized graph neural networks on a large global graph. These models demand extensive memory and computational resources but challenge modeling hierarchical structures of subgraphs. In this paper, we propose Subgraph-To-Node (S2N) translation, a novel formulation for learning representations of subgraphs. Specifically, given a set of subgraphs in the global graph, we construct a new graph by coarsely transforming subgraphs into nodes. Demonstrating both theoretical and empirical evidence, S2N not only significantly reduces memory and computational costs compared to state-of-the-art models but also outperforms them by capturing both local and global structures of the subgraph. By leveraging graph coarsening methods, our method outperforms baselines even in a data-scarce setting with insufficient subgraphs. Our experiments on eight benchmarks demonstrate that fined-tuned models with S2N translation can process 183 — 711 times more subgraph samples than state-of-the-art models at a better or similar performance level.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL