Learning on Large Graphs using Intersecting Communities

要約

メッセージ パッシング ニューラル ネットワーク (MPNN) は、グラフ機械学習の定番です。
MPNN は、ノードの近隣ノードからのメッセージを集約することによって、入力グラフ内の各ノードの表現を繰り返し更新します。これには、グラフ エッジの数程度のメモリの複雑さが必要です。
この複雑さは、グラフが非常にまばらでない限り、大きなグラフではすぐに法外なものになる可能性があります。
この論文では、入力グラフを交差するクリークの組み合わせである交差コミュニティ グラフ (ICG) として近似することで、この問題を軽減する新しいアプローチを提案します。
重要な洞察は、グラフを近似するために必要なコミュニティの数はグラフのサイズに依存しないということです。
あらゆる入力グラフの近似 ICG を効率的に構築するために、弱いグラフ正則性補題の新しい構築的なバージョンを開発します。
次に、(エッジではなく) ノードの数に関して、線形メモリと時間で ICG 上で直接動作する効率的なグラフ学習アルゴリズムを考案します。
これは、非常に大規模な非スパース グラフで学習するための、根本的に異なる新しいパイプラインを提供します。その適用性は、ノード分類タスクと時空間データ処理で経験的に実証されています。

要約(オリジナル)

Message Passing Neural Networks (MPNNs) are a staple of graph machine learning. MPNNs iteratively update each node’s representation in an input graph by aggregating messages from the node’s neighbors, which necessitates a memory complexity of the order of the number of graph edges. This complexity might quickly become prohibitive for large graphs provided they are not very sparse. In this paper, we propose a novel approach to alleviate this problem by approximating the input graph as an intersecting community graph (ICG) — a combination of intersecting cliques. The key insight is that the number of communities required to approximate a graph does not depend on the graph size. We develop a new constructive version of the Weak Graph Regularity Lemma to efficiently construct an approximating ICG for any input graph. We then devise an efficient graph learning algorithm operating directly on ICG in linear memory and time with respect to the number of nodes (rather than edges). This offers a new and fundamentally different pipeline for learning on very large non-sparse graphs, whose applicability is demonstrated empirically on node classification tasks and spatio-temporal data processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google