Scalable Expressiveness through Preprocessed Graph Perturbations

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ構造データを分析するための主要な方法として登場しました。
ただし、標準 GNN の表現力と汎化能力には限界があるため、より表現力豊かでありながら計算量を多く必要とする手法の開発が必要になります。
そのようなアプローチの 1 つは、入力グラフの一連の摂動バージョンを作成し、トレーニング中にすべてのバリエーションに対して複数のメッセージ パッシング操作を繰り返し実行することです。
このアプローチは表現力に優れていますが、大きなグラフではうまく拡張できません。
このスケーラビリティの問題に対処するために、Preprocessed Graph Perturbation (SE2P) によるスケーラブルな表現力を導入します。
このモデルは、4 つの異なる構成クラスを使用して、スケーラビリティと汎用性の間の柔軟で構成可能なバランスを提供します。
極端な場合、この構成では、学習可能な特徴抽出を最小限に抑え、広範な前処理を行うことでスケーラビリティを優先します。
逆に、より学習可能な特徴抽出により一般化可能性が高まりますが、これによりスケーラビリティ コストが増加します。
私たちは、さまざまな最先端のベンチマークと比較して、SE2P バリアントの一般化性とスケーラビリティを評価するために、現実世界のデータセットで広範な実験を実施しています。
私たちの結果は、選択した SE2P 構成に応じて、このモデルがベンチマークと比較して汎用性を高め、最大 8 倍の大幅な速度向上を達成できることを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have emerged as the predominant method for analyzing graph-structured data. However, canonical GNNs have limited expressive power and generalization capability, thus triggering the development of more expressive yet computationally intensive methods. One such approach is to create a series of perturbed versions of input graphs and then repeatedly conduct multiple message-passing operations on all variations during training. Despite their expressive power, this approach does not scale well on larger graphs. To address this scalability issue, we introduce Scalable Expressiveness through Preprocessed Graph Perturbation (SE2P). This model offers a flexible, configurable balance between scalability and generalizability with four distinct configuration classes. At one extreme, the configuration prioritizes scalability through minimal learnable feature extraction and extensive preprocessing; at the other extreme, it enhances generalizability with more learnable feature extractions, though this increases scalability costs. We conduct extensive experiments on real-world datasets to evaluate the generalizability and scalability of SE2P variants compared to various state-of-the-art benchmarks. Our results indicate that, depending on the chosen SE2P configuration, the model can enhance generalizability compared to benchmarks while achieving significant speed improvements of up to 8-fold.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google