ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion

要約

グラフニューラルネットワーク（GNNS）は、ノード間の関係情報を効果的にキャプチャすることにより、さまざまなグラフベースのタスクで強力なパフォーマンスを実証しています。
これらのモデルは、ノード機能を伝播するために渡される反復メッセージに依存しており、ノードが隣人から情報を集約できるようにします。
最近の研究により、メッセージ通過メカニズムが大幅に改善され、大規模なグラフのGNNスケーラビリティが向上しています。
ただし、GNNSは依然として2つの主な課題に直面しています。過剰なメッセージの合格は、特に高次の隣人を組み込んだ深いネットワークで区別できないノード表現になります。
従来のアーキテクチャが高モデルの複雑さと、冗長な情報集約による推論時間の増加に悩まされているため、スケーラビリティの問題。
このペーパーでは、マルチレベルのグラフ機能を適応的に融合させることにより、両方の課題に対処する同時に、ScaleGnnという名前の大規模なグラフの新しいフレームワークを提案します。
最初に各注文の近隣マトリックスを構築し、適応性の高い高次特徴融合モジュールを使用して、トレーニング可能なウェイトを通じて相対的な情報を学習します。
これにより、モデルは、不必要な計算コストを削減しながら、有益な高次隣人を選択的に強調することができます。
さらに、ローカル貢献スコア（LCS）に基づいた高次の冗長機能マスキングメカニズムを導入します。これにより、モデルは各順序で最も関連性の高い隣人のみを保持し、冗長な情報伝播を防ぎます。
さらに、低次の強化機能集約は、タスクの関連性に基づいて低次および高次の機能を適応的に統合し、過度の複雑さなしにローカルおよびグローバルな構造情報の両方の効果的なキャプチャを確保します。
実際のデータセットでの広範な実験は、私たちのアプローチが、精度と計算効率の両方で最先端のGNNモデルよりも一貫して優れていることを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have demonstrated strong performance across various graph-based tasks by effectively capturing relational information between nodes. These models rely on iterative message passing to propagate node features, enabling nodes to aggregate information from their neighbors. Recent research has significantly improved the message-passing mechanism, enhancing GNN scalability on large-scale graphs. However, GNNs still face two main challenges: over-smoothing, where excessive message passing results in indistinguishable node representations, especially in deep networks incorporating high-order neighbors; and scalability issues, as traditional architectures suffer from high model complexity and increased inference time due to redundant information aggregation. This paper proposes a novel framework for large-scale graphs named ScaleGNN that simultaneously addresses both challenges by adaptively fusing multi-level graph features. We first construct neighbor matrices for each order, learning their relative information through trainable weights through an adaptive high-order feature fusion module. This allows the model to selectively emphasize informative high-order neighbors while reducing unnecessary computational costs. Additionally, we introduce a High-order redundant feature masking mechanism based on a Local Contribution Score (LCS), which enables the model to retain only the most relevant neighbors at each order, preventing redundant information propagation. Furthermore, low-order enhanced feature aggregation adaptively integrates low-order and high-order features based on task relevance, ensuring effective capture of both local and global structural information without excessive complexity. Extensive experiments on real-world datasets demonstrate that our approach consistently outperforms state-of-the-art GNN models in both accuracy and computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google