SIGMA: Similarity-based Efficient Global Aggregation for Heterophilous Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ学習で大きな成功を収めていますが、局所的で均一な集約により、異種親和性、つまり隣接するノードが異なる場合にパフォーマンスの低下が発生します。
異種性 GNN の既存の試みには、グラフ内のノードを区別するために長距離またはグローバルな集約が組み込まれています。
ただし、これらの集計では通常、グラフ全体の情報を繰り返し保守および更新する必要があるため、大規模なグラフに適用する場合の効率が制限されます。
この論文では、構造類似性測定 SimRank を統合した効率的なグローバル異種性 GNN アグリゲーションである SIGMA を提案します。
私たちの理論的分析は、SIGMA が異質性の下でも本質的に遠く離れたグローバルな類似性を捕捉することを示していますが、従来のアプローチでは反復集計の後にのみ達成できます。
さらに、ノード セット サイズ $\mathcal{O}(n)$ にのみ線形な複雑さで、効率的な 1 回限りの計算を実現します。
総合的な評価により、SIGMA が優れた集約と全体的な効率性により最先端のパフォーマンスを達成していることが実証されています。
特に、3,000 万を超えるエッジを持つ大規模異性愛データセット \emph{pokec} では、最良のベースライン集計と比較して 5$\times$ の加速が得られます。

要約(オリジナル)

Graph neural networks (GNNs) realize great success in graph learning but suffer from performance loss when meeting heterophily, i.e. neighboring nodes are dissimilar, due to their local and uniform aggregation. Existing attempts of heterophilous GNNs incorporate long-range or global aggregations to distinguish nodes in the graph. However, these aggregations usually require iteratively maintaining and updating full-graph information, which limits their efficiency when applying to large-scale graphs. In this paper, we propose SIGMA, an efficient global heterophilous GNN aggregation integrating the structural similarity measurement SimRank. Our theoretical analysis illustrates that SIGMA inherently captures distant global similarity even under heterophily, that conventional approaches can only achieve after iterative aggregations. Furthermore, it enjoys efficient one-time computation with a complexity only linear to the node set size $\mathcal{O}(n)$. Comprehensive evaluation demonstrates that SIGMA achieves state-of-the-art performance with superior aggregation and overall efficiency. Notably, it obtains 5$\times$ acceleration on the large-scale heterophily dataset \emph{pokec} with over 30 million edges compared to the best baseline aggregation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google