Graph Neural Aggregation-diffusion with Metastability

要約

微分方程式に基づく連続グラフ ニューラル モデルは、グラフ ニューラル ネットワーク (GNN) のアーキテクチャを拡張しました。
グラフ拡散とメッセージ パッシングとの関係により、拡散ベースのモデルが広く研究されてきました。
ただし、拡散によりシステムは自然に平衡状態に向かうため、過度の平滑化などの問題が発生します。
この目的を達成するために、我々は、相互作用ポテンシャルによって引き起こされる非線形拡散と凝集の間の微妙なバランスを含む、グラフの凝集拡散方程式に触発された GRADE を提案します。
集合拡散方程式を通じて取得されたノード表現は準安定性を示し、フィーチャが複数のクラスターに集合する可能性があることを示しています。
さらに、これらのクラスター内のダイナミクスは長期間持続する可能性があり、過度の平滑化効果を軽減する可能性があります。
私たちのモデルにおけるこの非線形拡散は、既存の拡散ベースのモデルを一般化し、古典的な GNN との接続を確立します。
GRADE がさまざまなベンチマークにわたって競争力のあるパフォーマンスを達成し、強化されたディリクレ エネルギーによって証明される GNN の過度の平滑化の問題を軽減することを証明します。

要約(オリジナル)

Continuous graph neural models based on differential equations have expanded the architecture of graph neural networks (GNNs). Due to the connection between graph diffusion and message passing, diffusion-based models have been widely studied. However, diffusion naturally drives the system towards an equilibrium state, leading to issues like over-smoothing. To this end, we propose GRADE inspired by graph aggregation-diffusion equations, which includes the delicate balance between nonlinear diffusion and aggregation induced by interaction potentials. The node representations obtained through aggregation-diffusion equations exhibit metastability, indicating that features can aggregate into multiple clusters. In addition, the dynamics within these clusters can persist for long time periods, offering the potential to alleviate over-smoothing effects. This nonlinear diffusion in our model generalizes existing diffusion-based models and establishes a connection with classical GNNs. We prove that GRADE achieves competitive performance across various benchmarks and alleviates the over-smoothing issue in GNNs evidenced by the enhanced Dirichlet energy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google