Over-squashing in Spatiotemporal Graph Neural Networks

要約

グラフニューラルネットワーク（GNNS）は、さまざまなドメインで顕著な成功を収めています。
ただし、最近の理論的進歩により、遠方のノードが情報を効果的に交換できないという、過剰なスケッシングなど、情報伝播機能の基本的な制限が特定されています。
静的なコンテキストで広範囲に研究されていますが、この問題は、グラフノードに関連付けられたシーケンスを処理する空間的GNNS（STGNNS）では未開拓のままです。
それにもかかわらず、時間的寸法は、伝播する必要がある情報を増やすことにより、この課題を増幅します。
この作業では、時空間的な過剰剥離問題を形式化し、静的ケースと比較してその明確な特性を示します。
私たちの分析は、直感的に、畳み込みのSTGNNが、時間内にむしろむしろ一時的に遠いポイントからの情報伝播を支持することを明らかにしています。
さらに、時間と空間または時間のスペース処理パラダイムのいずれかに従うアーキテクチャがこの現象によって等しく影響を受け、計算上効率の良い実装の理論的正当化を提供することを証明します。
合成および実世界のデータセットに関する調査結果を検証し、より効果的な設計のための運用上のダイナミクスと原則的なガイダンスについてより深い洞察を提供します。

要約(オリジナル)

Graph Neural Networks (GNNs) have achieved remarkable success across various domains. However, recent theoretical advances have identified fundamental limitations in their information propagation capabilities, such as over-squashing, where distant nodes fail to effectively exchange information. While extensively studied in static contexts, this issue remains unexplored in Spatiotemporal GNNs (STGNNs), which process sequences associated with graph nodes. Nonetheless, the temporal dimension amplifies this challenge by increasing the information that must be propagated. In this work, we formalize the spatiotemporal over-squashing problem and demonstrate its distinct characteristics compared to the static case. Our analysis reveals that counterintuitively, convolutional STGNNs favor information propagation from points temporally distant rather than close in time. Moreover, we prove that architectures that follow either time-and-space or time-then-space processing paradigms are equally affected by this phenomenon, providing theoretical justification for computationally efficient implementations. We validate our findings on synthetic and real-world datasets, providing deeper insights into their operational dynamics and principled guidance for more effective designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google