DeltaGNN: Graph Neural Network with Information Flow Control

要約

グラフ ニューラル ネットワーク (GNN) は、メッセージ パッシング プロセスで再帰的近傍集約を通じてグラフ構造データを処理するように設計された人気の深層学習モデルです。
半教師ありノード分類に適用すると、メッセージ パッシングにより GNN は短距離の空間相互作用を理解できるようになりますが、過度の平滑化や過度の潰れによる影響も受けます。
これらの課題により、モデルの表現力が妨げられ、グラフ内の長距離ノード相互作用 (LRI) を捕捉するためのより深いモデルの使用が妨げられます。
LRI 検出用の一般的なソリューションは、時間の複雑さのために大きなグラフを処理するにはコストが高すぎるか、多様なグラフ構造にわたって一般化できないかのいずれかです。
これらの制限に対処するために、\emph{情報フロー制御}と呼ばれるメカニズムを提案します。これは、\emph{情報フロースコア}と呼ばれる新しい接続性の尺度を利用して、線形計算オーバーヘッドによる過剰な平滑化と過剰な潰しに対処します。
理論的な証拠。
最後に、私たちの方法論の有効性を証明するために、長距離および短距離の相互作用を検出するための最初のスケーラブルで一般化可能なアプローチである DeltaGNN を設計します。
さまざまなサイズ、トポロジー、密度、同種親和性比率のグラフを含む 10 の実世界のデータセットにわたってモデルをベンチマークし、限られた計算複雑さで優れたパフォーマンスを示しました。
提案されたメソッドの実装は、https://github.com/basiralab/DeltaGNN で公開されています。

要約(オリジナル)

Graph Neural Networks (GNNs) are popular deep learning models designed to process graph-structured data through recursive neighborhood aggregations in the message passing process. When applied to semi-supervised node classification, the message-passing enables GNNs to understand short-range spatial interactions, but also causes them to suffer from over-smoothing and over-squashing. These challenges hinder model expressiveness and prevent the use of deeper models to capture long-range node interactions (LRIs) within the graph. Popular solutions for LRIs detection are either too expensive to process large graphs due to high time complexity or fail to generalize across diverse graph structures. To address these limitations, we propose a mechanism called \emph{information flow control}, which leverages a novel connectivity measure, called \emph{information flow score}, to address over-smoothing and over-squashing with linear computational overhead, supported by theoretical evidence. Finally, to prove the efficacy of our methodology we design DeltaGNN, the first scalable and generalizable approach for detecting long-range and short-range interactions. We benchmark our model across 10 real-world datasets, including graphs with varying sizes, topologies, densities, and homophilic ratios, showing superior performance with limited computational complexity. The implementation of the proposed methods are publicly available at https://github.com/basiralab/DeltaGNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google