Graph Condensation via Eigenbasis Matching

要約

グラフ データの量が増加すると、さまざまなグラフ関連アプリケーションにおけるグラフ ニューラル ネットワーク (GNN) の有効性にもかかわらず、グラフ ニューラル ネットワーク (GNN) の効率とスケーラビリティが求められます。
最近、新たに登場したグラフ圧縮 (GC) により、データの観点から GNN の計算コストの削減が明らかになりました。
これは、実際の大きなグラフを大幅に小さな合成グラフに置き換えて、両方のグラフでトレーニングされた GNN が同等のパフォーマンスを発揮できるようにすることを目的としています。
しかし、私たちの経験的調査により、既存の GC 手法には一般化が不十分であることが明らかになりました。つまり、同じ合成グラフでトレーニングされた異なる GNN には明らかなパフォーマンスのギャップがあります。
GC の一般化を妨げる要因は何か、またそれを軽減するにはどうすればよいでしょうか?
この質問に答えるために、詳細な分析を開始し、GNN が合成グラフにスペクトル バイアスを注入し、その結果分布が変化することを観察します。
この問題に取り組むために、GCEM と呼ばれる、スペクトルフリーのグラフ圧縮のための固有基底マッチングを提案します。これには 2 つの重要なステップがあります。 まず、GCEM は、グラフ構造ではなく、実グラフと合成グラフの固有基底を照合します。これにより、グラフのスペクトルの偏りが排除されます。
GNN。
その後、GCEM は実際のグラフのスペクトルと合成固有基底を利用して合成グラフを構築し、それによって重要な構造情報を保存します。
我々は、GCEM によって生成された合成グラフが実際のグラフのスペクトル類似性、つまり全体的な変動を維持していることを理論的に実証します。
5 つのグラフ データセットに対して行われた広範な実験により、GCEM がベースラインを上回る最先端のパフォーマンスを達成するだけでなく、異なる GNN 間のパフォーマンスのギャップを大幅に狭めることが検証されました。

要約(オリジナル)

The increasing amount of graph data places requirements on the efficiency and scalability of graph neural networks (GNNs), despite their effectiveness in various graph-related applications. Recently, the emerging graph condensation (GC) sheds light on reducing the computational cost of GNNs from a data perspective. It aims to replace the real large graph with a significantly smaller synthetic graph so that GNNs trained on both graphs exhibit comparable performance. However, our empirical investigation reveals that existing GC methods suffer from poor generalization, i.e., different GNNs trained on the same synthetic graph have obvious performance gaps. What factors hinder the generalization of GC and how can we mitigate it? To answer this question, we commence with a detailed analysis and observe that GNNs will inject spectrum bias into the synthetic graph, resulting in a distribution shift. To tackle this issue, we propose eigenbasis matching for spectrum-free graph condensation, named GCEM, which has two key steps: First, GCEM matches the eigenbasis of the real and synthetic graphs, rather than the graph structure, which eliminates the spectrum bias of GNNs. Subsequently, GCEM leverages the spectrum of the real graph and the synthetic eigenbasis to construct the synthetic graph, thereby preserving the essential structural information. We theoretically demonstrate that the synthetic graph generated by GCEM maintains the spectral similarity, i.e., total variation, of the real graph. Extensive experiments conducted on five graph datasets verify that GCEM not only achieves state-of-the-art performance over baselines but also significantly narrows the performance gaps between different GNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google