Graph Distillation with Eigenbasis Matching

要約

グラフ データの量が増加すると、グラフ ニューラル ネットワーク (GNN) の効率的なトレーニングが求められます。
新しいグラフ蒸留 (GD) は、小さな合成グラフを蒸留して実際の大きなグラフを置き換えることによってこの課題に取り組み、実際のグラフと合成グラフでトレーニングされた GNN が同等のパフォーマンスを発揮できるようにします。
ただし、既存の方法は、勾配、表現、軌道などの GNN 関連情報を監視として利用しており、2 つの制限があります。
まず、GNN は実グラフのスペクトル (固有値) に影響を与え、合成グラフにスペクトルの偏りを引き起こす可能性があります。
第 2 に、GNN アーキテクチャが多様であるため、さまざまな合成グラフが作成され、最適なパフォーマンスを得るにはトラバーサルが必要になります。
これらの問題に取り組むために、実グラフと合成グラフの固有基底とノードの特徴を調整する固有基底マッチングによるグラフ蒸留 (GDEM) を提案します。
一方、実際のグラフのスペクトルを直接複製するため、GNN の影響を防ぎます。
さらに、GDEM の有効性と一般化のバランスを取るための識別制約を設計します。
理論的には、GDEM によって抽出された合成グラフは、実際のグラフの限定されたスペクトル近似です。
広範な実験により、GDEM は、強力なクロスアーキテクチャ一般化能力と大幅な蒸留効率により、最先端の GD メソッドよりも優れたパフォーマンスを発揮することが実証されています。
私たちのコードは https://github.com/liuyang-tian/GDEM で入手できます。

要約(オリジナル)

The increasing amount of graph data places requirements on the efficient training of graph neural networks (GNNs). The emerging graph distillation (GD) tackles this challenge by distilling a small synthetic graph to replace the real large graph, ensuring GNNs trained on real and synthetic graphs exhibit comparable performance. However, existing methods rely on GNN-related information as supervision, including gradients, representations, and trajectories, which have two limitations. First, GNNs can affect the spectrum (i.e., eigenvalues) of the real graph, causing spectrum bias in the synthetic graph. Second, the variety of GNN architectures leads to the creation of different synthetic graphs, requiring traversal to obtain optimal performance. To tackle these issues, we propose Graph Distillation with Eigenbasis Matching (GDEM), which aligns the eigenbasis and node features of real and synthetic graphs. Meanwhile, it directly replicates the spectrum of the real graph and thus prevents the influence of GNNs. Moreover, we design a discrimination constraint to balance the effectiveness and generalization of GDEM. Theoretically, the synthetic graphs distilled by GDEM are restricted spectral approximations of the real graphs. Extensive experiments demonstrate that GDEM outperforms state-of-the-art GD methods with powerful cross-architecture generalization ability and significant distillation efficiency. Our code is available at https://github.com/liuyang-tian/GDEM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google