Two Trades is not Baffled: Condensing Graph via Crafting Rational Gradient Matching

要約

大規模なグラフでのトレーニングは、グラフ表現の学習において顕著な成果を上げていますが、そのコストとストレージに関する懸念が高まっています。
最も有望な方向性の 1 つとして、グラフ圧縮手法は勾配マッチングを採用することでこれらの問題に対処し、グラフ全体をより簡潔でありながら情報が豊富な合成セットに圧縮することを目的としています。
これらの戦略は有望ではありますが、主に勾配の方向を一致させることに重点を置いているため、トレーニング軌道の逸脱につながります。
このような偏差は、圧縮フェーズと評価フェーズの間の違いによってさらに拡大され、最終的に累積誤差となり、圧縮グラフのパフォーマンスに悪影響を及ぼします。
これを考慮して、最適化された開始を提供する \textbf{C}raf\textbf{T}ing \textbf{R}ationa\textbf{L} 軌跡 (\textbf{CTRL}) という名前の新しいグラフ圧縮手法を提案します。
元のデータセットの特徴分布に近いポイントと、勾配マッチングのためのより洗練された戦略を実現します。
理論的には、CTRL は、圧縮されたグラフのパフォーマンスに対する累積エラーの影響を効果的に中和できます。
CTRL の有効性をサポートするために、さまざまなグラフ データセットと下流タスクに関する広範な実験を提供します。
コードは https://github.com/NUS-HPC-AI-Lab/CTRL で公開されています。

要約(オリジナル)

Training on large-scale graphs has achieved remarkable results in graph representation learning, but its cost and storage have raised growing concerns. As one of the most promising directions, graph condensation methods address these issues by employing gradient matching, aiming to condense the full graph into a more concise yet information-rich synthetic set. Though encouraging, these strategies primarily emphasize matching directions of the gradients, which leads to deviations in the training trajectories. Such deviations are further magnified by the differences between the condensation and evaluation phases, culminating in accumulated errors, which detrimentally affect the performance of the condensed graphs. In light of this, we propose a novel graph condensation method named \textbf{C}raf\textbf{T}ing \textbf{R}ationa\textbf{L} trajectory (\textbf{CTRL}), which offers an optimized starting point closer to the original dataset’s feature distribution and a more refined strategy for gradient matching. Theoretically, CTRL can effectively neutralize the impact of accumulated errors on the performance of condensed graphs. We provide extensive experiments on various graph datasets and downstream tasks to support the effectiveness of CTRL. Code is released at https://github.com/NUS-HPC-AI-Lab/CTRL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google