StructComp: Substituting propagation with Structural Compression in Training Graph Contrastive Learning

要約

グラフ対比学習 (GCL) はグラフ データを学習するための強力なツールとなっていますが、そのスケーラビリティは依然として大きな課題です。
この研究では、この問題に対処するために、構造圧縮 (StructComp) と呼ばれるシンプルかつ効果的なトレーニング フレームワークを提案します。
StructComp は、拡散行列の低ランク近似を基にして、圧縮されたノードを使用してエンコーダーをトレーニングします。
これにより、エンコーダはトレーニング段階でメッセージ パッシングを実行しなくてもよくなり、コントラスト損失のサンプル ペアの数が大幅に減少します。
元の GCL 損失が StructComp によって計算された対照的な損失で近似できることを理論的に証明します。
さらに、StructComp は GCL モデルの追加の正則化項とみなすことができ、その結果、より堅牢なエンコーダが得られます。
さまざまなデータセットに関する実証研究により、StructComp は標準的な GCL モデルやスケーラブルなトレーニング方法と比較して、モデルのパフォーマンスを向上させながら、時間とメモリの消費を大幅に削減することが示されています。

要約(オリジナル)

Graph contrastive learning (GCL) has become a powerful tool for learning graph data, but its scalability remains a significant challenge. In this work, we propose a simple yet effective training framework called Structural Compression (StructComp) to address this issue. Inspired by a sparse low-rank approximation on the diffusion matrix, StructComp trains the encoder with the compressed nodes. This allows the encoder not to perform any message passing during the training stage, and significantly reduces the number of sample pairs in the contrastive loss. We theoretically prove that the original GCL loss can be approximated with the contrastive loss computed by StructComp. Moreover, StructComp can be regarded as an additional regularization term for GCL models, resulting in a more robust encoder. Empirical studies on various datasets show that StructComp greatly reduces the time and memory consumption while improving model performance compared to the vanilla GCL models and scalable training methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google