Smoothed Graph Contrastive Learning via Seamless Proximity Integration

要約

グラフ対比学習 (GCL) は、通常 2 つの拡張グラフ内で対応関係を確立することに依存する選択プロセスを使用して、ノードのペアをポジティブとネガティブに分類することでノード表現を調整します。
従来の GCL アプローチでは、陰性サンプルをコントラスト損失に均一に組み込むため、真陽性ノードへの近接性に関係なく、陰性ノードが同等に扱われます。
この論文では、拡張グラフの幾何学的構造を利用して、コントラスト損失内の正/負のペアに関連付けられた近接情報を注入することで、学習プロセスを大幅に正規化する、平滑化グラフ対比学習モデル (SGCL) を紹介します。
提案された SGCL は、近接性を認識したプラスとマイナスをもたらす 3 つの異なる平滑化手法を組み込むことにより、コントラスト損失におけるノード ペアに関連するペナルティを調整します。
大規模なグラフのスケーラビリティを強化するために、提案されたフレームワークには、特定のグラフを複数のサブグラフに分割するグラフ バッチ生成戦略が組み込まれており、個別のバッチでの効率的なトレーニングが容易になります。
さまざまなベンチマーク、特に大規模なベンチマークにおける教師なし設定での広範な実験を通じて、最近のベースラインに対する提案されたフレームワークの優位性を実証します。

要約(オリジナル)

Graph contrastive learning (GCL) aligns node representations by classifying node pairs into positives and negatives using a selection process that typically relies on establishing correspondences within two augmented graphs. The conventional GCL approaches incorporate negative samples uniformly in the contrastive loss, resulting in the equal treatment of negative nodes, regardless of their proximity to the true positive. In this paper, we present a Smoothed Graph Contrastive Learning model (SGCL), which leverages the geometric structure of augmented graphs to inject proximity information associated with positive/negative pairs in the contrastive loss, thus significantly regularizing the learning process. The proposed SGCL adjusts the penalties associated with node pairs in contrastive loss by incorporating three distinct smoothing techniques that result in proximity-aware positives and negatives. To enhance scalability for large-scale graphs, the proposed framework incorporates a graph batch-generating strategy that partitions the given graphs into multiple subgraphs, facilitating efficient training in separate batches. Through extensive experimentation in the unsupervised setting on various benchmarks, particularly those of large scale, we demonstrate the superiority of our proposed framework against recent baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google