Model-Driven Graph Contrastive Learning

要約

データの基礎となる生成プロセスを考慮してコントラスト学習を導くグラフン（グラフの確率的生成モデル）を活用するモデル駆動型グラフ対照学習（GCL）フレームワークである$ \ textbf {mgcl} $を提案します。
GCLは、表現型ノードまたはグラフ表現を学習するための強力な自己監視フレームワークとして浮上しており、注釈付きラベルに依存することなく、実際のデータに依存することがよくあります。
グラフデータの拡張ビューを対比することにより、GCLは、ノードやグラフ分類など、さまざまな下流タスクで強力なパフォーマンスを実証しました。
ただし、既存の方法は通常、基礎となるデータ分布に合わせて調整されておらず、個々のグラフレベルで動作し、同じモデルから生成されたグラフ間の類似性を無視する手動で設計またはヒューリスティックな増強戦略に依存しています。
逆に、提案されたアプローチでは、MGCLは最初に観察されたデータに関連付けられたグラフンを推定し、次にグラフンに基づいた増強プロセスを定義し、データ適応と原則の増強を可能にします。
さらに、グラフレベルのタスクの場合、MGCLはデータセットをクラスターし、グループごとのグラフンを推定し、共有されたセマンティクスと構造を反映して対照的なペアを可能にします。
ベンチマークデータセットでの広範な実験は、MGCLが最先端のパフォーマンスを達成し、GCLに生成モデルを組み込むことの利点を強調することを示しています。

要約(オリジナル)

We propose $\textbf{MGCL}$, a model-driven graph contrastive learning (GCL) framework that leverages graphons (probabilistic generative models for graphs) to guide contrastive learning by accounting for the data’s underlying generative process. GCL has emerged as a powerful self-supervised framework for learning expressive node or graph representations without relying on annotated labels, which are often scarce in real-world data. By contrasting augmented views of graph data, GCL has demonstrated strong performance across various downstream tasks, such as node and graph classification. However, existing methods typically rely on manually designed or heuristic augmentation strategies that are not tailored to the underlying data distribution and operate at the individual graph level, ignoring similarities among graphs generated from the same model. Conversely, in our proposed approach, MGCL first estimates the graphon associated with the observed data and then defines a graphon-informed augmentation process, enabling data-adaptive and principled augmentations. Additionally, for graph-level tasks, MGCL clusters the dataset and estimates a graphon per group, enabling contrastive pairs to reflect shared semantics and structure. Extensive experiments on benchmark datasets demonstrate that MGCL achieves state-of-the-art performance, highlighting the advantages of incorporating generative models into GCL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google