SimGRACE: A Simple Framework for Graph Contrastive Learning without Data Augmentation

要約

グラフ対比学習 (GCL) は、同じセマンティクスを共有するグラフ拡張ペア間の相互情報を最大化するグラフ表現学習の主要な手法として登場しました。
残念ながら、グラフ データの多様な性質を考慮すると、拡張中にセマンティクスを適切に維持することは困難です。
現在、セマンティクスを保持するように設計された GCL のデータ拡張は、大きく 3 つの不十分な方法に分類されます。
まず、試行錯誤によってデータセットごとに拡張を手動で選択できます。
第二に、面倒な検索を介して拡張を選択できます。
第三に、拡張は、高価なドメイン固有の知識をガイダンスとして導入することによって取得できます。
これらはすべて、既存の GCL メソッドの効率とより一般的な適用性を制限します。
これらの重大な問題を回避するために、\underline{GRA}ph \underline{C}ontrastive l\underline{E}arning の \underline{Sim}ple フレームワーク、簡潔にするために \textbf{SimGRACE} を提案します。これはデータを必要としません。
増強。
具体的には、元のグラフを入力として使用し、摂動バージョンを含む GNN モデルを 2 つのエンコーダーとして使用して、対比用に 2 つの相関ビューを取得します。
SimGRACE は、手動の試行錯誤、面倒な検索、拡張選択のための高価なドメイン知識を必要とせずに、エンコーダーの摂動中にグラフ データがセマンティクスを適切に保持できるという観察に着想を得ています。
また、SimGRACE が成功する理由についても説明します。
さらに、\textbf{AT-SimGRACE} と呼ばれる敵対的トレーニング スキームを考案して、グラフ対照学習のロバスト性を高め、その理由を理論的に説明します。
単純ではありますが、SimGRACE は、前例のない程度の柔軟性と効率性を享受しながら、一般化可能性、転送可能性、および堅牢性の点で最先端の方法と比較して競争力のある、またはより優れたパフォーマンスを生み出すことができることを示しています。

要約(オリジナル)

Graph contrastive learning (GCL) has emerged as a dominant technique for graph representation learning which maximizes the mutual information between paired graph augmentations that share the same semantics. Unfortunately, it is difficult to preserve semantics well during augmentations in view of the diverse nature of graph data. Currently, data augmentations in GCL that are designed to preserve semantics broadly fall into three unsatisfactory ways. First, the augmentations can be manually picked per dataset by trial-and-errors. Second, the augmentations can be selected via cumbersome search. Third, the augmentations can be obtained by introducing expensive domain-specific knowledge as guidance. All of these limit the efficiency and more general applicability of existing GCL methods. To circumvent these crucial issues, we propose a \underline{Sim}ple framework for \underline{GRA}ph \underline{C}ontrastive l\underline{E}arning, \textbf{SimGRACE} for brevity, which does not require data augmentations. Specifically, we take original graph as input and GNN model with its perturbed version as two encoders to obtain two correlated views for contrast. SimGRACE is inspired by the observation that graph data can preserve their semantics well during encoder perturbations while not requiring manual trial-and-errors, cumbersome search or expensive domain knowledge for augmentations selection. Also, we explain why SimGRACE can succeed. Furthermore, we devise adversarial training scheme, dubbed \textbf{AT-SimGRACE}, to enhance the robustness of graph contrastive learning and theoretically explain the reasons. Albeit simple, we show that SimGRACE can yield competitive or better performance compared with state-of-the-art methods in terms of generalizability, transferability and robustness, while enjoying unprecedented degree of flexibility and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google