Simple Graph Contrastive Learning via Fractional-order Neural Diffusion Networks

要約

グラフ対照学習（GCL）は最近、監視されていないグラフ表現学習パラダイムとして進歩しました。
GCLアプローチは、増強に基づいた、拡張なしの方法に分類できます。
前者は複雑なデータ増強に依存していますが、後者は同じ入力の明確なビューを生成できるエンコーダーに依存します。
どちらのアプローチでも、トレーニングのために負のサンプルが必要になる場合があります。
この論文では、グラフ神経拡散モデルに基づいて、新しい増強のないGCLフレームワークを紹介します。
具体的には、分数微分方程式（FDE）によって管理される学習可能なエンコーダーを利用します。
各FDEは、微分演算子の順序パラメーターによって特徴付けられます。
これらのパラメーターを変化させることで、対照的な学習のために、ローカルまたはグローバル情報をキャプチャして、多様なビューを生成する学習可能なエンコーダーを作成できることを実証します。
私たちのモデルは、トレーニングに負のサンプルを必要とせず、同性愛と異種のデータセットの両方に適用できます。
さまざまなデータセット全体でその有効性を実証し、最先端のパフォーマンスを達成します。

要約(オリジナル)

Graph Contrastive Learning (GCL) has recently made progress as an unsupervised graph representation learning paradigm. GCL approaches can be categorized into augmentation-based and augmentation-free methods. The former relies on complex data augmentations, while the latter depends on encoders that can generate distinct views of the same input. Both approaches may require negative samples for training. In this paper, we introduce a novel augmentation-free GCL framework based on graph neural diffusion models. Specifically, we utilize learnable encoders governed by Fractional Differential Equations (FDE). Each FDE is characterized by an order parameter of the differential operator. We demonstrate that varying these parameters allows us to produce learnable encoders that generate diverse views, capturing either local or global information, for contrastive learning. Our model does not require negative samples for training and is applicable to both homophilic and heterophilic datasets. We demonstrate its effectiveness across various datasets, achieving state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google