Leveraging Joint Predictive Embedding and Bayesian Inference in Graph Self Supervised Learning

要約

グラフ表現の学習は、ノード分類やリンク予測などのタスクの基礎として浮上していますが、一般的な自己監視学習（SSL）方法は、計算の非効率性、対照的な目的への依存、表現崩壊などの課題に直面しています。
既存のアプローチは、多くの場合、機能の再構築、否定的なサンプリング、または複雑なデコーダーに依存し、トレーニングのオーバーヘッドを導入し、一般化を妨げます。
さらに、このような制限に対処する現在の手法では、ラベル付きノードがない場合、特定の予測へのノード埋め込みの寄与を説明できません。
これらの制限に対処するために、セマンティックおよび構造情報を保持しながら、対照的な目的と否定的なサンプリングを排除するグラフSSLの予測フレームワークを埋め込む新しいジョイント埋め込みを提案します。
さらに、ガウス混合モデル（GMM）から派生した擬似ラベルを組み込んだセマンティックアウェアの目的用語を導入し、潜在的な特徴の貢献を評価することでノード識別性を高めます。
広範な実験は、私たちのフレームワークがベンチマーク全体で最先端のグラフSSLメソッドを上回り、対照的な損失や複雑なデコーダーなしで優れたパフォーマンスを達成することを示しています。
主要なイノベーションには、（1）非矛盾した、ビュー不変の関節埋め込み予測アーキテクチャ、（2）サブグラフ間の単一コンテキストと複数のターゲット関係を活用すること、および（3）セマンティック貢献をキャプチャするためのGMMベースの擬似ラベルスコアリングが含まれます。
この作業は、下流タスクの空間的およびセマンティックグラフ機能を橋渡しする計算効率の良い崩壊耐性パラダイムを提供することにより、グラフSSLを進めます。
私たちの論文のコードはhttps://github.com/deceptrax123/jpeb-gsslにあります

要約(オリジナル)

Graph representation learning has emerged as a cornerstone for tasks like node classification and link prediction, yet prevailing self-supervised learning (SSL) methods face challenges such as computational inefficiency, reliance on contrastive objectives, and representation collapse. Existing approaches often depend on feature reconstruction, negative sampling, or complex decoders, which introduce training overhead and hinder generalization. Further, current techniques which address such limitations fail to account for the contribution of node embeddings to a certain prediction in the absence of labeled nodes. To address these limitations, we propose a novel joint embedding predictive framework for graph SSL that eliminates contrastive objectives and negative sampling while preserving semantic and structural information. Additionally, we introduce a semantic-aware objective term that incorporates pseudo-labels derived from Gaussian Mixture Models (GMMs), enhancing node discriminability by evaluating latent feature contributions. Extensive experiments demonstrate that our framework outperforms state-of-the-art graph SSL methods across benchmarks, achieving superior performance without contrastive loss or complex decoders. Key innovations include (1) a non-contrastive, view-invariant joint embedding predictive architecture, (2) Leveraging single context and multiple targets relationship between subgraphs, and (3) GMM-based pseudo-label scoring to capture semantic contributions. This work advances graph SSL by offering a computationally efficient, collapse-resistant paradigm that bridges spatial and semantic graph features for downstream tasks. The code for our paper can be found at https://github.com/Deceptrax123/JPEB-GSSL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google