ExGRG: Explicitly-Generated Relation Graph for Self-Supervised Representation Learning

要約

自己教師あり学習 (SSL) は、高価な注釈付きラベルに依存せず、代わりにラベルのないデータに埋め込まれた信号を活用して深層学習モデルを事前トレーニングする強力な手法として登場しました。
SSL は直感的なデータ拡張を通じてコン​​ピューター ビジョン タスクで目覚ましい成功を収めてきましたが、グラフ拡張の意味変更と直感に反する性質により、グラフ構造データへの適用には課題​​が生じます。
この制限に対処するため、このペーパーでは、従来の拡張ベースの暗黙的な関係グラフのみに依存するのではなく、構成関係グラフ (ExGRG) を明示的に生成するための新しい非対照的な SSL アプローチを紹介します。
ExGRG は、ラプラシアン固有マップと期待値最大化 (EM) からインスピレーションを得て、事前のドメイン知識とオンラインで抽出された情報を SSL 不変性目標に組み込むためのフレームワークを提供します。
SSL に対する EM の観点を採用する E ステップには、SSL 不変性目標を導く候補を特定するための関係グラフの生成が含まれ、M ステップでは、派生した関係情報を統合することによってモデル パラメーターを更新します。
多様なノード分類データセットに対する広範な実験により、最先端の技術に対する私たちの手法の優位性が実証され、ExGRG がグラフ表現学習に SSL を効果的に採用していることが確認されました。

要約(オリジナル)

Self-supervised Learning (SSL) has emerged as a powerful technique in pre-training deep learning models without relying on expensive annotated labels, instead leveraging embedded signals in unlabeled data. While SSL has shown remarkable success in computer vision tasks through intuitive data augmentation, its application to graph-structured data poses challenges due to the semantic-altering and counter-intuitive nature of graph augmentations. Addressing this limitation, this paper introduces a novel non-contrastive SSL approach to Explicitly Generate a compositional Relation Graph (ExGRG) instead of relying solely on the conventional augmentation-based implicit relation graph. ExGRG offers a framework for incorporating prior domain knowledge and online extracted information into the SSL invariance objective, drawing inspiration from the Laplacian Eigenmap and Expectation-Maximization (EM). Employing an EM perspective on SSL, our E-step involves relation graph generation to identify candidates to guide the SSL invariance objective, and M-step updates the model parameters by integrating the derived relational information. Extensive experimentation on diverse node classification datasets demonstrates the superiority of our method over state-of-the-art techniques, affirming ExGRG as an effective adoption of SSL for graph representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google