A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective

要約

グラフ自己教師あり学習 (SSL) は、現在、グラフ基盤モデル (GFM) を事前トレーニングするための頼りになる方法です。
グラフ データには、ノード プロパティやクラスターなど、さまざまな知識パターンが埋め込まれています。これらは、GFM の一般化された表現を学習するために重要です。
ただし、GFM の既存の調査にはいくつかの欠点があります。最新の進歩に関する包括性に欠け、自己教師あり手法の分類が不明確で、特定の種類のグラフ モデルのみに限定された限定的なアーキテクチャ ベースの観点を採用しています。
GFM の最終目標は一般化されたグラフ知識を学習することであるため、新しい知識ベースの観点から自己教師あり GFM の包括的な調査を提供します。
我々は、利用される特定のグラフ知識によって自己教師ありグラフモデルを分類する、知識ベースの分類法を提案します。
私たちの分類は、微視的知識 (ノード、リンクなど)、中間視的知識 (コンテキスト、クラスターなど)、および巨視的知識 (グローバル構造、多様体など) で構成されます。
合計 9 つの知識カテゴリと、GFM の事前トレーニング用の 25 を超える口実タスク、およびさまざまな下流タスクの一般化戦略をカバーしています。
このような知識ベースの分類法により、グラフ言語モデルなどの新しいアーキテクチャに基づくグラフ モデルをより明確に再検討できるだけでなく、GFM を構築するためのより詳細な洞察を提供することができます。

要約(オリジナル)

Graph self-supervised learning (SSL) is now a go-to method for pre-training graph foundation models (GFMs). There is a wide variety of knowledge patterns embedded in the graph data, such as node properties and clusters, which are crucial to learning generalized representations for GFMs. However, existing surveys of GFMs have several shortcomings: they lack comprehensiveness regarding the most recent progress, have unclear categorization of self-supervised methods, and take a limited architecture-based perspective that is restricted to only certain types of graph models. As the ultimate goal of GFMs is to learn generalized graph knowledge, we provide a comprehensive survey of self-supervised GFMs from a novel knowledge-based perspective. We propose a knowledge-based taxonomy, which categorizes self-supervised graph models by the specific graph knowledge utilized. Our taxonomy consists of microscopic (nodes, links, etc.), mesoscopic (context, clusters, etc.), and macroscopic knowledge (global structure, manifolds, etc.). It covers a total of 9 knowledge categories and more than 25 pretext tasks for pre-training GFMs, as well as various downstream task generalization strategies. Such a knowledge-based taxonomy allows us to re-examine graph models based on new architectures more clearly, such as graph language models, as well as provide more in-depth insights for constructing GFMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google