A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective

要約

グラフ自己学習学習（SSL）は、トレーニング前のグラフ基礎モデル（GFM）の頼りになる方法になりました。
GFMの一般化された表現を学習するために重要なノードプロパティやクラスターなど、グラフデータに埋め込まれたさまざまな知識パターンがあります。
ただし、GFMの既存の調査にはいくつかの欠点があります。それらは、最新の進歩に関する包括性を欠いており、自己教師の方法の分類が不明確になり、特定のタイプのグラフモデルのみに限定されている限られたアーキテクチャベースの視点を取ります。
GFMSの究極の目標は一般化されたグラフの知識を学ぶことであるため、新しい知識ベースの観点から自己監視GFMの包括的な調査を提供します。
知識ベースの分類法を提案します。知識ベースの分類法は、使用されている特定のグラフ知識によって自己監視されたグラフモデルを分類します。
私たちの分類法は、顕微鏡（ノード、リンクなど）、中鏡（コンテキスト、クラスターなど）、および巨視的な知識（グローバル構造、マニホールドなど）で構成されています。
トレーニング前のGFMの合計9つの知識カテゴリと25を超える口実タスク、およびさまざまなダウンストリームタスク一般化戦略をカバーしています。
このような知識ベースの分類法により、グラフ言語モデルなどの新しいアーキテクチャに基づいてグラフモデルをより明確に再検討し、GFMを構築するためのより詳細な洞察を提供することができます。

要約(オリジナル)

Graph self-supervised learning (SSL) is now a go-to method for pre-training graph foundation models (GFMs). There is a wide variety of knowledge patterns embedded in the graph data, such as node properties and clusters, which are crucial to learning generalized representations for GFMs. However, existing surveys of GFMs have several shortcomings: they lack comprehensiveness regarding the most recent progress, have unclear categorization of self-supervised methods, and take a limited architecture-based perspective that is restricted to only certain types of graph models. As the ultimate goal of GFMs is to learn generalized graph knowledge, we provide a comprehensive survey of self-supervised GFMs from a novel knowledge-based perspective. We propose a knowledge-based taxonomy, which categorizes self-supervised graph models by the specific graph knowledge utilized. Our taxonomy consists of microscopic (nodes, links, etc.), mesoscopic (context, clusters, etc.), and macroscopic knowledge (global structure, manifolds, etc.). It covers a total of 9 knowledge categories and more than 25 pretext tasks for pre-training GFMs, as well as various downstream task generalization strategies. Such a knowledge-based taxonomy allows us to re-examine graph models based on new architectures more clearly, such as graph language models, as well as provide more in-depth insights for constructing GFMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google