Towards Graph Foundation Models: Training on Knowledge Graphs Enables Transferability to General Graphs

要約

大規模な言語モデルの成功に触発されて、さまざまなドメインで多様なダウンストリームタスクを実施するためのグラフファンデーションモデルを開発する傾向があります。
ただし、現在のモデルでは、学習した構造表現とセマンティック表現を新しいグラフに適用するために、余分な微調整を必要とすることが多く、汎用性が制限されます。
ナレッジグラフ（KGS）のゼロショット誘導推論の最近のブレークスルーは、KGの推論を一般的なグラフアプリケーションに拡張するという新しい視点を提供します。
この論文では、知識グラフでトレーニングし、幅広いグラフタスクとドメインに効果的に一般化するように設計された統一グラフ推論フレームワークであるSCRを紹介します。
まず、タスク固有のKG構造を設計して、さまざまなタスク形式の統一トポロジを確立します。
次に、グラフ表現の構造的およびセマンティックな不変性パターンを共同でモデル化することにより、従来のKG推論における固有のセマンティック分離に対処する新しいメカニズムであるセマンティックコンディショニングメッセージの合格を提案します。
有効性を実証するために、38の多様なグラフデータセットを使用してSCRの誘導性推論能力を評価し、複数のドメインにわたってノードレベル、リンクレベル、グラフレベルのタスクをカバーします。
私たちの結果は、既存の基礎モデルと監視されたベースラインに比べて大幅なパフォーマンスの向上を示し、アプローチの有効性と適応性を強調しています。

要約(オリジナル)

Inspired by the success of large language models, there is a trend toward developing graph foundation models to conduct diverse downstream tasks in various domains. However, current models often require extra fine-tuning to apply their learned structural and semantic representations to new graphs, which limits their versatility. Recent breakthroughs in zero-shot inductive reasoning on knowledge graphs (KGs), offer us a new perspective on extending KG reasoning to general graph applications. In this paper, we introduce SCR, a unified graph reasoning framework designed to train on knowledge graphs and effectively generalize across a wide range of graph tasks and domains. We begin by designing the task-specific KG structures to establish a unified topology for different task formats. Then we propose semantic-conditioned message passing, a novel mechanism addressing the inherent semantic isolation in traditional KG reasoning, by jointly modeling structural and semantic invariance patterns in graph representations. To demonstrate the effectiveness, we evaluate the inductive reasoning capability of SCR using 38 diverse graph datasets, covering node-level, link-level, and graph-level tasks across multiple domains. Our results show substantial performance gains over existing foundation models and supervised baselines, highlighting the efficacy and adaptability of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google