Towards Graph Foundation Models: The Perspective of Zero-shot Reasoning on Knowledge Graphs

要約

汎用人工知能の成功に触発されて、さまざまなグラフ タスクやドメインにわたる一般化に優れたグラフ基盤モデルを開発する傾向があります。
ただし、現在のモデルでは、新しいグラフの構造的および意味論的な洞察を取得するために広範なトレーニングや微調整が必​​要なことが多く、その汎用性が制限されています。
この研究では、ナレッジ グラフ (KG) 上のゼロショット推論の観点からグラフ基礎モデルを調査します。
私たちの焦点は、KG を統合トポロジー構造として利用して多様なタスクに取り組むと同時に、KG 推論における意味分離の課題に対処して、多様な意味論的および構造的特徴を効果的に統合することにあります。
これにより、KG 推論に対する新しい方法論的な洞察と、実際の基礎モデルに対する高い一般化可能性がもたらされます。
方法論的には、ゼロショット学習を使用して多様なグラフ タスクを効果的に一般化する統合グラフ推論フレームワークである SCORE を紹介します。
SCORE の中核となるのは、セマンティック条件付きメッセージ パッシングです。これは、表現力の理論的裏付けとともに、グラフ内の構造的不変性とセマンティック不変性の両方を捕捉するように設計された技術です。
実際に、複数のドメインにわたるノードレベル、リンクレベル、グラフレベルのタスクをカバーする 38 の多様なグラフ データセットを使用して、SCORE のゼロショット推論機能を評価します。
私たちの実験では、以前の基礎モデルや監視されたベースラインと比較して大幅なパフォーマンスの向上が明らかになり、私たちのアプローチの有効性と適応性が強調されています。

要約(オリジナル)

Inspired by the success of artificial general intelligence, there is a trend towards developing Graph Foundation Models that excel in generalization across various graph tasks and domains. However, current models often require extensive training or fine-tuning to capture structural and semantic insights on new graphs, which limits their versatility. In this work, we explore graph foundation models from the perspective of zero-shot reasoning on Knowledge Graphs (KGs). Our focus is on utilizing KGs as a unified topological structure to tackle diverse tasks, while addressing semantic isolation challenges in KG reasoning to effectively integrate diverse semantic and structural features. This brings us new methodological insights into KG reasoning, as well as high generalizability towards foundation models in practice. Methodologically, we introduce SCORE, a unified graph reasoning framework that effectively generalizes diverse graph tasks using zero-shot learning. At the core of SCORE is semantic conditional message passing, a technique designed to capture both structural and semantic invariances in graphs, with theoretical backing for its expressive power. Practically, we evaluate the zero-shot reasoning capability of SCORE using 38 diverse graph datasets, covering node-level, link-level, and graph-level tasks across multiple domains. Our experiments reveal a substantial performance improvement over prior foundation models and supervised baselines, highlighting the efficacy and adaptability of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google