Towards Graph Foundation Models: A Study on the Generalization of Positional and Structural Encodings

要約

位置エンコーディングと構造エンコーディング（PSE）をグラフ・ニューラル・ネットワーク（GNN）に統合する最近の進歩により、様々なグラフ学習タスクにおける性能が大幅に向上した。しかし、これらのエンコーディングの一般的な適用可能性や、グラフの基礎表現としての可能性については、まだ不確かなままである。本稿では、多様なグラフデータセットにおける学習可能なPSEの微調整効率、サンプルサイズによるスケーラビリティ、汎化能力を調査する。具体的には、最小限の微調整と限られたデータで、新しいタスクに容易に適応できる普遍的な事前学習済みモデルとしての可能性を評価する。さらに、学習された表現の表現力を評価し、特に、下流のGNNを補強するために使用した場合の表現力を評価する。我々は広範なベンチマークと経験的分析を通じて、PSEが一般的に下流のモデルを強化することを実証する。しかしながら、データセットによっては、最適な性能を達成するために特定のPSEによる補強が必要となる場合がある。それにもかかわらず、我々の発見は、PSEが将来のグラフ基盤モデルの不可欠な構成要素になる大きな可能性を強調している。我々は、PSEの長所と限界に関する新たな洞察を提供し、グラフ学習における基礎モデルに関するより広範な議論に貢献する。

要約(オリジナル)

Recent advances in integrating positional and structural encodings (PSEs) into graph neural networks (GNNs) have significantly enhanced their performance across various graph learning tasks. However, the general applicability of these encodings and their potential to serve as foundational representations for graphs remain uncertain. This paper investigates the fine-tuning efficiency, scalability with sample size, and generalization capability of learnable PSEs across diverse graph datasets. Specifically, we evaluate their potential as universal pre-trained models that can be easily adapted to new tasks with minimal fine-tuning and limited data. Furthermore, we assess the expressivity of the learned representations, particularly, when used to augment downstream GNNs. We demonstrate through extensive benchmarking and empirical analysis that PSEs generally enhance downstream models. However, some datasets may require specific PSE-augmentations to achieve optimal performance. Nevertheless, our findings highlight their significant potential to become integral components of future graph foundation models. We provide new insights into the strengths and limitations of PSEs, contributing to the broader discourse on foundation models in graph learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL