Towards Foundation Models on Graphs: An Analysis on Cross-Dataset Transfer of Pretrained GNNs

要約

グラフ基盤モデルに対する予備的な理解を進めるために、事前トレーニングされたグラフ ニューラル ネットワークをデータセット全体にどの程度適用できるかを研究します。この取り組みでは、データセット固有の機能とそのエンコーディングにとらわれないことが必要です。
私たちは純粋に構造的な事前トレーニング アプローチに基づいて構築し、機能に依存せずに機能情報を取得するための拡張機能を提案します。
さまざまな量のトレーニング サンプルと事前トレーニング データセットの選択について、下流タスクで事前トレーニングされたモデルを評価します。
私たちの予備的な結果は、事前トレーニングされたモデルからの埋め込みは、十分な下流データポイントがある場合にのみ、事前トレーニングデータの量と特性に依存する程度で一般化を改善することを示しています。
特徴情報は改善につながる可能性がありますが、現時点では、事前トレーニングと下流の特徴空間の間にいくつかの類似性が必要です。

要約(オリジナル)

To develop a preliminary understanding towards Graph Foundation Models, we study the extent to which pretrained Graph Neural Networks can be applied across datasets, an effort requiring to be agnostic to dataset-specific features and their encodings. We build upon a purely structural pretraining approach and propose an extension to capture feature information while still being feature-agnostic. We evaluate pretrained models on downstream tasks for varying amounts of training samples and choices of pretraining datasets. Our preliminary results indicate that embeddings from pretrained models improve generalization only with enough downstream data points and in a degree which depends on the quantity and properties of pretraining data. Feature information can lead to improvements, but currently requires some similarities between pretraining and downstream feature spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google