GraphFM: A Comprehensive Benchmark for Graph Foundation Model

要約

基盤モデル (FM) は、人工知能システム開発の一般的なクラスとして機能し、下流のタスクの範囲全体にわたって一般化する幅広い可能性を提供します。
FM の基礎としての自己教師あり学習に関する広範な研究にもかかわらず、グラフ自己教師あり学習に依存するグラフ基盤モデルにはいくつかの未解決の問題、すなわち 1) 均質化が残っています。
下流のタスクにおける汎化機能の範囲は依然として不明です。
2) スケーラビリティ。
これらのモデルが大規模なデータセットにどの程度効果的に拡張できるかは不明です。
3) 効率。
これらのモデルのトレーニング時間とメモリ使用量を評価する必要があります。
4) トレーニング停止基準。
複数のタスクにわたる事前トレーニングのための最適な停止戦略を決定し、下流タスクのパフォーマンスを最大化します。
これらの質問に対処するために、私たちは自己教師ありグラフ ニューラル ネットワーク (GNN) モデルの一般化とスケーラビリティを徹底的に分析および研究する厳密なベンチマークを構築しました。
一般化に関しては、ノード分類、リンク予測、ノード クラスタリングなどのタスクにわたって、ノード表現を生成するようにトレーニングされたさまざまな自己教師あり GNN モデルのパフォーマンスを実装して比較しました。
スケーラビリティのために、フルバッチ戦略とミニバッチ戦略を使用してトレーニングした後のさまざまなモデルのパフォーマンスを比較しました。
さらに、GPU メモリの使用量とスループットをテストする実験を実施することで、これらのモデルのトレーニング効率を評価しました。
これらの実験を通じて、将来の研究を動機付ける洞察を提供することを目指しています。
このベンチマークのコードは、https://github.com/NYUSHCS/GraphFM で公開されています。

要約(オリジナル)

Foundation Models (FMs) serve as a general class for the development of artificial intelligence systems, offering broad potential for generalization across a spectrum of downstream tasks. Despite extensive research into self-supervised learning as the cornerstone of FMs, several outstanding issues persist in Graph Foundation Models that rely on graph self-supervised learning, namely: 1) Homogenization. The extent of generalization capability on downstream tasks remains unclear. 2) Scalability. It is unknown how effectively these models can scale to large datasets. 3) Efficiency. The training time and memory usage of these models require evaluation. 4) Training Stop Criteria. Determining the optimal stopping strategy for pre-training across multiple tasks to maximize performance on downstream tasks. To address these questions, we have constructed a rigorous benchmark that thoroughly analyzes and studies the generalization and scalability of self-supervised Graph Neural Network (GNN) models. Regarding generalization, we have implemented and compared the performance of various self-supervised GNN models, trained to generate node representations, across tasks such as node classification, link prediction, and node clustering. For scalability, we have compared the performance of various models after training using full-batch and mini-batch strategies. Additionally, we have assessed the training efficiency of these models by conducting experiments to test their GPU memory usage and throughput. Through these experiments, we aim to provide insights to motivate future research. The code for this benchmark is publicly available at https://github.com/NYUSHCS/GraphFM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google