Temporal Graph Benchmark for Machine Learning on Temporal Graphs

要約

時間グラフ ベンチマーク (TGB) は、時間グラフ上の機械学習モデルを現実的、再現可能、堅牢に評価するための、挑戦的で多様なベンチマーク データセットのコレクションです。
TGB データセットは大規模で、期間は数年に及び、ノードレベルとエッジレベルの両方の予測タスクが組み込まれており、社会、貿易、取引、交通ネットワークなどの多様な領域をカバーしています。
どちらのタスクでも、現実的なユースケースに基づいて評価プロトコルを設計します。
私たちは各データセットのベンチマークを広範囲に実施し、一般的なモデルのパフォーマンスがデータセット間で大幅に異なる可能性があることを発見しました。
さらに、動的ノード プロパティ予測タスクでは、単純な手法が既存の時間グラフ モデルと比較して優れたパフォーマンスを達成することが多いことを示します。
私たちは、これらの発見が時間グラフに関する将来の研究の機会を開くと信じています。
最後に、TGB は、データの読み込み、実験のセットアップ、パフォーマンス評価など、再現可能でアクセス可能な時間グラフ研究のための自動化された機械学習パイプラインを提供します。
TGB は定期的に保守および更新され、コミュニティからのフィードバックを歓迎します。
TGB データセット、データ ローダー、サンプル コード、評価セットアップ、およびリーダーボードは、 https://tgb.complexdatalab.com/ で公開されています。

要約(オリジナル)

We present the Temporal Graph Benchmark (TGB), a collection of challenging and diverse benchmark datasets for realistic, reproducible, and robust evaluation of machine learning models on temporal graphs. TGB datasets are of large scale, spanning years in duration, incorporate both node and edge-level prediction tasks and cover a diverse set of domains including social, trade, transaction, and transportation networks. For both tasks, we design evaluation protocols based on realistic use-cases. We extensively benchmark each dataset and find that the performance of common models can vary drastically across datasets. In addition, on dynamic node property prediction tasks, we show that simple methods often achieve superior performance compared to existing temporal graph models. We believe that these findings open up opportunities for future research on temporal graphs. Finally, TGB provides an automated machine learning pipeline for reproducible and accessible temporal graph research, including data loading, experiment setup and performance evaluation. TGB will be maintained and updated on a regular basis and welcomes community feedback. TGB datasets, data loaders, example codes, evaluation setup, and leaderboards are publicly available at https://tgb.complexdatalab.com/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google