TGB 2.0: A Benchmark for Learning on Temporal Knowledge Graphs and Heterogeneous Graphs

要約

マルチリレーショナル時相グラフは、実世界のデータをモデル化し、時間の経過とともに進化し相互接続されているエンティティの性質を捉えるための強力なツールです。
最近、このようなグラフの ML 用に多くの新しいモデルが提案されており、堅牢な評価と標準化されたベンチマーク データセットの必要性が高まっています。
しかし、そのようなリソースの利用可能性は依然として不足しており、実験プロトコルの再現性の問題により評価はさらなる複雑さに直面しています。
これらの課題に対処するために、Temporal Graph Benchmark 2.0 (TGB 2.0) を導入します。これは、Temporal Knowledge Graphs と Temporal Heterogeneous Graphs 上の将来のリンクを予測する方法を評価するために調整された新しいベンチマーク フレームワークで、大規模なデータセットに焦点を当て、Temporal Graph Benchmark を拡張します。
。
TGB 2.0 は、最大 5,300 万のエッジを持つ 5 つのドメインにわたる 8 つの新しいデータセットを提示することで、包括的な評価を容易にします。
TGB 2.0 データセットは、ノード、エッジ、またはタイムスタンプの数の点で、既存のデータセットよりも大幅に大きくなります。
さらに、TGB 2.0 は、マルチリレーショナル時間グラフ用の再現可能で現実的な評価パイプラインを提供します。
広範な実験を通じて、1) 高いパフォーマンスを得るにはエッジタイプの情報の活用が重要である、2) 単純なヒューリスティック ベースラインはより複雑な手法と競合することが多い、3) ほとんどの手法は最大のデータセットでは実行できないことがわかり、
よりスケーラブルな方法の研究。

要約(オリジナル)

Multi-relational temporal graphs are powerful tools for modeling real-world data, capturing the evolving and interconnected nature of entities over time. Recently, many novel models are proposed for ML on such graphs intensifying the need for robust evaluation and standardized benchmark datasets. However, the availability of such resources remains scarce and evaluation faces added complexity due to reproducibility issues in experimental protocols. To address these challenges, we introduce Temporal Graph Benchmark 2.0 (TGB 2.0), a novel benchmarking framework tailored for evaluating methods for predicting future links on Temporal Knowledge Graphs and Temporal Heterogeneous Graphs with a focus on large-scale datasets, extending the Temporal Graph Benchmark. TGB 2.0 facilitates comprehensive evaluations by presenting eight novel datasets spanning five domains with up to 53 million edges. TGB 2.0 datasets are significantly larger than existing datasets in terms of number of nodes, edges, or timestamps. In addition, TGB 2.0 provides a reproducible and realistic evaluation pipeline for multi-relational temporal graphs. Through extensive experimentation, we observe that 1) leveraging edge-type information is crucial to obtain high performance, 2) simple heuristic baselines are often competitive with more complex methods, 3) most methods fail to run on our largest datasets, highlighting the need for research on more scalable methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google