Temporal graph models fail to capture global temporal dynamics

要約

最近リリースされた時間グラフ ベンチマークは、動的リンク プロパティ予測のコンテキストで分析されます。
私たちは観察を概説し、Temporal Graph Benchmark の中規模および大規模データセットすべてで他の方法よりも優れた「最近人気のあるノード」の自明な最適化不要のベースラインを提案します。
私たちは、データセットの短期および長期の地球規模のダイナミクスの強さを定量化できる、ワッサーシュタイン距離に基づく 2 つの尺度を提案します。
予想外に強力なベースラインを分析することで、標準的なネガティブ サンプリング評価が強い時間的ダイナミクスを持つデータセットにどのように不適切であるかを示します。
また、単純なネガティブ サンプリングがトレーニング中にどのようにモデルの劣化を引き起こし、その結果、時間グラフ ネットワークのランク付けが不可能で完全に飽和した予測が生じる可能性があるかについても示します。
トレーニングと評価の両方のために改良されたネガティブ サンプリング スキームを提案し、その有用性を証明します。
ネガティブサンプリングを行わずに非対照的にトレーニングされたモデルとの比較を実行します。
私たちの結果は、挑戦的なベースラインを提供し、ソーシャルメディア、仮想通貨市場、電子商取引などの重大なグローバルダイナミクスを伴う問題で使用するには、時間グラフネットワークアーキテクチャを徹底的に再考する必要があることを示しています。
ベースライン、測定値、および提案されたネガティブ サンプリング スキームのコードをオープンソースにします。

要約(オリジナル)

A recently released Temporal Graph Benchmark is analyzed in the context of Dynamic Link Property Prediction. We outline our observations and propose a trivial optimization-free baseline of ‘recently popular nodes’ outperforming other methods on all medium and large-size datasets in the Temporal Graph Benchmark. We propose two measures based on Wasserstein distance which can quantify the strength of short-term and long-term global dynamics of datasets. By analyzing our unexpectedly strong baseline, we show how standard negative sampling evaluation can be unsuitable for datasets with strong temporal dynamics. We also show how simple negative-sampling can lead to model degeneration during training, resulting in impossible to rank, fully saturated predictions of temporal graph networks. We propose improved negative sampling schemes for both training and evaluation and prove their usefulness. We conduct a comparison with a model trained non-contrastively without negative sampling. Our results provide a challenging baseline and indicate that temporal graph network architectures need deep rethinking for usage in problems with significant global dynamics, such as social media, cryptocurrency markets or e-commerce. We open-source the code for baselines, measures and proposed negative sampling schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google