Exploring the Performance of Continuous-Time Dynamic Link Prediction Algorithms

要約

ダイナミック リンク予測 (DLP) は、進化するネットワークにおける将来のリンクの予測に取り組みます。
ただし、DLP アルゴリズムのパフォーマンスを正確に描写するには、この分野の進歩を妨げる可能性がある課題が生じます。
重要なのは、一般的な評価パイプラインは通常、ランキングまたはバイナリ分類メトリクスを計算し、観察されたインタラクション (ポジティブ) のスコアがランダムに生成されたインタラクション (ネガティブ) のスコアと比較されることです。
ただし、単一の指標では DLP アルゴリズム間の違いを完全に把握するのに十分ではなく、パフォーマンス評価が過度に楽観的になる傾向があります。
代わりに、詳細な評価では、さまざまなノード、エッジ、時間セグメントにわたるパフォーマンスの変動を反映する必要があります。
この研究では、そのような包括的な評価を実行するためのツールを提供します。
(1) 我々は、特定のデータセットに対する DLP の難易度に対する時間ベースのトレーニングとテストの分割の影響を示す、シンプルだが強力な視覚化手法である誕生-死亡図を提案します。
(2) 評価時に使用できるネガティブ サンプリング手法の網羅的な分類法について説明します。
(3) さまざまなネガティブサンプリング戦略の効果についての実証研究を実施します。
現実世界のさまざまなデータセットでヒューリスティックと最先端のメモリベースの手法を比較したところ、曲線下面積 (AUC) のテストにおいて、さまざまなネガティブ サンプリング戦略を使用することの強力な効果が確認されました。
さらに、予測の視覚的な調査を実施し、時間の経過とともにどの種類のエラーが顕著になるかについての追加の洞察を提供します。

要約(オリジナル)

Dynamic Link Prediction (DLP) addresses the prediction of future links in evolving networks. However, accurately portraying the performance of DLP algorithms poses challenges that might impede progress in the field. Importantly, common evaluation pipelines usually calculate ranking or binary classification metrics, where the scores of observed interactions (positives) are compared with those of randomly generated ones (negatives). However, a single metric is not sufficient to fully capture the differences between DLP algorithms, and is prone to overly optimistic performance evaluation. Instead, an in-depth evaluation should reflect performance variations across different nodes, edges, and time segments. In this work, we contribute tools to perform such a comprehensive evaluation. (1) We propose Birth-Death diagrams, a simple but powerful visualization technique that illustrates the effect of time-based train-test splitting on the difficulty of DLP on a given dataset. (2) We describe an exhaustive taxonomy of negative sampling methods that can be used at evaluation time. (3) We carry out an empirical study of the effect of the different negative sampling strategies. Our comparison between heuristics and state-of-the-art memory-based methods on various real-world datasets confirms a strong effect of using different negative sampling strategies on the test Area Under the Curve (AUC). Moreover, we conduct a visual exploration of the prediction, with additional insights on which different types of errors are prominent over time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google