HoTPP Benchmark: Are We Good at the Long Horizon Events Forecasting?

要約

特定の期間内の複数の将来のイベントを予測することは、金融、小売、ソーシャルネットワーク、およびヘルスケアのアプリケーションに不可欠です。
マークされた時間ポイントプロセス（MTPP）は、イベントのタイミングとラベルの両方をモデル化するための原則的なフレームワークを提供します。
ただし、ほとんどの既存の研究では、次のイベントのみを予測することに焦点を当てており、長距離予測にはほとんど露出度が低いと予測されています。
このギャップに対処するために、長距離予測を厳密に評価するように特別に設計された最初のベンチマークであるHOTPPを導入します。
広く使用されている評価メトリックの欠点を特定し、理論的に接地されたT-MAPメトリックを提案し、強力な統計的ベースラインを提示し、一般的なモデルの効率的な実装を提供します。
私たちの経験的結果は、最新のMTPPアプローチがしばしば単純な統計的ベースラインをパフォーマンスしていることを示しています。
さらに、予測されたシーケンスの多様性を分析し、ほとんどの方法がモード崩壊を示すことがわかります。
最後に、予測の質に対する自己網目上の損失と強度ベースの損失の影響を分析し、将来の研究のための有望な方向性の概要を分析します。
HOTPPソースコード、ハイパーパラメーター、および完全な評価結果は、GitHubで入手できます。

要約(オリジナル)

Forecasting multiple future events within a given time horizon is essential for applications in finance, retail, social networks, and healthcare. Marked Temporal Point Processes (MTPP) provide a principled framework to model both the timing and labels of events. However, most existing research focuses on predicting only the next event, leaving long-horizon forecasting largely underexplored. To address this gap, we introduce HoTPP, the first benchmark specifically designed to rigorously evaluate long-horizon predictions. We identify shortcomings in widely used evaluation metrics, propose a theoretically grounded T-mAP metric, present strong statistical baselines, and offer efficient implementations of popular models. Our empirical results demonstrate that modern MTPP approaches often underperform simple statistical baselines. Furthermore, we analyze the diversity of predicted sequences and find that most methods exhibit mode collapse. Finally, we analyze the impact of autoregression and intensity-based losses on prediction quality, and outline promising directions for future research. The HoTPP source code, hyperparameters, and full evaluation results are available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google