TSGBench: Time Series Generation Benchmark

要約

合成時系列生成 (TSG) は、データ増強、異常検出、プライバシー保護などのさまざまなアプリケーションにおいて重要です。
この分野では大幅な進歩が見られましたが、既存の方法には 3 つの重要な制限があります。 (1) 多くの場合、類似のモデル タイプに対してベンチマークを実行し、パフォーマンス機能の全体像を制限します。
(2) 特殊な合成データセットとプライベート データセットを使用すると、バイアスが生じ、一般化が妨げられます。
(3) 曖昧な評価基準はカスタム ネットワークや下流のタスクに関連付けられることが多く、一貫性のある公平な比較を妨げます。
これらの制限を克服するために、TSG 手法の統一的かつ包括的な評価を目的として設計された初の時系列生成ベンチマークである \textsf{TSGBench} を導入します。
これは 3 つのモジュールで構成されます。(1) 標準化された前処理パイプラインとともに、TSG 向けに調整された公的に利用可能な現実世界のデータセットの精選されたコレクション。
(2) バニラ測定、新しい距離ベースの評価、視覚化ツールを含む包括的な評価測定スイート。
(3) ドメイン アダプテーション (DA) に根ざした先駆的な一般化テストで、あらゆる手法と互換性があります。
私たちは、さまざまなドメインからの 10 個の実世界のデータセットにわたって \textsf{TSGBench} を使用し、10 個の高度な TSG 手法と 12 個の評価尺度を利用して、包括的な実験を実施しました。
この結果は、TSG 手法の評価における \textsf{TSGBench} の信頼性と有効性を強調しています。
重要なのは、\textsf{TSGBench} がこれらの手法のパフォーマンス ランキングの統計分析を提供し、さまざまなデータセットや測定におけるさまざまなパフォーマンスを明らかにし、各手法の有効性についての微妙な洞察を提供することです。

要約(オリジナル)

Synthetic Time Series Generation (TSG) is crucial in a range of applications, including data augmentation, anomaly detection, and privacy preservation. Although significant strides have been made in this field, existing methods exhibit three key limitations: (1) They often benchmark against similar model types, constraining a holistic view of performance capabilities. (2) The use of specialized synthetic and private datasets introduces biases and hampers generalizability. (3) Ambiguous evaluation measures, often tied to custom networks or downstream tasks, hinder consistent and fair comparison. To overcome these limitations, we introduce \textsf{TSGBench}, the inaugural Time Series Generation Benchmark, designed for a unified and comprehensive assessment of TSG methods. It comprises three modules: (1) a curated collection of publicly available, real-world datasets tailored for TSG, together with a standardized preprocessing pipeline; (2) a comprehensive evaluation measures suite including vanilla measures, new distance-based assessments, and visualization tools; (3) a pioneering generalization test rooted in Domain Adaptation (DA), compatible with all methods. We have conducted comprehensive experiments using \textsf{TSGBench} across a spectrum of ten real-world datasets from diverse domains, utilizing ten advanced TSG methods and twelve evaluation measures. The results highlight the reliability and efficacy of \textsf{TSGBench} in evaluating TSG methods. Crucially, \textsf{TSGBench} delivers a statistical analysis of the performance rankings of these methods, illuminating their varying performance across different datasets and measures and offering nuanced insights into the effectiveness of each method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google