TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods

要約

時系列は、経済、交通、健康、エネルギーなどのさまざまな領域で生成され、将来の値の予測には多くの重要な用途があります。
当然のことながら、多くの予測方法が提案されています。
進歩を確実にするには、そのような方法を包括的かつ信頼性の高い方法で経験的に研究し、比較できることが不可欠です。
これを達成するために、時系列予測 (TSF) 手法の自動ベンチマークである TFB を提案します。
TFB は、データセット、比較方法、評価パイプラインに関連する欠点、つまり 1) データ ドメインのカバレッジが不十分、2) 従来の方法に対する固定観念の偏見、3) 一貫性がなく柔軟性に欠けるパイプラインに対処することで最先端技術を進歩させています。
より適切なドメイン カバレッジを達成するために、交通、電力、エネルギー、環境、自然、経済、株式市場、銀行、健康、ウェブといった 10 の異なるドメインからのデータセットが含まれています。
また、選択したデータセットが包括的であることを確認するための時系列特性評価も提供します。
一部の手法に対する偏見を排除するために、統計学習、機械学習、深層学習手法などの多様な手法が組み込まれています。また、さまざまな手法をより包括的に評価できるように、さまざまな評価戦略と指標もサポートしています。
さまざまな手法のベンチマークへの統合をサポートし、公平な比較を可能にするために、TFB はバイアスを排除する柔軟でスケーラブルなパイプラインを備えています。
次に、TFB を使用して、8,068 個の一変量時系列に対する 21 個の一変量時系列予測 (UTSF) メソッドと、25 のデータセットに対する 14 個の多変量時系列予測 (MTSF) メソッドの徹底的な評価を実行します。
ベンチマーク コードとデータは https://github.com/decionintelligence/TFB で入手できます。

要約(オリジナル)

Time series are generated in diverse domains such as economic, traffic, health, and energy, where forecasting of future values has numerous important applications. Not surprisingly, many forecasting methods are being proposed. To ensure progress, it is essential to be able to study and compare such methods empirically in a comprehensive and reliable manner. To achieve this, we propose TFB, an automated benchmark for Time Series Forecasting (TSF) methods. TFB advances the state-of-the-art by addressing shortcomings related to datasets, comparison methods, and evaluation pipelines: 1) insufficient coverage of data domains, 2) stereotype bias against traditional methods, and 3) inconsistent and inflexible pipelines. To achieve better domain coverage, we include datasets from 10 different domains: traffic, electricity, energy, the environment, nature, economic, stock markets, banking, health, and the web. We also provide a time series characterization to ensure that the selected datasets are comprehensive. To remove biases against some methods, we include a diverse range of methods, including statistical learning, machine learning, and deep learning methods, and we also support a variety of evaluation strategies and metrics to ensure a more comprehensive evaluations of different methods. To support the integration of different methods into the benchmark and enable fair comparisons, TFB features a flexible and scalable pipeline that eliminates biases. Next, we employ TFB to perform a thorough evaluation of 21 Univariate Time Series Forecasting (UTSF) methods on 8,068 univariate time series and 14 Multivariate Time Series Forecasting (MTSF) methods on 25 datasets. The benchmark code and data are available at https://github.com/decisionintelligence/TFB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google