A Unified Hyperparameter Optimization Pipeline for Transformer-Based Time Series Forecasting Models

要約

時系列予測（TSF）のための変換器ベースのモデルは、その有効性と汎用性から、近年大きな注目を集めている。しかしながら、これらのモデルは、可能な限り最高の性能を達成するために、しばしば大規模なハイパーパラメータ最適化（HPO）を必要とし、トランスフォーマベースのTSFにおけるHPOのための統一されたパイプラインは、依然として不足している。本論文では、そのようなパイプラインの一つを提示し、いくつかの最先端の（SOTA）トランスフォーマベースのTSFモデルに対する広範な実験を実施する。これらの実験は、様々なモデルの性能を評価・比較するために、標準的なベンチマークデータセットを用いて行われ、実用的な洞察と事例を生み出している。我々のパイプラインは、トランスフォーマベースのアーキテクチャー以外にも一般化可能であり、実験で実証されたように、MambaやTimeMixerなどの他のSOTAモデルにも適用可能である。この研究の目的は、産業界の実務家と学術研究者の双方に、特定のドメイン・アプリケーションに適した最適なハイパーパラメータを効率的に特定するための貴重なガイダンスを提供することである。コードと完全な実験結果はGitHubで入手可能である。

要約(オリジナル)

Transformer-based models for time series forecasting (TSF) have attracted significant attention in recent years due to their effectiveness and versatility. However, these models often require extensive hyperparameter optimization (HPO) to achieve the best possible performance, and a unified pipeline for HPO in transformer-based TSF remains lacking. In this paper, we present one such pipeline and conduct extensive experiments on several state-of-the-art (SOTA) transformer-based TSF models. These experiments are conducted on standard benchmark datasets to evaluate and compare the performance of different models, generating practical insights and examples. Our pipeline is generalizable beyond transformer-based architectures and can be applied to other SOTA models, such as Mamba and TimeMixer, as demonstrated in our experiments. The goal of this work is to provide valuable guidance to both industry practitioners and academic researchers in efficiently identifying optimal hyperparameters suited to their specific domain applications. The code and complete experimental results are available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL