Automatic selection of the best neural architecture for time series forecasting via multi-objective optimization and Pareto optimality conditions

要約

時系列予測は、気象予測、ヘルスケア、構造健全性監視、予知保全、エネルギー システム、金融市場などの幅広いアプリケーションで極めて重要な役割を果たしています。
LSTM、GRU、トランスフォーマー、状態空間モデル (SSM) などのモデルはこの分野の標準ツールとなっていますが、最適なアーキテクチャを選択することは依然として課題です。
パフォーマンスの比較は多くの場合、評価指標と分析対象のデータセットに依存するため、普遍的に最適なモデルの選択には議論の余地があります。
この研究では、LSTM、GRU、マルチヘッド アテンション、および SSM ブロックを統合することで、さまざまなネットワーク アーキテクチャを体系的に設計および評価する、時系列予測のための柔軟な自動フレームワークを紹介します。
多目的最適化アプローチを使用して、当社のフレームワークは、特定の要件と評価目標に合わせてブロックの数、順序、組み合わせを決定します。
結果として得られるパレート最適アーキテクチャから、ユーザー定義の優先関数を介して、特定のコンテキストに最適なモデルが選択されます。
4 つの異なる現実世界のアプリケーションにわたってフレームワークを検証します。
結果は、トレーニング時間を単独で最小限に抑える場合には、通常、単層 GRU または LSTM が最適であることを示しています。
ただし、精度を最大化したり、複数の目的のバランスをとったりする場合、最適なアーキテクチャは、特定の構成に複数のブロック タイプを組み込んだ複合設計であることがよくあります。
重み付けされた優先関数を採用することで、ユーザーは目的間のトレードオフを解決し、新しいコンテキスト固有の最適なアーキテクチャを明らかにすることができます。
私たちの調査結果は、時系列予測に普遍的に最適な単一のニューラル アーキテクチャはないことを強調しています。
代わりに、最もパフォーマンスの高いモデルは、ユーザー定義の基準と評価目標に合わせて調整されたデータ駆動型の複合アーキテクチャとして現れます。

要約(オリジナル)

Time series forecasting plays a pivotal role in a wide range of applications, including weather prediction, healthcare, structural health monitoring, predictive maintenance, energy systems, and financial markets. While models such as LSTM, GRU, Transformers, and State-Space Models (SSMs) have become standard tools in this domain, selecting the optimal architecture remains a challenge. Performance comparisons often depend on evaluation metrics and the datasets under analysis, making the choice of a universally optimal model controversial. In this work, we introduce a flexible automated framework for time series forecasting that systematically designs and evaluates diverse network architectures by integrating LSTM, GRU, multi-head Attention, and SSM blocks. Using a multi-objective optimization approach, our framework determines the number, sequence, and combination of blocks to align with specific requirements and evaluation objectives. From the resulting Pareto-optimal architectures, the best model for a given context is selected via a user-defined preference function. We validate our framework across four distinct real-world applications. Results show that a single-layer GRU or LSTM is usually optimal when minimizing training time alone. However, when maximizing accuracy or balancing multiple objectives, the best architectures are often composite designs incorporating multiple block types in specific configurations. By employing a weighted preference function, users can resolve trade-offs between objectives, revealing novel, context-specific optimal architectures. Our findings underscore that no single neural architecture is universally optimal for time series forecasting. Instead, the best-performing model emerges as a data-driven composite architecture tailored to user-defined criteria and evaluation objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google