Learning Novel Transformer Architecture for Time-series Forecasting

要約

タイムシリーズ予測（TSP）タスクにおけるトランスベースのモデルの成功にもかかわらず、既存の変圧器アーキテクチャは依然として制限に直面しており、文献には代替アーキテクチャへの包括的な調査がありません。
これらの課題に対処するために、TSPタスクに合わせたトランスアーキテクチャの包括的な検索スペースを活用する新しいフレームワークであるAutoformer-TSを提案します。
私たちのフレームワークでは、微分可能なニューラルアーキテクチャ検索（DNAS）メソッド、AB-DARTSを紹介します。これは、アーキテクチャ内の最適な操作の識別を強化することにより、既存のDNASアプローチを改善します。
AutoFormer-TSは、代替の注意メカニズム、活性化機能、およびエンコード操作を体系的に調査し、従来の変圧器設計を超えて移動します。
広範な実験は、Autoformer-TSが一貫してさまざまなTSPベンチマークにわたって最先端のベースラインを上回り、合理的なトレーニング効率を維持しながら優れた予測精度を達成することを示しています。

要約(オリジナル)

Despite the success of Transformer-based models in the time-series prediction (TSP) tasks, the existing Transformer architecture still face limitations and the literature lacks comprehensive explorations into alternative architectures. To address these challenges, we propose AutoFormer-TS, a novel framework that leverages a comprehensive search space for Transformer architectures tailored to TSP tasks. Our framework introduces a differentiable neural architecture search (DNAS) method, AB-DARTS, which improves upon existing DNAS approaches by enhancing the identification of optimal operations within the architecture. AutoFormer-TS systematically explores alternative attention mechanisms, activation functions, and encoding operations, moving beyond the traditional Transformer design. Extensive experiments demonstrate that AutoFormer-TS consistently outperforms state-of-the-art baselines across various TSP benchmarks, achieving superior forecasting accuracy while maintaining reasonable training efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google