ReCycle: Fast and Efficient Long Time Series Forecasting with Residual Cyclic Transformers

要約

変換器は、様々なユースケースにおいて精度を向上させることで、長い時系列予測において最近脚光を浴びている。残念なことに、より優れた予測性能を求める競争の中で、モデル・アーキテクチャのオーバーヘッドが増大し、ほとんどの実用的なアプリケーションでは実行不可能な計算要求のモデルにつながっている。高い手法の複雑性と現実的な計算リソースのギャップを埋めるために、我々はResidual Cyclic Transformer、ReCycleを紹介する。ReCycleは、長い時系列における注意メカニズムの計算複雑性に対処するために、一次サイクル圧縮を利用する。洗練された平滑化平均技術から残差を学習することにより、ReCycleは様々なアプリケーションのユースケースにおいて、最先端の精度を上回る。シンプルでありながら頑健な平滑化平均技術によって保証される、信頼性が高く説明可能なフォールバック動作は、さらにユーザーに受け入れられるための障壁を低くします。同時に、我々のアプローチは実行時間とエネルギー消費を1桁以上削減し、低性能、低電力、エッジコンピューティングデバイスで学習と推論の両方を実現可能にしている。コードはhttps://github.com/Helmholtz-AI-Energy/ReCycle。

要約(オリジナル)

Transformers have recently gained prominence in long time series forecasting by elevating accuracies in a variety of use cases. Regrettably, in the race for better predictive performance the overhead of model architectures has grown onerous, leading to models with computational demand infeasible for most practical applications. To bridge the gap between high method complexity and realistic computational resources, we introduce the Residual Cyclic Transformer, ReCycle. ReCycle utilizes primary cycle compression to address the computational complexity of the attention mechanism in long time series. By learning residuals from refined smoothing average techniques, ReCycle surpasses state-of-the-art accuracy in a variety of application use cases. The reliable and explainable fallback behavior ensured by simple, yet robust, smoothing average techniques additionally lowers the barrier for user acceptance. At the same time, our approach reduces the run time and energy consumption by more than an order of magnitude, making both training and inference feasible on low-performance, low-power and edge computing devices. Code is available at https://github.com/Helmholtz-AI-Energy/ReCycle

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL