Time-Series Forecasting in Smart Manufacturing Systems: An Experimental Evaluation of the State-of-the-art Algorithms

要約

TSF は製造業を含むさまざまな領域で成長しています。
最近、多数の TSF アルゴリズムが開発されていますが、アルゴリズムの検証と評価は研究者や実践者にとって重要な価値を持っていますが、不足しています。
この研究は、製造における適用性に焦点を当て、13 の製造データセットで SoTA TSF アルゴリズムを評価することで、このギャップを埋めることを目的としています。
各アルゴリズムは、アルゴリズムの代表的なセットを確保するために、TSF カテゴリに基づいて選択されました。
評価には、2 つの問題カテゴリと 2 つの予測期間を使用してモデルを評価するためのさまざまなシナリオが含まれています。
パフォーマンスを評価するために、WAPE が計算され、観察された差異の重要性を評価するために追加の事後分析が実行されました。
オープンソース ライブラリのコードを使用したアルゴリズムのみが利用され、ハイパーパラメーターの調整は行われませんでした。
これにより、アルゴリズムを簡単に実装できる「すぐに使える」ソリューションとして評価することができ、技術的知識が限られた実務者でも製造現場で使いやすさを確保できました。
これは、スマート製造システムでのこれらの技術の導入を促進するために調整されます。
結果に基づくと、トランスフォーマーおよび MLP ベースのアーキテクチャが最高のパフォーマンスを示し、MLP ベースのアーキテクチャがほとんどのシナリオで勝利を収めました。
単変量 TSF の場合は、PatchTST が特に長期的に最も堅牢であることが判明しましたが、多変量問題の場合は、N-HITS や TiDE などの MLP ベースのアーキテクチャが優れた結果を示しました。
この研究により、XGBoost のような単純なアルゴリズムが、特定のタスクでは複雑なアルゴリズムよりも優れたパフォーマンスを発揮できることが明らかになりました。
これらの発見は、より洗練されたモデルがより良い結果を生み出すという仮定に疑問を投げかけます。
さらに、この調査では、アルゴリズムごとに実行時間とメモリ使用量が異なることを示し、計算リソースを考慮することの重要性が強調されています。

要約(オリジナル)

TSF is growing in various domains including manufacturing. Although numerous TSF algorithms have been developed recently, the validation and evaluation of algorithms hold substantial value for researchers and practitioners and are missing. This study aims to fill this gap by evaluating the SoTA TSF algorithms on thirteen manufacturing datasets, focusing on their applicability in manufacturing. Each algorithm was selected based on its TSF category to ensure a representative set of algorithms. The evaluation includes different scenarios to evaluate the models using two problem categories and two forecasting horizons. To evaluate the performance, the WAPE was calculated, and additional post hoc analyses were conducted to assess the significance of observed differences. Only algorithms with codes from open-source libraries were utilized, and no hyperparameter tuning was done. This allowed us to evaluate the algorithms as ‘out-of-the-box’ solutions that can be easily implemented, ensuring their usability within the manufacturing by practitioners with limited technical knowledge. This aligns to facilitate the adoption of these techniques in smart manufacturing systems. Based on the results, transformer and MLP-based architectures demonstrated the best performance with MLP-based architecture winning the most scenarios. For univariate TSF, PatchTST emerged as the most robust, particularly for long-term horizons, while for multivariate problems, MLP-based architectures like N-HITS and TiDE showed superior results. The study revealed that simpler algorithms like XGBoost could outperform complex algorithms in certain tasks. These findings challenge the assumption that more sophisticated models produce better results. Additionally, the research highlighted the importance of computational resource considerations, showing variations in runtime and memory usage across different algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google