Quantifying Robustness: A Benchmarking Framework for Deep Learning Forecasting in Cyber-Physical Systems

要約

製造業やエネルギー供給などの領域におけるサイバーフィジカルシステム（CPS）は、予後・健康管理（PGM）に不可欠な複雑な時系列データを生成する。ディープラーニング（DL）手法は強力な予測能力を実証していますが、ロバスト性が不十分なため、産業用CPSでの採用は依然として限定的です。既存のロバスト性評価は、主に形式的検証または敵対的摂動に焦点を当てており、実世界のCPSシナリオで遭遇する複雑性を十分に表現できていません。この問題に対処するため、我々は、産業用CPSに明示的に合わせた分布ロバスト性に基づく実用的なロバスト性の定義を導入し、ロバスト性評価のための体系的なフレームワークを提案する。我々のフレームワークは、センサードリフト、ノイズ、不規則なサンプリングなどの現実的な外乱をシミュレートし、実世界のCPSデータセットにおける予測モデルの徹底的なロバスト性分析を可能にする。ロバスト性の定義は、多様なデータセットにおけるモデル性能を定量化し比較するための標準化されたスコアを提供し、情報に基づいたモデル選択とアーキテクチャ設計を支援する。著名なDLアーキテクチャ（リカレント、畳み込み、アテンションベース、モジュラー、構造化状態空間モデルなど）を評価する広範な実証研究を通じて、本アプローチの適用性と有効性を実証する。さらなる研究と再現性を奨励するため、頑健性ベンチマークを公開する。

要約(オリジナル)

Cyber-Physical Systems (CPS) in domains such as manufacturing and energy distribution generate complex time series data crucial for Prognostics and Health Management (PHM). While Deep Learning (DL) methods have demonstrated strong forecasting capabilities, their adoption in industrial CPS remains limited due insufficient robustness. Existing robustness evaluations primarily focus on formal verification or adversarial perturbations, inadequately representing the complexities encountered in real-world CPS scenarios. To address this, we introduce a practical robustness definition grounded in distributional robustness, explicitly tailored to industrial CPS, and propose a systematic framework for robustness evaluation. Our framework simulates realistic disturbances, such as sensor drift, noise and irregular sampling, enabling thorough robustness analyses of forecasting models on real-world CPS datasets. The robustness definition provides a standardized score to quantify and compare model performance across diverse datasets, assisting in informed model selection and architecture design. Through extensive empirical studies evaluating prominent DL architectures (including recurrent, convolutional, attention-based, modular, and structured state-space models) we demonstrate the applicability and effectiveness of our approach. We publicly release our robustness benchmark to encourage further research and reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL