Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study

要約

ディープラーニング (DL) モデルは時系列予測として注目を集めていますが、これらの手法には堅牢性がないため、サイバーフィジカル システム (CPS) への適用は妨げられています。
したがって、この研究では、CPS からの多変量時系列データに対する DL アーキテクチャの堅牢性と一般化パフォーマンスを評価します。
私たちの調査では、センサーの障害やノイズなどのさまざまな摂動を処理するモデルの能力に焦点を当て、全体的なパフォーマンスへの影響を評価しています。
さらに、これらのモデルを配布外 (OOD) サンプルに公開することで、これらのモデルの一般化および転移学習機能をテストします。
これらには、標準的なシステム動作からの逸脱が含まれますが、基礎となる物理システムの核となるダイナミクスは維持されます。
さらに、ノイズの追加やタイムワーピングなど、いくつかのデータ拡張手法にモデルがどの程度応答するかをテストします。
私たちの実験フレームワークは、CPS データ コンテキストにおける DL アルゴリズムの堅牢性と一般化パフォーマンスを評価するための新しいベンチマークとして提案された、シミュレートされた 3 タンク システムを利用します。
この調査結果により、特定の DL モデル アーキテクチャとトレーニング技術が、OOD サンプルとさまざまな摂動の処理において優れた効果を発揮することが明らかになりました。
これらの洞察は、実際の CPS アプリケーションで信頼性が高く堅牢なパフォーマンスを提供する DL モデルの開発に重要な意味を持ちます。

要約(オリジナル)

Deep learning (DL) models have seen increased attention for time series forecasting, yet the application on cyber-physical systems (CPS) is hindered by the lacking robustness of these methods. Thus, this study evaluates the robustness and generalization performance of DL architectures on multivariate time series data from CPS. Our investigation focuses on the models’ ability to handle a range of perturbations, such as sensor faults and noise, and assesses their impact on overall performance. Furthermore, we test the generalization and transfer learning capabilities of these models by exposing them to out-of-distribution (OOD) samples. These include deviations from standard system operations, while the core dynamics of the underlying physical system are preserved. Additionally, we test how well the models respond to several data augmentation techniques, including added noise and time warping. Our experimental framework utilizes a simulated three-tank system, proposed as a novel benchmark for evaluating the robustness and generalization performance of DL algorithms in CPS data contexts. The findings reveal that certain DL model architectures and training techniques exhibit superior effectiveness in handling OOD samples and various perturbations. These insights have significant implications for the development of DL models that deliver reliable and robust performance in real-world CPS applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google