Tolerance of Reinforcement Learning Controllers against Deviations in Cyber Physical Systems

要約

強化学習 (RL) ベースのコントローラーを備えたサイバーフィジカル システム (CPS) は、自動運転車、モノのインターネット (IoT)、スマート シティなどの複雑な物理環境に導入されることが増えています。
CPS の重要な特性は耐性です。
つまり、実際の動作において起こり得る外乱や不確実性の下でも安全に機能する能力です。
この論文では、システム内で起こり得る偏差の下で、信号時相論理 (STL) を使用して指定された望ましいシステム要件をコントローラーがどの程度満たすことができるかを記述する、新しい表現力豊かな許容誤差の概念を紹介します。
この定義に基づいて、許容誤差偽装問題と呼ばれる新しい分析問題を提案します。この問題には、与えられた要件の違反となる小さな偏差を見つけることが含まれます。
我々は、新しい 2 層シミュレーション ベースの分析フレームワークと、小さな許容差違反を見つけるための新しい検索ヒューリスティックを紹介します。
私たちのアプローチを評価するために、システム内のさまざまな種類の不確実性と外乱を表すようにシステム パラメーターを構成できる一連のベンチマーク問題を構築します。
私たちの評価は、改ざんアプローチとヒューリスティックが小さな許容誤差違反を効果的に検出できることを示しています。

要約(オリジナル)

Cyber-physical systems (CPS) with reinforcement learning (RL)-based controllers are increasingly being deployed in complex physical environments such as autonomous vehicles, the Internet-of-Things(IoT), and smart cities. An important property of a CPS is tolerance; i.e., its ability to function safely under possible disturbances and uncertainties in the actual operation. In this paper, we introduce a new, expressive notion of tolerance that describes how well a controller is capable of satisfying a desired system requirement, specified using Signal Temporal Logic (STL), under possible deviations in the system. Based on this definition, we propose a novel analysis problem, called the tolerance falsification problem, which involves finding small deviations that result in a violation of the given requirement. We present a novel, two-layer simulation-based analysis framework and a novel search heuristic for finding small tolerance violations. To evaluate our approach, we construct a set of benchmark problems where system parameters can be configured to represent different types of uncertainties and disturbancesin the system. Our evaluation shows that our falsification approach and heuristic can effectively find small tolerance violations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google