Robust Conformal Prediction for STL Runtime Verification under Distribution Shift

要約

シミュレーターで設計されたサイバーフィジカル システム (CPS) は、現実世界では異なる動作をします。
したがって、それらが現実世界に展開されたら、実行時のシステム障害を予測したいと考えます。
我々は、一般的な確率的 CPS 用の信号時相論理 (STL) タスクの下で堅牢な予測ランタイム検証 (RPRV) アルゴリズムを提案します。
RPRV 問題は、いくつかの課題に直面しています。(1) 導入された CPS の動作に関する十分なデータがない可能性があります。(2) 予測モデルは、設計段階で遭遇したシステム軌跡にわたる分布に基づいています。つまり、分布が存在する可能性があります。
導入時のシフト。
これらの課題に対処するために、展開時と設計時に分布間の統計的距離 (f ダイバージェンスに関する) の上限がわかっていると仮定し、ロバストな等角予測に基づく手法を利用します。
[1] の結果に基づいて、正確で解釈可能な RPRV アルゴリズムを構築します。
軌道予測モデルを使用して実行時のシステム動作を推定し、堅牢な等角予測を使用して分布のシフトを考慮して確率的な保証を取得します。
当社は、校正データ、望ましい信頼性、および許容される分布シフトの間の関係を正確に定量化します。
私たちの知る限り、これらは、この設定での分布シフトの下で統計的に有効な最初のアルゴリズムです。
NVIDIA Isaac sim 環境内の Franka マニピュレーターでアルゴリズムを経験的に検証します。

要約(オリジナル)

Cyber-physical systems (CPS) designed in simulators behave differently in the real-world. Once they are deployed in the real-world, we would hence like to predict system failures during runtime. We propose robust predictive runtime verification (RPRV) algorithms under signal temporal logic (STL) tasks for general stochastic CPS. The RPRV problem faces several challenges: (1) there may not be sufficient data of the behavior of the deployed CPS, (2) predictive models are based on a distribution over system trajectories encountered during the design phase, i.e., there may be a distribution shift during deployment. To address these challenges, we assume to know an upper bound on the statistical distance (in terms of an f-divergence) between the distributions at deployment and design time, and we utilize techniques based on robust conformal prediction. Motivated by our results in [1], we construct an accurate and an interpretable RPRV algorithm. We use a trajectory prediction model to estimate the system behavior at runtime and robust conformal prediction to obtain probabilistic guarantees by accounting for distribution shifts. We precisely quantify the relationship between calibration data, desired confidence, and permissible distribution shift. To the best of our knowledge, these are the first statistically valid algorithms under distribution shift in this setting. We empirically validate our algorithms on a Franka manipulator within the NVIDIA Isaac sim environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google