Efficient Dynamic Shielding for Parametric Safety Specifications

要約

シールドは、AI制御された自律システムの安全性を確保するための有望なアプローチとして浮上しています。
アルゴリズムの目標は、安全性が損なわれる可能性がある場合にAIコントローラーのアクションを監視および介入する必要があるランタイム安全施行ツールであるシールドを計算することです。
従来のシールドは、特定の安全要件のために静的に設計されています。
したがって、動作条件の変化により安全要件が実行時に変更される場合、シールドはゼロから再計算され、致命的な遅延を引き起こす必要があります。
パラメトリック安全仕様の動的シールドを導入します。パラメトリック安全仕様は、実行時に遭遇する可能性のあるすべての可能な安全仕様の簡潔に表されているセットです。
私たちの動的シールドは、特定の安全パラメーターセット向けに静的に設計されており、実行時に真の安全仕様（パラメーターで許容）が明らかになるにつれて動的に適応することができます。
主なアルゴリズムの斬新さは、動的な適応手順にあります。これは、最大の許容性など、標準の安全シールドの既知の機能を利用するシンプルで高速なアルゴリズムです。
未知の地域のロボットナビゲーション問題の実験結果を報告します。そこでは、実行時に新しい障害が発見されるにつれて安全仕様が進化します。
実験では、ダイナミックシールドはオフラインデザインに数分かかり、各ステップでのオンライン適応に数秒から数秒かかりましたが、ブルートフォースオンラインの再構成アプローチは最大5倍遅くなりました。

要約(オリジナル)

Shielding has emerged as a promising approach for ensuring safety of AI-controlled autonomous systems. The algorithmic goal is to compute a shield, which is a runtime safety enforcement tool that needs to monitor and intervene the AI controller’s actions if safety could be compromised otherwise. Traditional shields are designed statically for a specific safety requirement. Therefore, if the safety requirement changes at runtime due to changing operating conditions, the shield needs to be recomputed from scratch, causing delays that could be fatal. We introduce dynamic shields for parametric safety specifications, which are succinctly represented sets of all possible safety specifications that may be encountered at runtime. Our dynamic shields are statically designed for a given safety parameter set, and are able to dynamically adapt as the true safety specification (permissible by the parameters) is revealed at runtime. The main algorithmic novelty lies in the dynamic adaptation procedure, which is a simple and fast algorithm that utilizes known features of standard safety shields, like maximal permissiveness. We report experimental results for a robot navigation problem in unknown territories, where the safety specification evolves as new obstacles are discovered at runtime. In our experiments, the dynamic shields took a few minutes for their offline design, and took between a fraction of a second and a few seconds for online adaptation at each step, whereas the brute-force online recomputation approach was up to 5 times slower.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google