Safety Shielding under Delayed Observation

要約

物理環境で動作するエージェントは、データ送信も環境の感知や作動も瞬時ではないため、入出力信号の遅延に対処できる必要があります。
シールドは、正式な安全仕様の違反を引き起こす可能性のあるアクションを修正することで安全な実行を保証する、Correct-by-Construction ランタイム エンフォーサーです。
安全性を保証することに加えて、シールドはエージェントへの干渉を最小限に抑える必要があります。
したがって、シールドは、将来の干渉が最小限に抑えられるような安全な是正措置を選択する必要があります。
現在のシールド手法では、安全性解析において入力信号の遅延の可能性が考慮されていません。
本稿では、この問題について取り上げます。
私たちは、入力信号の遅延に関する最悪の仮定の下で安全性を保証する \emph{遅延耐性シールド} を計算する合成アルゴリズムを提案します。
また、遅延によって引き起こされる将来のシールド干渉を最小限に抑えるように設計された、複数の是正措置の中から決定するための新しいヒューリスティックも導入します。
さらなる貢献として、リアルなドライビング シミュレーターに初めてシールドを統合したことを紹介します。
遅延シールドをドライビング シミュレータ \textsc{Carla} に実装しました。
さまざまな安全性が重要なシナリオにおいて、潜在的に安全でない自動運転エージェントを保護し、安全性分析に対する遅延の影響を示します。

要約(オリジナル)

Agents operating in physical environments need to be able to handle delays in the input and output signals since neither data transmission nor sensing or actuating the environment are instantaneous. Shields are correct-by-construction runtime enforcers that guarantee safe execution by correcting any action that may cause a violation of a formal safety specification. Besides providing safety guarantees, shields should interfere minimally with the agent. Therefore, shields should pick the safe corrective actions in such a way that future interferences are most likely minimized. Current shielding approaches do not consider possible delays in the input signals in their safety analyses. In this paper, we address this issue. We propose synthesis algorithms to compute \emph{delay-resilient shields} that guarantee safety under worst-case assumptions on the delays of the input signals. We also introduce novel heuristics for deciding between multiple corrective actions, designed to minimize future shield interferences caused by delays. As a further contribution, we present the first integration of shields in a realistic driving simulator. We implemented our delayed shields in the driving simulator \textsc{Carla}. We shield potentially unsafe autonomous driving agents in different safety-critical scenarios and show the effect of delays on the safety analysis.

arxiv情報

著者 Filip Cano Córdoba,Alexander Palmisano,Martin Fränzle,Roderick Bloem,Bettina Könighofer
発行日 2023-07-05 10:06:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI パーマリンク