要約
最近の生成的ワールドモデルの進歩により、ハミルトン-ヤコビ(HJ)到達可能性のような古典的な安全制御手法を、高次元のセンサ観測から直接動作する複雑なロボットシステムに一般化することが可能になった。しかし、ワールドモデルの学習において、全てのセーフティクリティカルなシナリオを包括的にカバーすることは非常に困難である。その結果、これらのモデルの上に構築された潜在的な安全フィルタは、新しいハザードを見落としたり、既知のハザードを防げなかったりする可能性がある。この問題に対処するため、我々は不確実性を考慮した潜在的安全フィルタを導入し、既知および未知の故障からロボットを積極的に遠ざける。我々の重要なアイデアは、世界モデルの認識論的不確実性を、目に見えない潜在的危険を特定するための代理として利用することである。我々は、適合予測を介して不確実性の閾値を較正することにより、OODワールドモデルの予測を検出する原理的な方法を提案する。潜在的表現と認識論的不確実性の両方にまたがる拡張された状態空間において到達可能性分析を行うことにより、既知および未知の安全ハザードの両方から任意のポリシーを確実に保護できる潜在的安全フィルタを合成する。Frankaマニピュレータを用いた視覚ベースの制御タスクに関するシミュレーションとハードウェア実験において、我々の不確実性を考慮した安全フィルタが潜在的な安全でないシナリオを先取りして検出し、安全な分配内アクションを確実に提案することを示す。ビデオの結果は、プロジェクトのウェブサイト https://cmu-intentlab.github.io/UNISafe で見ることができます。
要約(オリジナル)
Recent advances in generative world models have enabled classical safe control methods, such as Hamilton-Jacobi (HJ) reachability, to generalize to complex robotic systems operating directly from high-dimensional sensor observations. However, obtaining comprehensive coverage of all safety-critical scenarios during world model training is extremely challenging. As a result, latent safety filters built on top of these models may miss novel hazards and even fail to prevent known ones, overconfidently misclassifying risky out-of-distribution (OOD) situations as safe. To address this, we introduce an uncertainty-aware latent safety filter that proactively steers robots away from both known and unseen failures. Our key idea is to use the world model’s epistemic uncertainty as a proxy for identifying unseen potential hazards. We propose a principled method to detect OOD world model predictions by calibrating an uncertainty threshold via conformal prediction. By performing reachability analysis in an augmented state space-spanning both the latent representation and the epistemic uncertainty-we synthesize a latent safety filter that can reliably safeguard arbitrary policies from both known and unseen safety hazards. In simulation and hardware experiments on vision-based control tasks with a Franka manipulator, we show that our uncertainty-aware safety filter preemptively detects potential unsafe scenarios and reliably proposes safe, in-distribution actions. Video results can be found on the project website at https://cmu-intentlab.github.io/UNISafe
arxiv情報
| 著者 | Junwon Seo,Kensuke Nakamura,Andrea Bajcsy |
| 発行日 | 2025-05-01 18:18:17+00:00 |
| arxivサイト | arxiv_id(pdf) |