How Safe Am I Given What I See? Calibrated Prediction of Safety Chances for Image-Controlled Autonomy

要約

エンドツーエンド学習は、自律システムを開発するための主要なパラダイムとして浮上しています。
残念ながら、そのパフォーマンスと利便性の反面、安全性の確保というさらに大きな課題が生じています。
この課題の重要な要因は、従来の保証手法が中心となる、低次元で解釈可能な動的状態の概念が存在しないことです。
この論文では、オンラインの安全性予測問題に焦点を当て、低次元状態を必要としない生成世界モデルに基づいた構成可能な学習パイプライン ファミリを提案します。
これらのパイプラインを実装するために、安全性を考慮した潜在表現の学習と、予測に起因する分布シフトの下での安全性ラベルの欠落という課題を克服します。
これらのパイプラインには、等角予測に基づく安全性の可能性予測に対する統計的キャリブレーション保証が付属しています。
私たちは、画像制御システムの 2 つのケーススタディ (レーシング カーとカートポール) について、提案された学習パイプラインの広範な評価を実行します。

要約(オリジナル)

End-to-end learning has emerged as a major paradigm for developing autonomous systems. Unfortunately, with its performance and convenience comes an even greater challenge of safety assurance. A key factor of this challenge is the absence of the notion of a low-dimensional and interpretable dynamical state, around which traditional assurance methods revolve. Focusing on the online safety prediction problem, this paper proposes a configurable family of learning pipelines based on generative world models, which do not require low-dimensional states. To implement these pipelines, we overcome the challenges of learning safety-informed latent representations and missing safety labels under prediction-induced distribution shift. These pipelines come with statistical calibration guarantees on their safety chance predictions based on conformal prediction. We perform an extensive evaluation of the proposed learning pipelines on two case studies of image-controlled systems: a racing car and a cartpole.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google