Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies

要約

近年、模倣学習や生成モデリングの進歩、拡散やフローベースのアプローチなど、印象的なロボット操作システムが駆動されています。
ロボットポリシーのパフォーマンスが向上するにつれて、達成可能なタスクの複雑さと時間の範囲も増加し、先験的に予測するのが難しい予期しない多様な障害モードを誘導します。
安全性が批判的な人間の環境で信頼できるポリシーの展開を可能にするために、ポリシーの推論中に信頼できるランタイム障害検出が重要になります。
ただし、ほとんどの既存の故障検出アプローチは、障害モードの事前知識に依存しており、トレーニング中に障害データが必要であり、実用性とスケーラビリティに大きな課題を課します。
これらの制限に応じて、模倣学習ベースのロボット操作における故障検出のためのモジュール式2段階のアプローチであるFail-detectを提示します。
成功したトレーニングデータのみから障害を正確に識別するために、問題を連続的な分散分布（OOD）検出としてフレーム化します。
最初に、ポリシーの障害と相関するスカラー信号にポリシーの入力と出力を蒸留し、認識論的不確実性をキャプチャします。
その後、Fail-retectは、統計的保証を使用した不確実性の定量化のための多用途のフレームワークとして、コンフォーマル予測（CP）を採用します。
経験的には、多様なロボット操作タスクに関する学習および事後スカラー信号候補の両方を徹底的に調査します。
私たちの実験は、特に私たちの新規の流れベースの密度推定器を使用する場合、学んだ信号がほとんど一貫して効果的であることを示しています。
さらに、当社の方法は、最先端の（SOTA）障害検出ベースラインよりも障害をより正確かつ高速に検出します。
これらの結果は、模倣学習ベースのロボットシステムの安全性と信頼性を実世界の展開に向けて進歩させる可能性を強調しています。

要約(オリジナル)

Recent years have witnessed impressive robotic manipulation systems driven by advances in imitation learning and generative modeling, such as diffusion- and flow-based approaches. As robot policy performance increases, so does the complexity and time horizon of achievable tasks, inducing unexpected and diverse failure modes that are difficult to predict a priori. To enable trustworthy policy deployment in safety-critical human environments, reliable runtime failure detection becomes important during policy inference. However, most existing failure detection approaches rely on prior knowledge of failure modes and require failure data during training, which imposes a significant challenge in practicality and scalability. In response to these limitations, we present FAIL-Detect, a modular two-stage approach for failure detection in imitation learning-based robotic manipulation. To accurately identify failures from successful training data alone, we frame the problem as sequential out-of-distribution (OOD) detection. We first distill policy inputs and outputs into scalar signals that correlate with policy failures and capture epistemic uncertainty. FAIL-Detect then employs conformal prediction (CP) as a versatile framework for uncertainty quantification with statistical guarantees. Empirically, we thoroughly investigate both learned and post-hoc scalar signal candidates on diverse robotic manipulation tasks. Our experiments show learned signals to be mostly consistently effective, particularly when using our novel flow-based density estimator. Furthermore, our method detects failures more accurately and faster than state-of-the-art (SOTA) failure detection baselines. These results highlight the potential of FAIL-Detect to enhance the safety and reliability of imitation learning-based robotic systems as they progress toward real-world deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google