AED: Adaptable Error Detection for Few-shot Imitation Policy

要約

私たちは、新しい環境における少数ショット模倣 (FSI) ポリシーの動作エラーを報告する方法、つまり適応型エラー検出 (AED) と呼ばれる新しいタスクを研究します。
周辺地域に深刻な被害を引き起こす可能性があるため、現実世界のシナリオでの FSI ポリシーの適用は制限されます。
したがって、FSI ポリシーがデモンストレーションの意図と一致しない場合にオペレーターに通知するには、堅牢なシステムが必要です。
私たちは、329 の基本環境と 158 の新規環境で構成される、困難な AED タスク用のクロスドメイン ベンチマークを開発しました。
このタスクでは、(1) 新しい環境での動作エラーの検出、(2) 目立った変化が明らかにならないまま動作エラーが発生する、(3) オンライン検出の必要性によりロールアウトの完全な一時情報が欠如している、という 3 つの課題が生じます。
これらの課題に対処するために、正常状態またはエラー状態のポリシー特徴表現における識別可能なパターンを解析するパターン オブザーバー (PrObe) を提案します。その有効性は、提案されたベンチマークで検証されています。
包括的な評価を通じて、PrObe は一貫して強力なベースラインを上回り、広範囲の FSI ポリシーから生じるエラーを特定する堅牢な機能を実証しています。
さらに、提案したタスクと方法論の実用性を検証するために、包括的なアブレーションと実験（エラー修正、デモンストレーションの品質など）を実施します。

要約(オリジナル)

We study how to report few-shot imitation (FSI) policies’ behavior errors in novel environments, a novel task named adaptable error detection (AED). The potential to cause serious damage to surrounding areas limits the application of FSI policies in real-world scenarios. Thus, a robust system is necessary to notify operators when FSI policies are inconsistent with the intent of demonstrations. We develop a cross-domain benchmark for the challenging AED task, consisting of 329 base and 158 novel environments. This task introduces three challenges, including (1) detecting behavior errors in novel environments, (2) behavior errors occurring without revealing notable changes, and (3) lacking complete temporal information of the rollout due to the necessity of online detection. To address these challenges, we propose Pattern Observer (PrObe) to parse discernible patterns in the policy feature representations of normal or error states, whose effectiveness is verified in the proposed benchmark. Through our comprehensive evaluation, PrObe consistently surpasses strong baselines and demonstrates a robust capability to identify errors arising from a wide range of FSI policies. Moreover, we conduct comprehensive ablations and experiments (error correction, demonstration quality, etc.) to validate the practicality of our proposed task and methodology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google