Uncertainty Comes for Free: Human-in-the-Loop Policies with Diffusion Models

要約

Human-in-the-Loop（HITL）ロボットの展開は、人間のオペレーターが展開時にロボット行動を介入して調整し、成功率を改善できる半自律的なパラダイムとして、学界と産業の両方で大きな注目を集めています。
ただし、継続的な人間の監視と介入は、多数のロボットを展開する際に非常に労働集約的で非実用的である可能性があります。
この制限に対処するために、拡散ポリシーが必要な場合にのみ積極的に人間の援助を求めることを可能にする方法を提案し、絶え間ない人間の監視への依存を減らします。
これを達成するために、拡散ポリシーの生成プロセスを活用して、トレーニング中にオペレーターの相互作用を必要とせずに、自律剤が展開時間にオペレーターの支援を要求することを決定できる不確実性ベースのメトリックを計算します。
さらに、自律性のパフォーマンスを向上させるために、微調整拡散ポリシーの効率的なデータ収集に同じ方法を使用できることを示します。
シミュレートされた現実世界環境からの実験結果は、さまざまなシナリオの展開中のポリシーパフォーマンスを強化することを示しています。

要約(オリジナル)

Human-in-the-loop (HitL) robot deployment has gained significant attention in both academia and industry as a semi-autonomous paradigm that enables human operators to intervene and adjust robot behaviors at deployment time, improving success rates. However, continuous human monitoring and intervention can be highly labor-intensive and impractical when deploying a large number of robots. To address this limitation, we propose a method that allows diffusion policies to actively seek human assistance only when necessary, reducing reliance on constant human oversight. To achieve this, we leverage the generative process of diffusion policies to compute an uncertainty-based metric based on which the autonomous agent can decide to request operator assistance at deployment time, without requiring any operator interaction during training. Additionally, we show that the same method can be used for efficient data collection for fine-tuning diffusion policies in order to improve their autonomous performance. Experimental results from simulated and real-world environments demonstrate that our approach enhances policy performance during deployment for a variety of scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google