IMLE Policy: Fast and Sample Efficient Visuomotor Policy Learning via Implicit Maximum Likelihood Estimation

要約

模倣学習の最近の進歩、特に拡散などの生成モデリング手法を使用して、ポリシーが複雑なマルチモーダルアクション分布をキャプチャできるようになりました。
ただし、これらの方法では、多くの場合、アクション生成のための大きなデータセットと複数の推論ステップが必要であり、データ収集のコストが高く、計算リソースが限られているロボット工学の課題を提起します。
これに対処するために、暗黙の最尤推定（IMLE）に基づいた新しい行動クローンアプローチであるIMLEポリシーを紹介します。
IMLEポリシーは、低データ体制で優れており、最小限のデモンストレーションから効果的に学習し、複雑なマルチモーダル行動の学習におけるベースラインメソッドのパフォーマンスに合わせて平均38％少ないデータを必要とします。
そのシンプルなジェネレーターベースのアーキテクチャにより、シングルステップのアクション生成が可能になり、拡散ポリシーと比較して97.3 \％の推論速度が改善され、単一ステップのフローマッチングを上回ります。
シミュレートされた環境と実際の環境での多様な操作タスク全体でアプローチを検証し、データ制約の下で複雑な動作をキャプチャする能力を示します。
ビデオとコードは、プロジェクトページhttps://imle-policy.github.io/で提供されています。

要約(オリジナル)

Recent advances in imitation learning, particularly using generative modelling techniques like diffusion, have enabled policies to capture complex multi-modal action distributions. However, these methods often require large datasets and multiple inference steps for action generation, posing challenges in robotics where the cost for data collection is high and computation resources are limited. To address this, we introduce IMLE Policy, a novel behaviour cloning approach based on Implicit Maximum Likelihood Estimation (IMLE). IMLE Policy excels in low-data regimes, effectively learning from minimal demonstrations and requiring 38\% less data on average to match the performance of baseline methods in learning complex multi-modal behaviours. Its simple generator-based architecture enables single-step action generation, improving inference speed by 97.3\% compared to Diffusion Policy, while outperforming single-step Flow Matching. We validate our approach across diverse manipulation tasks in simulated and real-world environments, showcasing its ability to capture complex behaviours under data constraints. Videos and code are provided on our project page: https://imle-policy.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google