Flow Matching Imitation Learning for Multi-Support Manipulation

要約

ヒューマノイドロボットは、上半身をサポート接触に使用することで、作業スペース、安定性、および接触の多い作業や押す作業を実行する能力を強化することで恩恵を受ける可能性があります。
この論文では、最適化ベースの多接触全身コントローラーと、模倣学習用のマルチモーダル軌道分布を生成できる最近導入された手法であるフロー マッチングを組み合わせた統合アプローチを提案します。
シミュレーションでは、フロー マッチングが拡散や従来の動作クローン作成よりもロボット工学に適していることを示します。
実際のフルサイズの人型ロボット (Talos) を使用して、私たちのアプローチが全身を使って掴みにくい箱を押すタスクを学習できること、およびロボットがバランスを取るために必要なときに空いた手で接触を追加することで食器洗い機の引き出しを閉めることができることを実証しました。
また、遠隔操作支援のための共有自律モードも導入し、デモンストレーションでカバーされていないタスクの自動連絡先配置を提供します。
完全な実験ビデオは、https://hucebot.github.io/flow_multisupport_website/ から入手できます。

要約(オリジナル)

Humanoid robots could benefit from using their upper bodies for support contacts, enhancing their workspace, stability, and ability to perform contact-rich and pushing tasks. In this paper, we propose a unified approach that combines an optimization-based multi-contact whole-body controller with Flow Matching, a recently introduced method capable of generating multi-modal trajectory distributions for imitation learning. In simulation, we show that Flow Matching is more appropriate for robotics than Diffusion and traditional behavior cloning. On a real full-size humanoid robot (Talos), we demonstrate that our approach can learn a whole-body non-prehensile box-pushing task and that the robot can close dishwasher drawers by adding contacts with its free hand when needed for balance. We also introduce a shared autonomy mode for assisted teleoperation, providing automatic contact placement for tasks not covered in the demonstrations. Full experimental videos are available at: https://hucebot.github.io/flow_multisupport_website/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google