Whole-Body Teleoperation for Mobile Manipulation at Zero Added Cost

要約

デモデータは、複雑な行動を学び、ロボット基礎モデルをトレーニングする上で重要な役割を果たします。
静的マニピュレーターには効果的な制御インターフェイスが存在しますが、データ収集は、多数の自由度のために、モバイルマニピュレーターにとって面倒で時間がかかっています。
特殊なハードウェア、アバター、またはモーショントラッキングは全身制御を可能にすることができますが、これらのアプローチは高価、ロボット固有の、またはロボットと人間のデモンストレーターの間の具体化の不一致に苦しんでいます。
この作業では、既存のインターフェイスからエンドエフェクターの動きを推進し、以前に開発された強化学習エージェントに基本的な動きを委任する新しいテレオ操作方法であるMoMA-Teleopを提示し、オペレーターはタスク関連のエンドエフェクターに完全に焦点を合わせます。
動き。
これにより、ジョイスティックやハンドガイダンスなどの標準的なインターフェイスを介して、追加のハードウェアまたはセットアップコストを持たないモバイルマニピュレーターの全身テレオ操作が可能になります。
さらに、オペレーターは追跡されたワークスペースにバインドされておらず、空間的に拡張されたタスクを介してロボットを使用して自由に移動できます。
私たちのアプローチは、さまざまなロボットやタスクにわたってタスクの完了時間を大幅に短縮することを実証します。
生成されたデータは、具体化の不一致なしに多様な全身の動きをカバーするため、効率的な模倣学習を可能にします。
タスク固有のエンドエフェクターの動きに焦点を当てることにより、私たちのアプローチは、わずか5つのデモンストレーションから、新しい障害物やオブジェクトの位置の変更などの目に見えない設定に移行するスキルを学びます。
https://moma-teleop.cs.uni-freiburg.deでコードとビデオを利用できます。

要約(オリジナル)

Demonstration data plays a key role in learning complex behaviors and training robotic foundation models. While effective control interfaces exist for static manipulators, data collection remains cumbersome and time intensive for mobile manipulators due to their large number of degrees of freedom. While specialized hardware, avatars, or motion tracking can enable whole-body control, these approaches are either expensive, robot-specific, or suffer from the embodiment mismatch between robot and human demonstrator. In this work, we present MoMa-Teleop, a novel teleoperation method that infers end-effector motions from existing interfaces and delegates the base motions to a previously developed reinforcement learning agent, leaving the operator to focus fully on the task-relevant end-effector motions. This enables whole-body teleoperation of mobile manipulators with no additional hardware or setup costs via standard interfaces such as joysticks or hand guidance. Moreover, the operator is not bound to a tracked workspace and can move freely with the robot over spatially extended tasks. We demonstrate that our approach results in a significant reduction in task completion time across a variety of robots and tasks. As the generated data covers diverse whole-body motions without embodiment mismatch, it enables efficient imitation learning. By focusing on task-specific end-effector motions, our approach learns skills that transfer to unseen settings, such as new obstacles or changed object positions, from as little as five demonstrations. We make code and videos available at https://moma-teleop.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google