Train Robots in a JIF: Joint Inverse and Forward Dynamics with Human and Robot Demonstrations

要約

ロボットデモンストレーションの大規模なデータセットの事前トレーニングは、多様な操作スキルを学ぶための強力な手法ですが、特に触覚フィードバックを必要とするタスクのために、ロボット中心のデータを収集する高コストと複雑さによって制限されることがよくあります。
この研究は、マルチモーダルの人間のデモを使用してトレーニング前の新しい方法を導入することにより、これらの課題に対処します。
私たちのアプローチは、操作操作の特定の表現を学習するために、潜在状態表現を抽出するための逆および前方のダイナミクスを共同で学習します。
これにより、少数のロボットデモンストレーションのみで効率的な微調整が可能になり、データ効率が大幅に向上します。
さらに、我々の方法では、視力の組み合わせや操作のためのタッチの組み合わせなど、マルチモーダルデータを使用できます。
潜在的なダイナミクスのモデリングと触覚センシングを活用することにより、このアプローチは、人間のデモンストレーションに基づいてスケーラブルなロボット操作学習の道を開きます。

要約(オリジナル)

Pre-training on large datasets of robot demonstrations is a powerful technique for learning diverse manipulation skills but is often limited by the high cost and complexity of collecting robot-centric data, especially for tasks requiring tactile feedback. This work addresses these challenges by introducing a novel method for pre-training with multi-modal human demonstrations. Our approach jointly learns inverse and forward dynamics to extract latent state representations, towards learning manipulation specific representations. This enables efficient fine-tuning with only a small number of robot demonstrations, significantly improving data efficiency. Furthermore, our method allows for the use of multi-modal data, such as combination of vision and touch for manipulation. By leveraging latent dynamics modeling and tactile sensing, this approach paves the way for scalable robot manipulation learning based on human demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google