Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning

要約

遠隔操作は人間の実演を収集するための重要なツールであるが、両手を器用に使うロボットの制御は依然として難題である。既存の遠隔操作システムは、複雑な操作のために両手を協調させる複雑さを扱うのに苦労している。我々は、VRヘッドセットを活用したリアルタイム両手遠隔操作システムBunny-VisionProを紹介する。従来の視覚ベースの遠隔操作システムとは異なり、我々は、操作者に触覚フィードバックを提供し、没入感を高めるための斬新な低コストデバイスを設計している。我々のシステムは、革新的な設計によりリアルタイム性能を維持しながら、衝突回避と特異点回避を組み込むことで安全性を優先している。Bunny-VisionProは、標準的なタスクスイートで先行システムを凌駕し、高い成功率とタスク完了時間の短縮を達成した。さらに、高品質な遠隔操作デモンストレーションは、下流の模倣学習性能を向上させ、より優れた汎化可能性につながります。特に、Bunny-VisionProは、これまでの研究ではほとんど扱われてこなかった、困難な多段階、長ホライズンの器用な操作タスクの模倣学習を可能にする。本システムは、安全性とリアルタイム性を優先しつつ、両手操作を扱うことができるため、器用な操作と模倣学習を進歩させる強力なツールとなる。

要約(オリジナル)

Teleoperation is a crucial tool for collecting human demonstrations, but controlling robots with bimanual dexterous hands remains a challenge. Existing teleoperation systems struggle to handle the complexity of coordinating two hands for intricate manipulations. We introduce Bunny-VisionPro, a real-time bimanual dexterous teleoperation system that leverages a VR headset. Unlike previous vision-based teleoperation systems, we design novel low-cost devices to provide haptic feedback to the operator, enhancing immersion. Our system prioritizes safety by incorporating collision and singularity avoidance while maintaining real-time performance through innovative designs. Bunny-VisionPro outperforms prior systems on a standard task suite, achieving higher success rates and reduced task completion times. Moreover, the high-quality teleoperation demonstrations improve downstream imitation learning performance, leading to better generalizability. Notably, Bunny-VisionPro enables imitation learning with challenging multi-stage, long-horizon dexterous manipulation tasks, which have rarely been addressed in previous work. Our system’s ability to handle bimanual manipulations while prioritizing safety and real-time performance makes it a powerful tool for advancing dexterous manipulation and imitation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL