Haptic-ACT: Bridging Human Intuition with Compliant Robotic Manipulation via Immersive VR

要約

ロボットの操作は、産業や家庭でのロボットの普及に不可欠なものであり、ロボット工学の分野では長い間注目されてきた。人工知能の進歩により、この課題に対処するための有望な学習ベースの手法が導入され、模倣学習が特に効果的であることが分かってきた。しかし、高品質のデモンストレーションを効率的に取得することは依然として課題である。本研究では、遠隔地にいる人間の実演を収集するために設計された、没入型VRベースの遠隔操作セットアップを紹介する。また、Haptic Action Chunking with Transformers（Haptic-ACT）と呼ばれる模倣学習フレームワークを提案する。本プラットフォームを評価するために、ピックアンドプレースタスクを実施し、50のデモンストレーションエピソードを収集した。その結果、没入型VRプラットフォームは、触覚フィードバックのないシステムと比較して、デモ者の指先の力を大幅に減少させ、より繊細な操作を可能にすることが示された。さらに、MuJoCoシミュレータと実際のロボットの両方でHaptic-ACTフレームワークを評価した結果、オリジナルのACTと比較して、よりコンプライアントな操作をロボットに教える上で有効であることが実証されました。追加資料はhttps://sites.google.com/view/hapticact。

要約(オリジナル)

Robotic manipulation is essential for the widespread adoption of robots in industrial and home settings and has long been a focus within the robotics community. Advances in artificial intelligence have introduced promising learning-based methods to address this challenge, with imitation learning emerging as particularly effective. However, efficiently acquiring high-quality demonstrations remains a challenge. In this work, we introduce an immersive VR-based teleoperation setup designed to collect demonstrations from a remote human user. We also propose an imitation learning framework called Haptic Action Chunking with Transformers (Haptic-ACT). To evaluate the platform, we conducted a pick-and-place task and collected 50 demonstration episodes. Results indicate that the immersive VR platform significantly reduces demonstrator fingertip forces compared to systems without haptic feedback, enabling more delicate manipulation. Additionally, evaluations of the Haptic-ACT framework in both the MuJoCo simulator and on a real robot demonstrate its effectiveness in teaching robots more compliant manipulation compared to the original ACT. Additional materials are available at https://sites.google.com/view/hapticact.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL