VQ-ACE: Efficient Policy Search for Dexterous Robotic Manipulation via Action Chunking Embedding

要約

手での操作や物体の把握などのタスクに必要な手の動きは高次元で複雑であるため、ロボットの器用な操作は依然として大きな課題です。
この論文では、人間の手の動きを量子化された潜在空間に圧縮する新しいフレームワークである Vector Quantized Action Chunking Embedding (VQ-ACE) を導入することでこの問題に対処し、主要な動きの特徴を維持しながらアクション空間の次元を大幅に削減します。
VQ-ACE をモデル予測制御 (MPC) と強化学習 (RL) の両方と統合することで、生体模倣ロボット ハンドを使用した器用な操作タスクにおけるより効率的な探索とポリシー学習が可能になります。
私たちの結果は、MPC を使用した潜在空間サンプリングにより、ボールの転がりやオブジェクトのピッキングなどのタスクにおいてより人間に近い動作が生成され、タスクの成功率が向上し、制御コストが削減されることが示されました。
RL の場合、アクション チャンクは学習を加速し、探索を改善します。これは、キューブのスタッキングや手元でのキューブの再配置などのタスクにおける収束の高速化を通じて実証されています。
これらの発見は、VQ-ACE が複雑で高次元の状態空間を含むロボット操作タスクにスケーラブルで効果的なソリューションを提供し、より自然で適応性のあるロボット システムに貢献することを示唆しています。

要約(オリジナル)

Dexterous robotic manipulation remains a significant challenge due to the high dimensionality and complexity of hand movements required for tasks like in-hand manipulation and object grasping. This paper addresses this issue by introducing Vector Quantized Action Chunking Embedding (VQ-ACE), a novel framework that compresses human hand motion into a quantized latent space, significantly reducing the action space’s dimensionality while preserving key motion characteristics. By integrating VQ-ACE with both Model Predictive Control (MPC) and Reinforcement Learning (RL), we enable more efficient exploration and policy learning in dexterous manipulation tasks using a biomimetic robotic hand. Our results show that latent space sampling with MPC produces more human-like behavior in tasks such as Ball Rolling and Object Picking, leading to higher task success rates and reduced control costs. For RL, action chunking accelerates learning and improves exploration, demonstrated through faster convergence in tasks like cube stacking and in-hand cube reorientation. These findings suggest that VQ-ACE offers a scalable and effective solution for robotic manipulation tasks involving complex, high-dimensional state spaces, contributing to more natural and adaptable robotic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google