Sampling-Based Model Predictive Control for Dexterous Manipulation on a Biomimetic Tendon-Driven Hand

要約

バイオミメティックでコンプライアントなロボットハンドは、人間のような器用さを実現する可能性を秘めているが、高次元性、複雑な接触相互作用、状態推定における不確実性のため、その制御は困難である。物理シミュレータをダイナミクスモデルとして使用するサンプリングベースのモデル予測制御（MPC）は、接触リッチな挙動を生成するための有望なアプローチである。しかし、サンプリングに基づくMPCは、物理的な（シミュレーションされていない）ロボットハンド、特に状態の不確実性があるコンプライアントハンドでは、まだ評価されていない。我々は、サンプリングベースMPCを用いた、物理的な生体模倣腱駆動ロボットハンド上でのインハンドマニピュレーションの最初の成功例を示す。サンプリングベースのMPCは、強化学習アプローチのような長時間の学習サイクルを必要としないが、物理的ハードウェア上でのロバストな動作実行を保証するために、タスク固有の目的関数を適合させる必要がある。目的関数を適合させるために、我々はビジュアル言語モデル（VLM）をリアルタイム最適化器（MuJoCo MPC）と統合します。VLMには、タスクのハイレベルな人間の言語記述と、手の現在の動作のビデオを提供します。VLMは目的関数を徐々に適応させ、効率的な動作生成を可能にし、各反復にかかる時間は2分未満である。実験では、手の平均ボール転がり速度は0.35rad/s、ボール反転は成功し、キャッチは67%の成功率で達成した。この結果は、サンプリングベースのMPCが、大規模なトレーニングサイクルを必要とせずに、バイオミメティックハンドに器用な操作スキルを生成するための有望なアプローチであることを示している。

要約(オリジナル)

Biomimetic and compliant robotic hands offer the potential for human-like dexterity, but controlling them is challenging due to high dimensionality, complex contact interactions, and uncertainties in state estimation. Sampling-based model predictive control (MPC), using a physics simulator as the dynamics model, is a promising approach for generating contact-rich behavior. However, sampling-based MPC has yet to be evaluated on physical (non-simulated) robotic hands, particularly on compliant hands with state uncertainties. We present the first successful demonstration of in-hand manipulation on a physical biomimetic tendon-driven robot hand using sampling-based MPC. While sampling-based MPC does not require lengthy training cycles like reinforcement learning approaches, it still necessitates adapting the task-specific objective function to ensure robust behavior execution on physical hardware. To adapt the objective function, we integrate a visual language model (VLM) with a real-time optimizer (MuJoCo MPC). We provide the VLM with a high-level human language description of the task, and a video of the hand’s current behavior. The VLM gradually adapts the objective function, allowing for efficient behavior generation, with each iteration taking less than two minutes. In our experiments, the hand achieves an average ball rolling speed of 0.35 rad/s, successful ball flips, and catching with a 67% success rate. Our results demonstrate that sampling-based MPC is a promising approach for generating dexterous manipulation skills on biomimetic hands without extensive training cycles.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL