mimic-one: a Scalable Model Recipe for General Purpose Robot Dexterity

要約

サンプル効率の良い学習とスムーズな細かい運動行動推論のために設計された、非常に器用なヒューマノイドロボットハンドの実際の制御のための拡散ベースのモデルレシピを提示します。
私たちのシステムは、広角リストカメラを装備し、フランカエミカパンダアームに取り付けられた、新しく設計された16ドフ腱駆動型の手を備えています。
グローブベースとVRインターフェイスの両方を使用して、汎用性の高いテレオ操作パイプラインとデータ収集プロトコルを開発し、ピックや場所、アイテムの並べ替え、アセンブリ挿入などの多様なタスク全体で高品質のデータ収集を可能にします。
高周波生成制御を活用して、生の感覚入力からエンドツーエンドのポリシーをトレーニングし、複雑な操作シナリオでスムーズで自己修正する動きを可能にします。
現実世界の評価は、分布の成功率から最大93.3％を示しており、緊急の自己修正行動のために最大33.3％のパフォーマンスが向上し、政策パフォーマンスのスケーリング傾向も明らかにします。
私たちの結果は、ハードウェア、学習、現実世界の展開に対する完全に統合された実用的なアプローチを通じて、器用なロボット操作の最先端を前進させます。

要約(オリジナル)

We present a diffusion-based model recipe for real-world control of a highly dexterous humanoid robotic hand, designed for sample-efficient learning and smooth fine-motor action inference. Our system features a newly designed 16-DoF tendon-driven hand, equipped with wide angle wrist cameras and mounted on a Franka Emika Panda arm. We develop a versatile teleoperation pipeline and data collection protocol using both glove-based and VR interfaces, enabling high-quality data collection across diverse tasks such as pick and place, item sorting and assembly insertion. Leveraging high-frequency generative control, we train end-to-end policies from raw sensory inputs, enabling smooth, self-correcting motions in complex manipulation scenarios. Real-world evaluations demonstrate up to 93.3% out of distribution success rates, with up to a +33.3% performance boost due to emergent self-correcting behaviors, while also revealing scaling trends in policy performance. Our results advance the state-of-the-art in dexterous robotic manipulation through a fully integrated, practical approach to hardware, learning, and real-world deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google