RAPID Hand: A Robust, Affordable, Perception-Integrated, Dexterous Manipulation Platform for Generalist Robot Autonomy

要約

このペーパーでは、一般世界のロボットの自律性に対する現実世界のマルチフィンガーロボット操作データを収集するための低コストであるが高度なプラットフォームの希少性について説明します。
それを達成するために、私たちは、コンパクトな20ドーフのハード、堅牢な丸い知覚、および高ドフのテレオ操作インターフェイスが共同で設計されている、共同最適化されたハードウェアとソフトウェアプラットフォームであるラピッドハンドを提案します。
具体的には、ラピッドハンドは、手首に取り付けられた視力、指先触覚センシング、および固有受容をサブ7 MSレイテンシおよび空間アライメントと安定に統合するハードウェアレベルの知覚フレームワークと、コンパクトで実用的なハンドオントロジーとハードウェアレベルの知覚フレームワークを採用しています。
既存のテレオ操作方法が複雑なマルチフィンガーシステムでの精度と安定性と格闘しているため、高度な手で高品質のデモンストレーションを収集することは困難です。
これに対処します。これには、普遍的な作動スキーム、カスタム認識電子機器、および2つのリターゲティング制約を介して、ハンドデザイン、知覚統合、およびテレオ操作インターフェイスを共同最適化します。
プラットフォームのハードウェア、認識、およびテレオ操作インターフェイスを評価します。
収集されたデータに関する拡散ポリシーのトレーニングは、以前の作業よりも優れたパフォーマンスを示しており、信頼できる高品質のデータ収集に対するシステムの機能を検証します。
このプラットフォームは、低コストおよび既製のコンポーネントから構築されており、再現性と採用の容易さを確保するために公開されます。

要約(オリジナル)

This paper addresses the scarcity of low-cost but high-dexterity platforms for collecting real-world multi-fingered robot manipulation data towards generalist robot autonomy. To achieve it, we propose the RAPID Hand, a co-optimized hardware and software platform where the compact 20-DoF hand, robust whole-hand perception, and high-DoF teleoperation interface are jointly designed. Specifically, RAPID Hand adopts a compact and practical hand ontology and a hardware-level perception framework that stably integrates wrist-mounted vision, fingertip tactile sensing, and proprioception with sub-7 ms latency and spatial alignment. Collecting high-quality demonstrations on high-DoF hands is challenging, as existing teleoperation methods struggle with precision and stability on complex multi-fingered systems. We address this by co-optimizing hand design, perception integration, and teleoperation interface through a universal actuation scheme, custom perception electronics, and two retargeting constraints. We evaluate the platform’s hardware, perception, and teleoperation interface. Training a diffusion policy on collected data shows superior performance over prior works, validating the system’s capability for reliable, high-quality data collection. The platform is constructed from low-cost and off-the-shelf components and will be made public to ensure reproducibility and ease of adoption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google