RealDex: Towards Human-like Grasping for Robotic Dexterous Hand

要約

この論文では、人間の行動パターンが組み込まれた本物の器用な手を握る動作をキャプチャし、マルチビューおよびマルチモーダルな視覚データによって強化された先駆的なデータセットである RealDex を紹介します。
遠隔操作システムを活用し、人間とロボットの手のポーズをリアルタイムでシームレスに同期させます。
この人間のような動きのコレクションは、人間の動きをより自然かつ正確に模倣する器用な手を訓練するために非常に重要です。
RealDex は、現実世界のシナリオにおける自動認識、認知、操作を実現するヒューマノイド ロボットの進歩に大きな期待を抱いています。
さらに、人間の経験と一致し、マルチモーダル大規模言語モデルを効果的に活用することで現実世界への適用性を高める、最先端の器用な把握動作生成フレームワークを紹介します。
広範な実験により、RealDex およびその他のオープン データセットに対する私たちのメソッドの優れたパフォーマンスが実証されました。
完全なデータセットとコードは、この研究の出版時に利用可能になります。

要約(オリジナル)

In this paper, we introduce RealDex, a pioneering dataset capturing authentic dexterous hand grasping motions infused with human behavioral patterns, enriched by multi-view and multimodal visual data. Utilizing a teleoperation system, we seamlessly synchronize human-robot hand poses in real time. This collection of human-like motions is crucial for training dexterous hands to mimic human movements more naturally and precisely. RealDex holds immense promise in advancing humanoid robot for automated perception, cognition, and manipulation in real-world scenarios. Moreover, we introduce a cutting-edge dexterous grasping motion generation framework, which aligns with human experience and enhances real-world applicability through effectively utilizing Multimodal Large Language Models. Extensive experiments have demonstrated the superior performance of our method on RealDex and other open datasets. The complete dataset and code will be made available upon the publication of this work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google