要約
双腕ロボットとそのツール使用能力の効果的な連携は、ロボット工学の進歩においてますます重要な分野となっています。
これらのスキルは、現実世界の多様な環境で動作するロボットの能力を拡張する上で重要な役割を果たします。
しかし、専門的なトレーニング データが不足しているため、進歩は妨げられています。
このペーパーでは、現実世界の遠隔操作データとデジタル ツインからの合成データを組み合わせた、双腕ロボット シナリオ向けに設計された新しいベンチマーク データセットである RoboTwin を紹介します。
COBOT Magic プラットフォームを使用して、ツールの使用状況と人間とロボットのインタラクションに関するさまざまなデータを収集しました。
AI で生成されたコンテンツを使用してデジタル ツインを作成し、2D 画像を詳細な 3D モデルに変換する革新的なアプローチを紹介します。
さらに、大規模な言語モデルを利用して、専門家レベルのトレーニング データと機能を重視したタスク固有のポーズ シーケンスを生成します。
私たちの主な貢献は、1) RoboTwin ベンチマーク データセット、2) 現実からシミュレーションへの効率的なパイプライン、3) エキスパート レベルのデータを自動生成するための言語モデルの使用です。
これらの進歩は、ロボットトレーニングデータの不足に対処するように設計されており、現実世界の幅広い用途向けに、より有能で多用途なロボットシステムの開発を加速する可能性があります。
プロジェクト ページは https://robotwin-benchmark.github.io/early-version/ から入手できます。
要約(オリジナル)
Effective collaboration of dual-arm robots and their tool use capabilities are increasingly important areas in the advancement of robotics. These skills play a significant role in expanding robots’ ability to operate in diverse real-world environments. However, progress is impeded by the scarcity of specialized training data. This paper introduces RoboTwin, a novel benchmark dataset combining real-world teleoperated data with synthetic data from digital twins, designed for dual-arm robotic scenarios. Using the COBOT Magic platform, we have collected diverse data on tool usage and human-robot interaction. We present a innovative approach to creating digital twins using AI-generated content, transforming 2D images into detailed 3D models. Furthermore, we utilize large language models to generate expert-level training data and task-specific pose sequences oriented toward functionality. Our key contributions are: 1) the RoboTwin benchmark dataset, 2) an efficient real-to-simulation pipeline, and 3) the use of language models for automatic expert-level data generation. These advancements are designed to address the shortage of robotic training data, potentially accelerating the development of more capable and versatile robotic systems for a wide range of real-world applications. The project page is available at https://robotwin-benchmark.github.io/early-version/
arxiv情報
| 著者 | Yao Mu,Tianxing Chen,Shijia Peng,Zanxin Chen,Zeyu Gao,Yude Zou,Lunkai Lin,Zhiqiang Xie,Ping Luo |
| 発行日 | 2024-09-04 17:59:52+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google