RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

要約

人工知能 (AI) の最近の進歩は主にスケーリングによって推進されています。
ロボティクスでは、大規模なロボット データセットにアクセスできないため、スケーリングが妨げられています。
私たちは、ロボット学習方法の環境、タスク、データセットを拡張する手段として現実的な物理シミュレーションを使用することを推奨しています。
日常環境で汎用ロボットを訓練するための大規模シミュレーション フレームワークである RoboCasa を紹介します。
RoboCasa は、キッチン環境に焦点を当てたリアルで多様なシーンを特徴としています。
当社は、150 を超えるオブジェクト カテゴリにわたる数千の 3D アセットと、数十のインタラクティブな家具や家電製品を提供しています。
テキストから 3D モデルへのオブジェクト アセットやテキストから画像モデルへの環境テクスチャなどの生成 AI ツールを使用して、シミュレーションのリアリズムと多様性を強化します。
私たちは、大規模な言語モデルのガイダンスによって生成される複合タスクを含む、体系的な評価のために 100 のタスクのセットを設計します。
学習を促進するために、人間による高品質のデモンストレーションを提供し、自動軌道生成方法を統合して、人間の負担を最小限に抑えながらデータセットを大幅に拡大します。
私たちの実験は、合成的に生成されたロボット データを大規模な模倣学習に使用する際の明確なスケーリング傾向を示し、現実世界のタスクでシミュレーション データを利用する際の大きな可能性を示しています。
ビデオとオープンソース コードは https://robocasa.ai/ で入手できます。

要約(オリジナル)

Recent advancements in Artificial Intelligence (AI) have largely been propelled by scaling. In Robotics, scaling is hindered by the lack of access to massive robot datasets. We advocate using realistic physical simulation as a means to scale environments, tasks, and datasets for robot learning methods. We present RoboCasa, a large-scale simulation framework for training generalist robots in everyday environments. RoboCasa features realistic and diverse scenes focusing on kitchen environments. We provide thousands of 3D assets across over 150 object categories and dozens of interactable furniture and appliances. We enrich the realism and diversity of our simulation with generative AI tools, such as object assets from text-to-3D models and environment textures from text-to-image models. We design a set of 100 tasks for systematic evaluation, including composite tasks generated by the guidance of large language models. To facilitate learning, we provide high-quality human demonstrations and integrate automated trajectory generation methods to substantially enlarge our datasets with minimal human burden. Our experiments show a clear scaling trend in using synthetically generated robot data for large-scale imitation learning and show great promise in harnessing simulation data in real-world tasks. Videos and open-source code are available at https://robocasa.ai/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google