Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation

要約

大規模な現実世界のロボットデータセットは、ジェネラリストのロボットモデルをトレーニングする大きな可能性を秘めていますが、実世界の人間のデータ収集のスケーリングは時間がかかり、リソース集約的です。
シミュレーションは、特にロボット動作データセットのスケーラブルな作成を可能にする生成AIおよび自動化されたデータ生成ツールの最近の進歩により、大規模なデータを補足することに大きな可能性があります。
ただし、シミュレーションのみでポリシーをトレーニングし、現実の世界に転送するには、現実のギャップを埋めるためにかなりの人間の努力が必要になることがよくあります。
説得力のある代替手段は、シミュレーションと実際のデータセットの混合に関するポリシーを共同訓練することです。
予備研究により、この戦略は、限られた量の現実世界データでトレーニングされた1つよりもポリシーのパフォーマンスを大幅に改善することを示しています。
それにもかかわらず、コミュニティには、シムアンドリアルの共同トレーニングと、実際のロボット学習のためのシミュレーションデータの利点を享受するために必要なことの体系的な理解がありません。
この作業は、シミュレーションデータを利用してビジョンベースのロボット操作タスクを解決するためのシンプルで効果的なレシピを提示します。
このレシピは、さまざまなシミュレーションおよび実際のデータセットで共同トレーニング戦略を検証する包括的な実験から導き出します。
ロボットアームとヒューマノイドの2つのドメインを使用して、シミュレーションデータがシミュレーションと実際のデータの顕著な違いがある場合でも、シミュレーションデータが実際のタスクのパフォーマンスを平均38％強化できることを実証します。
ビデオと追加の結果は、https：//co-training.github.io/にあります。

要約(オリジナル)

Large real-world robot datasets hold great potential to train generalist robot models, but scaling real-world human data collection is time-consuming and resource-intensive. Simulation has great potential in supplementing large-scale data, especially with recent advances in generative AI and automated data generation tools that enable scalable creation of robot behavior datasets. However, training a policy solely in simulation and transferring it to the real world often demands substantial human effort to bridge the reality gap. A compelling alternative is to co-train the policy on a mixture of simulation and real-world datasets. Preliminary studies have recently shown this strategy to substantially improve the performance of a policy over one trained on a limited amount of real-world data. Nonetheless, the community lacks a systematic understanding of sim-and-real co-training and what it takes to reap the benefits of simulation data for real-robot learning. This work presents a simple yet effective recipe for utilizing simulation data to solve vision-based robotic manipulation tasks. We derive this recipe from comprehensive experiments that validate the co-training strategy on various simulation and real-world datasets. Using two domains–a robot arm and a humanoid–across diverse tasks, we demonstrate that simulation data can enhance real-world task performance by an average of 38%, even with notable differences between the simulation and real-world data. Videos and additional results can be found at https://co-training.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google