Robot Learning with Super-Linear Scaling

要約

ロボット学習を拡張するには、人間の努力に合わせて適切に拡張できるデータ収集パイプラインが必要です。
この研究では、人間の労力に応じて超線形にパフォーマンスが向上するシミュレーションでのデータ収集と学習をスケールアップするためのパイプラインである Crowdsourcing and Amortizing Human Effort for Real-to-Sim-to-Real (CASHER) を提案します。
重要なアイデアは、3D 再構成を使用して現実世界のシーンのデジタル ツインをクラウドソーシングし、現実世界ではなくシミュレーションで大規模なデータを収集することです。
シミュレーションでのデータ収集は、最初は RL によって駆動され、人間のデモンストレーションによってブートストラップされます。
ジェネラリスト ポリシーのトレーニングが環境全体で進むにつれて、その汎化機能を使用して、人間の労力をモデルが生成したデモンストレーションに置き換えることができます。
これにより、人間の労力を継続的に削減しながら、シミュレーションで行動データが収集されるパイプラインが実現します。
CASHER が、さまざまなシナリオにわたる 3 つの現実世界のタスクに対してゼロショットおよび少数ショットのスケーリング則を実証することを示します。
CASHER を使用すると、追加の人的労力を必要とせずに、ビデオ スキャンを使用して、事前トレーニングされたポリシーをターゲット シナリオに合わせて微調整できることを示します。
プロジェクトの Web サイトを参照してください: https://casher-robot-learning.github.io/CASHER/

要約(オリジナル)

Scaling robot learning requires data collection pipelines that scale favorably with human effort. In this work, we propose Crowdsourcing and Amortizing Human Effort for Real-to-Sim-to-Real(CASHER), a pipeline for scaling up data collection and learning in simulation where the performance scales superlinearly with human effort. The key idea is to crowdsource digital twins of real-world scenes using 3D reconstruction and collect large-scale data in simulation, rather than the real-world. Data collection in simulation is initially driven by RL, bootstrapped with human demonstrations. As the training of a generalist policy progresses across environments, its generalization capabilities can be used to replace human effort with model generated demonstrations. This results in a pipeline where behavioral data is collected in simulation with continually reducing human effort. We show that CASHER demonstrates zero-shot and few-shot scaling laws on three real-world tasks across diverse scenarios. We show that CASHER enables fine-tuning of pre-trained policies to a target scenario using a video scan without any additional human effort. See our project website: https://casher-robot-learning.github.io/CASHER/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google