Open X-Embodiment: Robotic Learning Datasets and RT-X Models

要約

多様なデータセットでトレーニングされた大規模で大容量のモデルは、下流のアプリケーションに効率的に取り組む上で目覚ましい成功を収めています。
これにより、NLP からコンピューター ビジョンに至るまでの領域で、事前トレーニングされたモデルが統合され、一般的な事前トレーニングされたバックボーンが多くのアプリケーションの出発点として機能します。
このような統合はロボット工学でも起こり得るでしょうか?
従来、ロボット学習手法では、アプリケーションごと、ロボットごと、さらには環境ごとに個別のモデルをトレーニングしていました。
代わりに、新しいロボット、タスク、環境に効率的に適応できるジェネラリストの X ロボット ポリシーをトレーニングすることはできるでしょうか?
この論文では、効果的な X ロボット ポリシーの例を提供する実験結果とともに、ロボット操作のコンテキストでこの可能性を探ることを可能にする、標準化されたデータ形式とモデルのデータセットを提供します。
私たちは、21 機関間の協力を通じて収集した 22 台の異なるロボットからデータセットを組み立て、527 のスキル (160,266 のタスク) を実証しました。
このデータに基づいてトレーニングされた大容量モデル (RT-X と呼ばれます) が積極的な転送を示し、他のプラットフォームの経験を活用することで複数のロボットの機能を向上させることを示します。
詳細については、プロジェクトの Web サイト $\href{https://robotics-transformer-x.github.io}{\text{robotics-transformer-x.github.io}}$ をご覧ください。

要約(オリジナル)

Large, high-capacity models trained on diverse datasets have shown remarkable successes on efficiently tackling downstream applications. In domains from NLP to Computer Vision, this has led to a consolidation of pretrained models, with general pretrained backbones serving as a starting point for many applications. Can such a consolidation happen in robotics? Conventionally, robotic learning methods train a separate model for every application, every robot, and even every environment. Can we instead train generalist X-robot policy that can be adapted efficiently to new robots, tasks, and environments? In this paper, we provide datasets in standardized data formats and models to make it possible to explore this possibility in the context of robotic manipulation, alongside experimental results that provide an example of effective X-robot policies. We assemble a dataset from 22 different robots collected through a collaboration between 21 institutions, demonstrating 527 skills (160266 tasks). We show that a high-capacity model trained on this data, which we call RT-X, exhibits positive transfer and improves the capabilities of multiple robots by leveraging experience from other platforms. More details can be found on the project website $\href{https://robotics-transformer-x.github.io}{\text{robotics-transformer-x.github.io}}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google