RoVi-Aug: Robot and Viewpoint Augmentation for Cross-Embodiment Robot Learning

要約

ロボット学習のスケールアップには大規模で多様なデータセットが必要ですが、収集したデータを効率的に再利用してポリシーを新しい実施形態に移行する方法は未解決の問題のままです。
Open-X 実施形態 (OXE) プロジェクトなどの新しい研究では、さまざまなロボットを含むデータセットを組み合わせることでスキルを活用することが期待できることが示されています。
ただし、多くのデータセットではロボットの種類とカメラ アングルの分布が不均衡であるため、ポリシーが過剰適合する傾向があります。
この問題を軽減するために、私たちは RoVi-Aug を提案します。これは、最先端の画像間生成モデルを活用し、さまざまなロボットとカメラ ビューのデモンストレーションを合成することでロボット データを増強します。
広範な物理実験を通じて、ロボットと視点が拡張されたデータでトレーニングすることにより、RoVi-Aug が大幅に異なるカメラ アングルで目に見えないロボットにゼロショット展開できることを示しました。
Mirage などのテスト時適応アルゴリズムと比較して、RoVi-Aug はテスト時に追加の処理を必要とせず、既知のカメラ アングルを想定せず、ポリシーの微調整が可能です。
さらに、元のロボット データセットと拡張されたロボット データセットの両方で共同トレーニングすることにより、RoVi-Aug はマルチロボットおよびマルチタスク ポリシーを学習できるため、ロボットとスキル間のより効率的な伝達が可能になり、成功率が最大 30% 向上します。
プロジェクトの Web サイト: https://rovi-aug.github.io。

要約(オリジナル)

Scaling up robot learning requires large and diverse datasets, and how to efficiently reuse collected data and transfer policies to new embodiments remains an open question. Emerging research such as the Open-X Embodiment (OXE) project has shown promise in leveraging skills by combining datasets including different robots. However, imbalances in the distribution of robot types and camera angles in many datasets make policies prone to overfit. To mitigate this issue, we propose RoVi-Aug, which leverages state-of-the-art image-to-image generative models to augment robot data by synthesizing demonstrations with different robots and camera views. Through extensive physical experiments, we show that, by training on robot- and viewpoint-augmented data, RoVi-Aug can zero-shot deploy on an unseen robot with significantly different camera angles. Compared to test-time adaptation algorithms such as Mirage, RoVi-Aug requires no extra processing at test time, does not assume known camera angles, and allows policy fine-tuning. Moreover, by co-training on both the original and augmented robot datasets, RoVi-Aug can learn multi-robot and multi-task policies, enabling more efficient transfer between robots and skills and improving success rates by up to 30%. Project website: https://rovi-aug.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google