RoboEngine: Plug-and-Play Robot Data Augmentation with Semantic Robot Segmentation and Background Generation

要約

視覚的増強は、模倣学習の視覚的堅牢性を高めるための重要な技術となっています。
ただし、既存の方法は、カメラのキャリブレーションや制御された環境の必要性（緑色の画面設定など）などの前提条件によって制限されることがよくあります。
この作業では、最初のプラグアンドプレイのビジュアルロボットデータ増強ツールキットであるRoboBeengineを紹介します。
初めて、ユーザーは数行のコードで物理学とタスクを意識したロボットシーンを楽に生成できます。
これを実現するために、新しいロボットシーンセグメンテーションデータセット、一般化可能な高品質のロボットセグメンテーションモデル、および微調整されたバックグラウンド生成モデルを紹介します。
Robobeengineを使用して、単一のシーンから収集されたデモンストレーションのみに基づいて、6つのまったく新しいシーンにロボット操作タスクを一般化する機能を実証し、授与なしのベースラインと比較して200％以上のパフォーマンス改善を達成します。
すべてのデータセット、モデルの重み、およびツールキットは公開されます。

要約(オリジナル)

Visual augmentation has become a crucial technique for enhancing the visual robustness of imitation learning. However, existing methods are often limited by prerequisites such as camera calibration or the need for controlled environments (e.g., green screen setups). In this work, we introduce RoboEngine, the first plug-and-play visual robot data augmentation toolkit. For the first time, users can effortlessly generate physics- and task-aware robot scenes with just a few lines of code. To achieve this, we present a novel robot scene segmentation dataset, a generalizable high-quality robot segmentation model, and a fine-tuned background generation model, which together form the core components of the out-of-the-box toolkit. Using RoboEngine, we demonstrate the ability to generalize robot manipulation tasks across six entirely new scenes, based solely on demonstrations collected from a single scene, achieving a more than 200% performance improvement compared to the no-augmentation baseline. All datasets, model weights, and the toolkit will be publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google