Green Screen Augmentation Enables Scene Generalisation in Robotic Manipulation

要約

ビジョンベースの操作ポリシーを新しい環境に一般化することは、依然として困難な領域であり、研究は限られています。
現在の実践では、データを 1 か所に収集し、このデータを使用して模倣学習または強化学習ポリシーをトレーニングし、同じ場所にポリシーを展開します。
ただし、このアプローチではタスクごとに複数の場所でデータを収集する必要があるため、スケーラビリティに欠けます。
この論文では、主にグリーン スクリーンが設置されている場所でデータを収集する新しいアプローチを提案します。
クロマ キー アルゴリズムを使用して背景テクスチャをグリーン スクリーンにオーバーレイする、Green-screen Augmentation (GreenAug) を導入します。
850 を超えるトレーニング デモンストレーションと 8.2,000 の評価エピソードによる広範な現実世界の実証研究を通じて、GreenAug が拡張なし、標準的なコンピューター ビジョン拡張、および以前の生成拡張手法をパフォーマンスで上回っていることを実証しました。
アルゴリズムの新規性は主張されていませんが、私たちの論文はデータ収集慣行の根本的な変化を主張しています。
私たちは、将来の研究における実際のデモンストレーションではグリーン スクリーンを利用し、その後 GreenAug を適用することを提案します。
GreenAug は、視覚的に区別できる新しい場所へのポリシーの一般化を解き放ち、ロボット学習における現在のシーンの一般化の制限に対処できると信じています。

要約(オリジナル)

Generalising vision-based manipulation policies to novel environments remains a challenging area with limited exploration. Current practices involve collecting data in one location, training imitation learning or reinforcement learning policies with this data, and deploying the policy in the same location. However, this approach lacks scalability as it necessitates data collection in multiple locations for each task. This paper proposes a novel approach where data is collected in a location predominantly featuring green screens. We introduce Green-screen Augmentation (GreenAug), employing a chroma key algorithm to overlay background textures onto a green screen. Through extensive real-world empirical studies with over 850 training demonstrations and 8.2k evaluation episodes, we demonstrate that GreenAug surpasses no augmentation, standard computer vision augmentation, and prior generative augmentation methods in performance. While no algorithmic novelties are claimed, our paper advocates for a fundamental shift in data collection practices. We propose that real-world demonstrations in future research should utilise green screens, followed by the application of GreenAug. We believe GreenAug unlocks policy generalisation to visually distinct novel locations, addressing the current scene generalisation limitations in robot learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google