Render and Diffuse: Aligning Image and Action Spaces for Diffusion-based Behaviour Cloning

要約

ロボット学習の分野では、RGB 画像などの高次元の観察と低レベルのロボット動作という、本質的に非常に異なる 2 つの空間の間の複雑なマッピングが、特にデータ量が限られている場合に、複雑な学習問題を構成します。
この研究では、ロボットの 3D モデルの仮想レンダリングを使用して、画像空間内で低レベルのロボットのアクションと RGB 観察を統合する方法であるレンダリングと拡散 (R&D) を紹介します。
この共同観察動作表現を使用して、ロボットの仮想レンダリングを繰り返し更新する学習された拡散プロセスを使用して、低レベルのロボット動作を計算します。
この空間の統合により、学習問題が単純化され、サンプルの効率と空間の汎化にとって重要な帰納的バイアスが導入されます。
私たちは研究開発のいくつかのバリエーションをシミュレーションで徹底的に評価し、現実世界での 6 つの日常業務への適用性を示します。
私たちの結果は、R&D が強力な空間一般化機能を示し、より一般的な画像からアクションへの手法よりもサンプル効率が高いことを示しています。

要約(オリジナル)

In the field of Robot Learning, the complex mapping between high-dimensional observations such as RGB images and low-level robotic actions, two inherently very different spaces, constitutes a complex learning problem, especially with limited amounts of data. In this work, we introduce Render and Diffuse (R&D) a method that unifies low-level robot actions and RGB observations within the image space using virtual renders of the 3D model of the robot. Using this joint observation-action representation it computes low-level robot actions using a learnt diffusion process that iteratively updates the virtual renders of the robot. This space unification simplifies the learning problem and introduces inductive biases that are crucial for sample efficiency and spatial generalisation. We thoroughly evaluate several variants of R&D in simulation and showcase their applicability on six everyday tasks in the real world. Our results show that R&D exhibits strong spatial generalisation capabilities and is more sample efficient than more common image-to-action methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google