Equivariant Descriptor Fields: SE(3)-Equivariant Energy-Based Models for End-to-End Visual Robotic Manipulation Learning

要約

視覚的なロボット操作のエンドツーエンドの学習は、サンプルの非効率性に悩まされることが知られており、多数のデモンストレーションが必要です。
空間回転変換の等分散性、または SE(3)-等分散性を利用して、ロボット操作を学習するためのサンプル効率を向上させることができます。
このホワイト ペーパーでは、エンドツーエンドで完全にトレーニングできる点群からの視覚的なロボット操作のための SE(3) 等価モデルを提示します。
リー群の表現理論を利用することにより、非常に効率的なエンド ツー エンドの学習を可能にする新しい SE(3) 等変エネルギー ベースのモデルを構築します。
私たちのモデルは、事前知識がなくてもゼロから学習できることを示していますが、サンプル効率が非常に高いことを示しています (5 ~ 10 のデモで十分です)。
さらに、私たちのモデルは、(i) 以前に見られなかったターゲット オブジェクトのポーズ、(ii) 以前に見られなかったカテゴリのターゲット オブジェクト インスタンス、および (iii) 以前に見られなかった視覚的注意散漫を伴うタスクに一般化できることを示します。
モデルのサンプル効率と一般化可能性を検証するために、6-DoF ロボット操作タスクを実験します。
コードは https://github.com/tomato1mule/edf で入手できます。

要約(オリジナル)

End-to-end learning for visual robotic manipulation is known to suffer from sample inefficiency, requiring large numbers of demonstrations. The spatial roto-translation equivariance, or the SE(3)-equivariance can be exploited to improve the sample efficiency for learning robotic manipulation. In this paper, we present SE(3)-equivariant models for visual robotic manipulation from point clouds that can be trained fully end-to-end. By utilizing the representation theory of the Lie group, we construct novel SE(3)-equivariant energy-based models that allow highly sample efficient end-to-end learning. We show that our models can learn from scratch without prior knowledge and yet are highly sample efficient (5~10 demonstrations are enough). Furthermore, we show that our models can generalize to tasks with (i) previously unseen target object poses, (ii) previously unseen target object instances of the category, and (iii) previously unseen visual distractors. We experiment with 6-DoF robotic manipulation tasks to validate our models’ sample efficiency and generalizability. Codes are available at: https://github.com/tomato1mule/edf

arxiv情報

提供元, 利用サービス

arxiv.jp, Google