SE(3)-Equivariant Relational Rearrangement with Neural Descriptor Fields

要約

点群観測から直接任意のポーズで初期化された新規オブジェクト インスタンス間の空間関係を含むタスクを実行する方法を提示します。
私たちのフレームワークは、5 ～ 10 個のデモンストレーションのみを使用して、新しいタスクを指定するためのスケーラブルな方法を提供します。
オブジェクトの再配置は、目的の配置でオブジェクトのタスク関連部分を構成するアクションを見つける問題として形式化されています。
この形式は 3 つの手順で実装されます。一貫したローカル座標フレームをタスク関連のオブジェクト パーツに割り当て、目に見えないオブジェクト インスタンス上のこの座標フレームの位置と方向を決定し、これらのフレームを目的の位置合わせにするアクションを実行します。
ニューラル記述子フィールド (NDF) と単一の注釈付き 3D キーポイントに基づく最適化手法を開発することにより、いくつかのデモンストレーションからタスク関連のローカル座標フレームを決定するという重要な技術的課題を克服します。
目的のリレーショナル タスクを満たすオブジェクトのジョイント構成をモデル化するためのエネルギー ベースの学習スキームにより、パフォーマンスがさらに向上します。
この方法は、シミュレーションの 3 つのマルチオブジェクト再配置タスクと実際のロボットでテストされます。
プロジェクトのウェブサイト、動画、コード: https://anthonysimeonov.github.io/r-ndf/

要約(オリジナル)

We present a method for performing tasks involving spatial relations between novel object instances initialized in arbitrary poses directly from point cloud observations. Our framework provides a scalable way for specifying new tasks using only 5-10 demonstrations. Object rearrangement is formalized as the question of finding actions that configure task-relevant parts of the object in a desired alignment. This formalism is implemented in three steps: assigning a consistent local coordinate frame to the task-relevant object parts, determining the location and orientation of this coordinate frame on unseen object instances, and executing an action that brings these frames into the desired alignment. We overcome the key technical challenge of determining task-relevant local coordinate frames from a few demonstrations by developing an optimization method based on Neural Descriptor Fields (NDFs) and a single annotated 3D keypoint. An energy-based learning scheme to model the joint configuration of the objects that satisfies a desired relational task further improves performance. The method is tested on three multi-object rearrangement tasks in simulation and on a real robot. Project website, videos, and code: https://anthonysimeonov.github.io/r-ndf/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google