D$^3$Fields: Dynamic 3D Descriptor Fields for Zero-Shot Generalizable Rearrangement

要約

シーンの表現は、ロボット操作システムにおける重要な設計上の選択です。
理想的な表現は、多様な操作タスクの要求を満たすために、3D、動的、セマンティックであることが期待されます。
ただし、以前の作品には 3 つの特性がすべて同時に欠けていることがよくあります。
この作業では、D$^3$Fields、つまり動的な 3D 記述子フィールドを導入します。
これらのフィールドは、3D ポイントを取り込み、セマンティック特徴とインスタンス マスクを出力する暗黙的な 3D 表現です。
また、基礎となる 3D 環境のダイナミクスをキャプチャすることもできます。
具体的には、ワークスペース内の任意の 3D 点を多視点の 2D 視覚観察に投影し、視覚基礎モデルから得られた特徴を補間します。
結果として得られる融合記述子フィールドにより、さまざまなコンテキスト、スタイル、インスタンスを持つ 2D 画像を使用した柔軟な目標仕様が可能になります。
これらの記述子フィールドの有効性を評価するために、ゼロショット方式で再配置タスクに表現を適用します。
実世界での広範な評価とシミュレーションを通じて、D$^3$Fields がゼロショットの一般化可能な再配置タスクに有効であることを実証します。
また、D$^3$Fields を最先端の暗黙的 3D 表現と比較し、有効性と効率が大幅に向上していることを示しています。

要約(オリジナル)

Scene representation is a crucial design choice in robotic manipulation systems. An ideal representation is expected to be 3D, dynamic, and semantic to meet the demands of diverse manipulation tasks. However, previous works often lack all three properties simultaneously. In this work, we introduce D$^3$Fields — dynamic 3D descriptor fields. These fields are implicit 3D representations that take in 3D points and output semantic features and instance masks. They can also capture the dynamics of the underlying 3D environments. Specifically, we project arbitrary 3D points in the workspace onto multi-view 2D visual observations and interpolate features derived from visual foundational models. The resulting fused descriptor fields allow for flexible goal specifications using 2D images with varied contexts, styles, and instances. To evaluate the effectiveness of these descriptor fields, we apply our representation to rearrangement tasks in a zero-shot manner. Through extensive evaluation in real worlds and simulations, we demonstrate that D$^3$Fields are effective for zero-shot generalizable rearrangement tasks. We also compare D$^3$Fields with state-of-the-art implicit 3D representations and show significant improvements in effectiveness and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google