Neural Field Movement Primitives for Joint Modelling of Scenes and Motions

要約

この論文では、神経場を使用して新しいスキルを効率的かつ正確に学習する、新しいデモンストレーションからの学習 (LfD) メソッドを紹介します。
これは、共有埋め込みを利用してシーンとモーション表現の両方を生成的な方法で学習することで実現されます。
私たちの手法は、各エキスパートのデモンストレーションをシーンモーションの埋め込みにスムーズにマッピングし、手作りのタスクパラメータや大規模なデータセットを必要とせずにそれらをモデル化する方法を学習します。
埋め込み空間の変化に対してシーンとモーションの生成がスムーズになるようにすることで、データ効率を実現します。
推論時に、私たちのメソッドはテスト時間の最適化を使用してシーンモーションの埋め込みを取得し、新しいシーンの正確なモーション軌跡を生成できます。
提案された方法は多用途であり、画像、3D 形状、および神経フィールドを使用してモデル化できるその他のシーン表現を使用できます。
さらに、エンドエフェクターの位置と関節角度ベースの軌道の両方を生成できます。
私たちの方法は、正確な運動軌跡の生成を必要とするタスクで評価されます。基礎となるタスクのパラメータ化は、オブジェクトの位置と幾何学的シーンの変化に基づいています。
実験結果は、提案された方法がベースラインのアプローチよりも優れており、新しいシーンに一般化できることを示しています。
さらに、実際の実験では、私たちの方法が多値の軌道を首尾よくモデル化できること、推論時に導入されたディストラクタオブジェクトに対して堅牢であること、および 6D モーションを生成できることを示します。

要約(オリジナル)

This paper presents a novel Learning from Demonstration (LfD) method that uses neural fields to learn new skills efficiently and accurately. It achieves this by utilizing a shared embedding to learn both scene and motion representations in a generative way. Our method smoothly maps each expert demonstration to a scene-motion embedding and learns to model them without requiring hand-crafted task parameters or large datasets. It achieves data efficiency by enforcing scene and motion generation to be smooth with respect to changes in the embedding space. At inference time, our method can retrieve scene-motion embeddings using test time optimization, and generate precise motion trajectories for novel scenes. The proposed method is versatile and can employ images, 3D shapes, and any other scene representations that can be modeled using neural fields. Additionally, it can generate both end-effector positions and joint angle-based trajectories. Our method is evaluated on tasks that require accurate motion trajectory generation, where the underlying task parametrization is based on object positions and geometric scene changes. Experimental results demonstrate that the proposed method outperforms the baseline approaches and generalizes to novel scenes. Furthermore, in real-world experiments, we show that our method can successfully model multi-valued trajectories, it is robust to the distractor objects introduced at inference time, and it can generate 6D motions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google