DeformNet: Latent Space Modeling and Dynamics Prediction for Deformable Object Manipulation

要約

変形可能なオブジェクトの操作は、家庭環境において広く行われている作業であり、オブジェクトの無限の自由度により、適切な表現と正確なダイナミクス予測が求められます。
この研究では、これらの課題に効果的に取り組むために、学習された 3D 表現モデルを備えた潜在空間モデリングを利用する DeformNet を提案します。
提案された表現モデルは、PointNet エンコーダーと条件付き神経放射フィールド (NeRF) を組み合わせたもので、オブジェクトの変形と照明条件の変化の徹底的な取得を容易にします。
複雑なダイナミクスをモデル化するために、時間の経過に伴う潜在表現の変換を正確に予測するリカレント状態空間モデル (RSSM) を採用します。
さまざまな目的を使用した広範なシミュレーション実験により、これまでに見たことのない目標が存在する場合でも、さまざまな変形可能オブジェクト操作タスクに対する DeformNet の一般化機能が実証されました。
最後に、DeformNet を実際の UR5 ロボット アームに展開して、現実世界のシナリオでの機能を実証します。

要約(オリジナル)

Manipulating deformable objects is a ubiquitous task in household environments, demanding adequate representation and accurate dynamics prediction due to the objects’ infinite degrees of freedom. This work proposes DeformNet, which utilizes latent space modeling with a learned 3D representation model to tackle these challenges effectively. The proposed representation model combines a PointNet encoder and a conditional neural radiance field (NeRF), facilitating a thorough acquisition of object deformations and variations in lighting conditions. To model the complex dynamics, we employ a recurrent state-space model (RSSM) that accurately predicts the transformation of the latent representation over time. Extensive simulation experiments with diverse objectives demonstrate the generalization capabilities of DeformNet for various deformable object manipulation tasks, even in the presence of previously unseen goals. Finally, we deploy DeformNet on an actual UR5 robotic arm to demonstrate its capability in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google