Particle-Grid Neural Dynamics for Learning Deformable Object Models from RGB-D Videos

要約

変形可能なオブジェクトのダイナミクスのモデリングは、それらの多様な物理的特性と、限られた視覚情報から状態を推定することの難しさのために困難です。
これらの課題は、ハイブリッド表現のオブジェクト粒子と空間グリッドを組み合わせたニューラルダイナミクスフレームワークで対処します。
私たちの粒子グリッドモデルは、密な粒子の動きを予測しながら、グローバルな形状とモーション情報をキャプチャし、さまざまな形状と材料でオブジェクトのモデリングを可能にします。
粒子はオブジェクトの形を表し、空間グリッドは3D空間を離散化して空間の連続性を確保し、学習効率を高めます。
視覚的なレンダリングのためのガウスのスプラットと相まって、私たちのフレームワークは、変形可能なオブジェクトの完全に学習ベースのデジタルツインを実現し、3Dアクション条件付けされたビデオを生成します。
実験を通じて、私たちのモデルは、ロープ、布、ぬいぐるみ、紙袋などの多様なオブジェクトのダイナミクスを学習し、ロボットとオブジェクトの相互作用のまばらなRGB-D録音から、カテゴリレベルで目に見えないインスタンスに一般化することを実証します。
私たちのアプローチは、特にカメラビューが限られているシナリオで、最先端の学習ベースおよび物理ベースのシミュレーターよりも優れています。
さらに、モデルベースの計画で学習されたモデルの有用性を紹介し、さまざまなタスク全体で目標調整されたオブジェクト操作を可能にします。
プロジェクトページは、https：//kywind.github.io/pgndで入手できます。

要約(オリジナル)

Modeling the dynamics of deformable objects is challenging due to their diverse physical properties and the difficulty of estimating states from limited visual information. We address these challenges with a neural dynamics framework that combines object particles and spatial grids in a hybrid representation. Our particle-grid model captures global shape and motion information while predicting dense particle movements, enabling the modeling of objects with varied shapes and materials. Particles represent object shapes, while the spatial grid discretizes the 3D space to ensure spatial continuity and enhance learning efficiency. Coupled with Gaussian Splattings for visual rendering, our framework achieves a fully learning-based digital twin of deformable objects and generates 3D action-conditioned videos. Through experiments, we demonstrate that our model learns the dynamics of diverse objects — such as ropes, cloths, stuffed animals, and paper bags — from sparse-view RGB-D recordings of robot-object interactions, while also generalizing at the category level to unseen instances. Our approach outperforms state-of-the-art learning-based and physics-based simulators, particularly in scenarios with limited camera views. Furthermore, we showcase the utility of our learned models in model-based planning, enabling goal-conditioned object manipulation across a range of tasks. The project page is available at https://kywind.github.io/pgnd .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google