Cloth-Splatting: 3D Cloth State Estimation from RGB Supervision

要約

RGB画像から布の3次元状態を予測更新フレームワークによって推定する手法、Cloth-Splattingを紹介する。Cloth-Splattingは、将来の状態を予測するためのアクション条件付きダイナミクスモデルを活用し、予測された状態を更新するために3Dガウススプラッティングを使用する。我々の重要な洞察は、3Dメッシュベースの表現とガウススプラッティングを組み合わせることで、布の状態空間と画像空間の間に微分可能なマップを定義できることである。これにより、勾配ベースの最適化技術を使用して、RGB監視のみを使用して不正確な状態推定を改良することが可能になる。我々の実験は、布スプラッティングが現在のベースラインよりも状態推定精度を向上させるだけでなく、収束時間も短縮することを実証している。

要約(オリジナル)

We introduce Cloth-Splatting, a method for estimating 3D states of cloth from RGB images through a prediction-update framework. Cloth-Splatting leverages an action-conditioned dynamics model for predicting future states and uses 3D Gaussian Splatting to update the predicted states. Our key insight is that coupling a 3D mesh-based representation with Gaussian Splatting allows us to define a differentiable map between the cloth state space and the image space. This enables the use of gradient-based optimization techniques to refine inaccurate state estimates using only RGB supervision. Our experiments demonstrate that Cloth-Splatting not only improves state estimation accuracy over current baselines but also reduces convergence time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL