PBDyG: Position Based Dynamic Gaussians for Motion-Aware Clothed Human Avatars

要約

この論文では、物理的に正確な体と衣服の動きを復元することに特に重点を置き、マルチビュー RGB ビデオから学習できる新しい衣服を着た人間のモデルを紹介します。
私たちの手法である Position Based Dynamic Gaussians (PBDyG) は、単に「姿勢依存」の剛体変換に依存するのではなく、物理シミュレーションによって「動き依存」の布の変形を実現します。
私たちは服を着た人間を全体的にモデル化しますが、2 つの異なる物理的実体が接触しています。つまり、3D ガウスとしてモデル化された衣服は、入力ビデオ内の人の動きに従うスキン付きの SMPL ボディに取り付けられています。
SMPL ボディの関節動作により、衣服のガウス分布の物理ベースのシミュレーションも実行され、アバターが新しいポーズに変換されます。
位置ベースのダイナミクス シミュレーションを実行するために、質量や材料の剛性を含む物理的特性が、ダイナミック 3D ガウス スプラッティングを通じて RGB ビデオから推定されます。
実験の結果、私たちの手法は外見を正確に再現するだけでなく、既存の手法では復元が困難であったスカートやコートなどの変形性の高い衣服を着たアバターの復元も可能であることが実証されました。

要約(オリジナル)

This paper introduces a novel clothed human model that can be learned from multiview RGB videos, with a particular emphasis on recovering physically accurate body and cloth movements. Our method, Position Based Dynamic Gaussians (PBDyG), realizes “movement-dependent” cloth deformation via physical simulation, rather than merely relying on “pose-dependent” rigid transformations. We model the clothed human holistically but with two distinct physical entities in contact: clothing modeled as 3D Gaussians, which are attached to a skinned SMPL body that follows the movement of the person in the input videos. The articulation of the SMPL body also drives physically-based simulation of the clothes’ Gaussians to transform the avatar to novel poses. In order to run position based dynamics simulation, physical properties including mass and material stiffness are estimated from the RGB videos through Dynamic 3D Gaussian Splatting. Experiments demonstrate that our method not only accurately reproduces appearance but also enables the reconstruction of avatars wearing highly deformable garments, such as skirts or coats, which have been challenging to reconstruct using existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google