GART: Gaussian Articulated Template Models

要約

ガウス多関節テンプレート モデル GART を導入します。これは、単眼ビデオから非剛体多関節被写体をキャプチャおよびレンダリングするための明示的、効率的、表現力豊かな表現です。
GART は、移動する 3D ガウスの混合を利用して、変形可能な被写体の形状と外観を明示的に近似します。
これは、学習可能なフォワード スキニングを備えた事前のカテゴリ テンプレート モデル (SMPL、SMAL など) を利用しながら、新しい潜在ボーンを使用したより複雑な非剛体変形にさらに一般化します。
GART は、単眼ビデオからの微分可能なレンダリングを介して数秒または数分で再構築でき、150fps よりも高速に新しいポーズでレンダリングできます。

要約(オリジナル)

We introduce Gaussian Articulated Template Model GART, an explicit, efficient, and expressive representation for non-rigid articulated subject capturing and rendering from monocular videos. GART utilizes a mixture of moving 3D Gaussians to explicitly approximate a deformable subject’s geometry and appearance. It takes advantage of a categorical template model prior (SMPL, SMAL, etc.) with learnable forward skinning while further generalizing to more complex non-rigid deformations with novel latent bones. GART can be reconstructed via differentiable rendering from monocular videos in seconds or minutes and rendered in novel poses faster than 150fps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google