DPHMs: Diffusion Parametric Head Models for Depth-based Tracking

要約

拡散パラメトリック頭部モデル (DPHM) を紹介します。これは、堅牢な体積頭部の再構成と単眼の深度シーケンスからの追跡を可能にする生成モデルです。
NPHM などの最近の体積頭部モデルは、高忠実度の頭部ジオメトリの表現に優れていますが、部分的でノイズの多い観察へのフィッティングが十分に制約されていないため、現実世界の単一ビュー深度シーケンスから頭部を追跡および再構成することは依然として非常に困難です。
これらの課題に取り組むために、我々は、体積測定による頭部の再構成と追跡を正規化する前に、潜在的な拡散ベースの手法を提案します。
この事前ベースの正則化は、妥当な頭部形状を表す基礎となる潜在多様体上にアイデンティティと表現コードが存在するように効果的に制約します。
拡散ベースの事前分布の有効性を評価するために、さまざまな複雑な表情の動きと素早い遷移から構成される単眼の Kinect シーケンスのデータセットを収集します。
私たちの方法を最先端の追跡方法と比較し、改善された頭部同一性再構成と堅牢な発現追跡を実証します。

要約(オリジナル)

We introduce Diffusion Parametric Head Models (DPHMs), a generative model that enables robust volumetric head reconstruction and tracking from monocular depth sequences. While recent volumetric head models, such as NPHMs, can now excel in representing high-fidelity head geometries, tracking and reconstructing heads from real-world single-view depth sequences remains very challenging, as the fitting to partial and noisy observations is underconstrained. To tackle these challenges, we propose a latent diffusion-based prior to regularize volumetric head reconstruction and tracking. This prior-based regularizer effectively constrains the identity and expression codes to lie on the underlying latent manifold which represents plausible head shapes. To evaluate the effectiveness of the diffusion-based prior, we collect a dataset of monocular Kinect sequences consisting of various complex facial expression motions and rapid transitions. We compare our method to state-of-the-art tracking methods and demonstrate improved head identity reconstruction as well as robust expression tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google