Combining Neural Fields and Deformation Models for Non-Rigid 3D Motion Reconstruction from Partial Data

要約

我々は、非剛体変形形状の構造化されていない可能性のある部分的な観察から、時間的にコヒーレントな 3D モーションを再構築するための、新しいデータ駆動型のアプローチを紹介します。
私たちの目標は、ゆるい服を着ている人間など、等長に近い変形を受ける形状の高忠実度のモーション再構築を実現することです。
私たちの研究の重要な新しさは、暗黙的な形状表現と明示的なメッシュベースの変形モデルを組み合わせて、パラメトリックな形状モデルに依存したり、形状と動きを分離したりすることなく、詳細で時間的に一貫した動きの再構築を可能にする能力にあります。
各フレームは、経時的な観察が融合される特徴空間からデコードされたニューラル フィールドとして表現されるため、入力データに存在する幾何学的詳細が保存されます。
時間的コヒーレンスは、神経フィールドの下にあるサーフェスに適用される、隣接するフレーム間のほぼ等長的な変形制約によって強制されます。
私たちの方法は、単眼深度ビデオから再構成された人間や動物の動きシーケンスへの適用によって実証されるように、最先端のアプローチを上回ります。

要約(オリジナル)

We introduce a novel, data-driven approach for reconstructing temporally coherent 3D motion from unstructured and potentially partial observations of non-rigidly deforming shapes. Our goal is to achieve high-fidelity motion reconstructions for shapes that undergo near-isometric deformations, such as humans wearing loose clothing. The key novelty of our work lies in its ability to combine implicit shape representations with explicit mesh-based deformation models, enabling detailed and temporally coherent motion reconstructions without relying on parametric shape models or decoupling shape and motion. Each frame is represented as a neural field decoded from a feature space where observations over time are fused, hence preserving geometric details present in the input data. Temporal coherence is enforced with a near-isometric deformation constraint between adjacent frames that applies to the underlying surface in the neural field. Our method outperforms state-of-the-art approaches, as demonstrated by its application to human and animal motion sequences reconstructed from monocular depth videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google