DressRecon: Freeform 4D Human Reconstruction from Monocular Video

要約

極端にゆるい衣服や手持ちの物体の相互作用に焦点を当て、単眼ビデオから時間一貫性のある人体モデルを再構成する方法を紹介します。
人間の復元におけるこれまでの研究は、物体との相互作用のないタイトな衣服に限定されているか、大規模に収集するにはコストがかかる、調整されたマルチビュー キャプチャまたはパーソナライズされたテンプレート スキャンを必要としていました。
高品質でありながら柔軟な再構築のための重要な洞察は、（大規模なトレーニング データから学習した）関節状の身体形状に関する一般的な人間の事前知識と、ビデオ固有の関節状の「骨の袋」変形（単一のビデオに適合）を慎重に組み合わせることです。
テスト時間の最適化経由)。
これは、身体と衣服の変形を別々のモーション モデル レイヤーとして解きほぐすニューラル暗黙的モデルを学習することで実現します。
衣服の微妙な形状をキャプチャするために、最適化中に人体のポーズ、表面法線、オプティカル フローなどの画像ベースの事前分布を活用します。
結果として得られるニューラル フィールドは、時間一貫性のあるメッシュに抽出することも、高忠実度のインタラクティブ レンダリング用の明示的な 3D ガウスとしてさらに最適化することもできます。
非常に困難な衣服の変形やオブジェクトの相互作用を含むデータセットでは、DressRecon は従来技術よりも忠実度の高い 3D 再構成を生成します。
プロジェクトページ: https://jefftan969.github.io/dressrecon/

要約(オリジナル)

We present a method to reconstruct time-consistent human body models from monocular videos, focusing on extremely loose clothing or handheld object interactions. Prior work in human reconstruction is either limited to tight clothing with no object interactions, or requires calibrated multi-view captures or personalized template scans which are costly to collect at scale. Our key insight for high-quality yet flexible reconstruction is the careful combination of generic human priors about articulated body shape (learned from large-scale training data) with video-specific articulated ‘bag-of-bones’ deformation (fit to a single video via test-time optimization). We accomplish this by learning a neural implicit model that disentangles body versus clothing deformations as separate motion model layers. To capture subtle geometry of clothing, we leverage image-based priors such as human body pose, surface normals, and optical flow during optimization. The resulting neural fields can be extracted into time-consistent meshes, or further optimized as explicit 3D Gaussians for high-fidelity interactive rendering. On datasets with highly challenging clothing deformations and object interactions, DressRecon yields higher-fidelity 3D reconstructions than prior art. Project page: https://jefftan969.github.io/dressrecon/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google