3D-Consistent Human Avatars with Sparse Inputs via Gaussian Splatting and Contrastive Learning

要約

人間のアバターを生成するための既存のアプローチ (NeRF ベースと 3D ガウス スプラッティング (3DGS) ベースの両方) は、3D の一貫性を維持することに苦労しており、特にまばらな入力でトレーニングする場合、詳細な再構成が低下します。
この課題に対処するために、私たちは CHASE を提案します。これは、クロスポーズ固有の 3D 一貫性監視と 3D ジオメトリの対比学習という 2 つの重要なイノベーションを通じて、スパース入力のみを使用して高密度入力レベルのパフォーマンスを達成する新しいフレームワークです。
剛体変形と非剛体布のダイナミクスを組み合わせた以前のスケルトン主導のアプローチに基づいて、まず基本的な 3D 一貫性を持つベースライン アバターを確立します。
まばらな入力下で 3D の一貫性を強化するために、トレーニング セットからの同様のポーズを活用して変形ガウスを調整する動的アバター調整 (DAA) モジュールを導入しました。
調整されたガウスと基準ポーズの間のレンダリングの不一致を最小限に抑えることで、DAA はアバターの再構築に追加の監視を提供します。
さらに、新しいジオメトリを意識した対照的な学習戦略を通じて、グローバル 3D の一貫性を維持します。
CHASE はスパース入力向けに設計されていますが、ZJU-MoCap および H36M データセットのフル設定とスパース設定の両方で最先端の手法を上回っており、強化された 3D 一貫性が優れたレンダリング品質につながることを示しています。

要約(オリジナル)

Existing approaches for human avatar generation–both NeRF-based and 3D Gaussian Splatting (3DGS) based–struggle with maintaining 3D consistency and exhibit degraded detail reconstruction, particularly when training with sparse inputs. To address this challenge, we propose CHASE, a novel framework that achieves dense-input-level performance using only sparse inputs through two key innovations: cross-pose intrinsic 3D consistency supervision and 3D geometry contrastive learning. Building upon prior skeleton-driven approaches that combine rigid deformation with non-rigid cloth dynamics, we first establish baseline avatars with fundamental 3D consistency. To enhance 3D consistency under sparse inputs, we introduce a Dynamic Avatar Adjustment (DAA) module, which refines deformed Gaussians by leveraging similar poses from the training set. By minimizing the rendering discrepancy between adjusted Gaussians and reference poses, DAA provides additional supervision for avatar reconstruction. We further maintain global 3D consistency through a novel geometry-aware contrastive learning strategy. While designed for sparse inputs, CHASE surpasses state-of-the-art methods across both full and sparse settings on ZJU-MoCap and H36M datasets, demonstrating that our enhanced 3D consistency leads to superior rendering quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google