Real-Time Animatable 2DGS-Avatars with Detail Enhancement from Monocular Videos

要約

単眼ビデオからの高品質でアニメーション可能な3Dヒトアバター再建は、複雑なハードウェアへの依存を減らすための大きな可能性を提供し、ゲーム開発、拡張現実、ソーシャルメディアのアプリケーションに非常に実用的です。
ただし、既存の方法は、特に動的または複雑なポーズの下で、細かい幾何学的な詳細をキャプチャし、アニメーションの安定性を維持する上で依然として大きな課題に直面しています。
これらの問題に対処するために、2Dガウススプラッティング（2DG）に基づいた、アニメーション可能な人間のアバター再建のための新しいリアルタイムフレームワークを提案します。
2DGSとグローバルSMPLポーズパラメーターを活用することにより、私たちのフレームワークは位置と回転の不一致を調整するだけでなく、再構築されたアバターの堅牢で自然なポーズ駆動型のアニメーションを可能にします。
さらに、ローカルの幾何学的特徴をグローバルなポーズパラメーターと統合することにより、回転残差を学習する回転補償ネットワーク（RCN）を導入します。
このネットワークは、非剛性変形の処理を大幅に改善し、アニメーション中にスムーズでアーティファクトフリーのポーズ遷移を保証します。
実験結果は、私たちの方法が、単眼ビデオから現実的で非常にアニメーション可能な人間のアバターを成功裏に再構築し、安定した自然なポーズの変動を確保しながら、きめ細かい詳細を効果的に保存することを示しています。
私たちのアプローチは、パブリックベンチマークの再構築品質とアニメーションの堅牢性の両方で現在の最先端の方法を上回ります。

要約(オリジナル)

High-quality, animatable 3D human avatar reconstruction from monocular videos offers significant potential for reducing reliance on complex hardware, making it highly practical for applications in game development, augmented reality, and social media. However, existing methods still face substantial challenges in capturing fine geometric details and maintaining animation stability, particularly under dynamic or complex poses. To address these issues, we propose a novel real-time framework for animatable human avatar reconstruction based on 2D Gaussian Splatting (2DGS). By leveraging 2DGS and global SMPL pose parameters, our framework not only aligns positional and rotational discrepancies but also enables robust and natural pose-driven animation of the reconstructed avatars. Furthermore, we introduce a Rotation Compensation Network (RCN) that learns rotation residuals by integrating local geometric features with global pose parameters. This network significantly improves the handling of non-rigid deformations and ensures smooth, artifact-free pose transitions during animation. Experimental results demonstrate that our method successfully reconstructs realistic and highly animatable human avatars from monocular videos, effectively preserving fine-grained details while ensuring stable and natural pose variation. Our approach surpasses current state-of-the-art methods in both reconstruction quality and animation robustness on public benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google