3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting

要約

3D Gaussian Splatting (3DGS)を用いて、単眼映像からアニメーション可能な人間アバターを作成するアプローチを紹介する。神経輝度場(NeRF)に基づく既存の手法は、高品質なノベルビュー/ノベルポーズ画像合成を実現するが、多くの場合、何日もかけて学習する必要があり、推論時間が非常に遅い。最近、このコミュニティでは、服を着たアバターの効率的なトレーニングのための高速グリッド構造が研究されている。しかし、これらの手法では、トレーニングは非常に高速であるものの、インタラクティブなレンダリングフレームレートは15FPS程度がやっとである。本論文では、3Dガウススプラッティングを使用し、非剛体変形ネットワークを学習することで、30分以内に学習でき、リアルタイムフレームレート（50FPS以上）でレンダリングできる、アニメーション可能な着衣アバターを再構成する。本手法の表現が明示的であることから、ガウス平均ベクトルと共分散行列の両方に、可能な限り等角的な正則化を導入することで、高度に関節運動する未知のポーズに対する本手法の汎化を強化する。実験の結果、本手法は、単眼入力からのアニメーション可能なアバター作成において、最先端のアプローチと比較して同等、あるいはそれ以上の性能を達成し、同時に、学習と推論においてそれぞれ400倍、250倍高速であることが示された。

要約(オリジナル)

We introduce an approach that creates animatable human avatars from monocular videos using 3D Gaussian Splatting (3DGS). Existing methods based on neural radiance fields (NeRFs) achieve high-quality novel-view/novel-pose image synthesis but often require days of training, and are extremely slow at inference time. Recently, the community has explored fast grid structures for efficient training of clothed avatars. Albeit being extremely fast at training, these methods can barely achieve an interactive rendering frame rate with around 15 FPS. In this paper, we use 3D Gaussian Splatting and learn a non-rigid deformation network to reconstruct animatable clothed human avatars that can be trained within 30 minutes and rendered at real-time frame rates (50+ FPS). Given the explicit nature of our representation, we further introduce as-isometric-as-possible regularizations on both the Gaussian mean vectors and the covariance matrices, enhancing the generalization of our model on highly articulated unseen poses. Experimental results show that our method achieves comparable and even better performance compared to state-of-the-art approaches on animatable avatar creation from a monocular input, while being 400x and 250x faster in training and inference, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL