3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting

要約

3D ガウス スプラッティング (3DGS) を使用して、単眼ビデオからアニメーション可能な人間のアバターを作成するアプローチを紹介します。
Neural Radiance Field (NeRF) に基づく既存の手法は、高品質の新規ビュー/新規ポーズ画像合成を実現しますが、多くの場合、数日のトレーニングを必要とし、推論時間が非常に遅くなります。
最近、コミュニティは服を着たアバターを効率的にトレーニングするための高速グリッド構造を研究しました。
これらのメソッドはトレーニングが非常に高速ですが、約 15 FPS のインタラクティブ レンダリング フレーム レートをかろうじて達成できます。
この論文では、3D ガウス スプラッティングを使用し、非剛体変形ネットワークを学習して、アニメーション化可能な衣服を着た人間のアバターを再構築します。このアバターは、30 分以内にトレーニングでき、リアルタイム フレーム レート (50+ FPS) でレンダリングできます。
私たちの表現の明示的な性質を考慮して、ガウス平均ベクトルと共分散行列の両方に可能な限り等尺性の正則化をさらに導入し、高度に関節化された目に見えないポーズに対するモデルの一般化を強化します。
実験結果は、私たちの方法が、単眼入力からのアニメーション化可能なアバターの作成において、最先端のアプローチと比較して、同等かつさらに優れたパフォーマンスを実現し、トレーニングと推論においてそれぞれ 400 倍と 250 倍高速であることを示しています。

要約(オリジナル)

We introduce an approach that creates animatable human avatars from monocular videos using 3D Gaussian Splatting (3DGS). Existing methods based on neural radiance fields (NeRFs) achieve high-quality novel-view/novel-pose image synthesis but often require days of training, and are extremely slow at inference time. Recently, the community has explored fast grid structures for efficient training of clothed avatars. Albeit being extremely fast at training, these methods can barely achieve an interactive rendering frame rate with around 15 FPS. In this paper, we use 3D Gaussian Splatting and learn a non-rigid deformation network to reconstruct animatable clothed human avatars that can be trained within 30 minutes and rendered at real-time frame rates (50+ FPS). Given the explicit nature of our representation, we further introduce as-isometric-as-possible regularizations on both the Gaussian mean vectors and the covariance matrices, enhancing the generalization of our model on highly articulated unseen poses. Experimental results show that our method achieves comparable and even better performance compared to state-of-the-art approaches on animatable avatar creation from a monocular input, while being 400x and 250x faster in training and inference, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google