UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling

要約

マルチビュー画像シーケンスからフォトリアリスティックな運転可能な人間のアバターを再構築することは、コンピュータ ビジョンとグラフィックスの分野で人気があり、挑戦的なトピックです。
既存の NeRF ベースの手法では人体モデルの高品質な新規ビュー レンダリングを実現できますが、トレーニングと推論のプロセスはどちらも時間がかかります。
最近のアプローチでは 3D ガウスを利用して人体を表現し、より高速なトレーニングとレンダリングを可能にしています。
ただし、それらはメッシュ ガイダンスの重要性を損ない、粗いメッシュ ガイダンスを使用して 3D 空間のガウス分布を直接予測します。
これはガウスの学習手順を妨げ、ぼやけたテクスチャを生成する傾向があります。
そこで、メッシュ変形と 2D UV 空間ガウス テクスチャを共同学習することで 3D 人体をモデル化する UV ガウスを提案します。
UV マップの埋め込みを利用して 2D 空間のガウス テクスチャを学習し、強力な 2D ネットワークの機能を活用して特徴を抽出します。
さらに、独立したメッシュ ネットワークを通じて、姿勢依存の幾何学的変形を最適化することで、ガウス レンダリングを導き、レンダリング品質を大幅に向上させます。
私たちは、人間の動きの新しいデータセットを収集して処理します。これには、マルチビュー画像、スキャンされたモデル、パラメトリック モデルの登録、および対応するテクスチャ マップが含まれます。
実験結果は、私たちの方法が新しいビューと新しいポーズの最先端の合成を達成することを示しています。
論文が受理され次第、コードとデータはホームページ https://alex-jyj.github.io/UV-Gaussians/ で公開されます。

要約(オリジナル)

Reconstructing photo-realistic drivable human avatars from multi-view image sequences has been a popular and challenging topic in the field of computer vision and graphics. While existing NeRF-based methods can achieve high-quality novel view rendering of human models, both training and inference processes are time-consuming. Recent approaches have utilized 3D Gaussians to represent the human body, enabling faster training and rendering. However, they undermine the importance of the mesh guidance and directly predict Gaussians in 3D space with coarse mesh guidance. This hinders the learning procedure of the Gaussians and tends to produce blurry textures. Therefore, we propose UV Gaussians, which models the 3D human body by jointly learning mesh deformations and 2D UV-space Gaussian textures. We utilize the embedding of UV map to learn Gaussian textures in 2D space, leveraging the capabilities of powerful 2D networks to extract features. Additionally, through an independent Mesh network, we optimize pose-dependent geometric deformations, thereby guiding Gaussian rendering and significantly enhancing rendering quality. We collect and process a new dataset of human motion, which includes multi-view images, scanned models, parametric model registration, and corresponding texture maps. Experimental results demonstrate that our method achieves state-of-the-art synthesis of novel view and novel pose. The code and data will be made available on the homepage https://alex-jyj.github.io/UV-Gaussians/ once the paper is accepted.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google