UVA: Towards Unified Volumetric Avatar for View Synthesis, Pose rendering, Geometry and Texture Editing

要約

タイトル： UVA: ビュー合成、ポーズレンダリング、ジオメトリー、テクスチャ編集へ向けた統一されたボリューメトリックアバター

要約：

– Neural radiance field（NeRF）は高品質のレンダリング能力により、新しい視点とポーズに関する人間のアバター再構築のための人気のある3D表現方法となっています。
– ただし、アバターのジオメトリと見た目を編集するための以前の方法は、身体形状パラメータと2Dテクスチャマップを介したグローバル編集のみを許可しています。
– 本論文では、新しいアプローチであるUnified Volumetric Avatar（UVA）を提案し、ジオメトリとテクスチャの両方をローカルかつ独立して編集しながら、新しい視点やポーズの描画能力を維持できるようにします。
– UVAは、スキニングモーションフィールドを使用して各観測ポイントを正準空間に変換し、ジオメトリーとテクスチャを別々のニューラルフィールドで表現します。
– 各フィールドは、正準空間の変形可能なメッシュ上のアンカーノードに接続された構造化された潜在コードのセットで構成され、補間により全空間に拡散されるため、ローカル編集が可能になります。
– コード補間の空間的曖昧さに対処するために、ローカル符号付き高さ指示子を使用します。
– また、ビュー依存の放射色をポーズ依存のシェーディングファクタに置き換え、異なるポーズにおける表面照明をより適切に表現します。
– 複数の人間アバターでの実験により、UVAが新しい視点合成と新しいポーズレンダリングで競争力のある結果を達成しながら、ジオメトリと見た目のローカルで独立した編集が可能であることが示されました。
– ソースコードはリリースされます。

要約(オリジナル)

Neural radiance field (NeRF) has become a popular 3D representation method for human avatar reconstruction due to its high-quality rendering capabilities, e.g., regarding novel views and poses. However, previous methods for editing the geometry and appearance of the avatar only allow for global editing through body shape parameters and 2D texture maps. In this paper, we propose a new approach named \textbf{U}nified \textbf{V}olumetric \textbf{A}vatar (\textbf{UVA}) that enables local and independent editing of both geometry and texture, while retaining the ability to render novel views and poses. UVA transforms each observation point to a canonical space using a skinning motion field and represents geometry and texture in separate neural fields. Each field is composed of a set of structured latent codes that are attached to anchor nodes on a deformable mesh in canonical space and diffused into the entire space via interpolation, allowing for local editing. To address spatial ambiguity in code interpolation, we use a local signed height indicator. We also replace the view-dependent radiance color with a pose-dependent shading factor to better represent surface illumination in different poses. Experiments on multiple human avatars demonstrate that our UVA achieves competitive results in novel view synthesis and novel pose rendering while enabling local and independent editing of geometry and appearance. The source code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI