Nuvo: Neural UV Mapping for Unruly 3D Representations

要約

既存の UV マッピング アルゴリズムは、最先端の 3D 再構成および生成技術によって生成されたジオメトリ表現ではなく、適切に動作するメッシュ上で動作するように設計されています。
したがって、これらの方法を神経放射フィールドおよび関連技術 (またはそのようなフィールドから三角測量されたメッシュ) によって回復されたボリューム密度に適用すると、テクスチャ アトラスが断片化されすぎて、ビューの合成や外観の編集などのタスクに使用できなくなります。
3D 再構成および生成技術によって生成されたジオメトリを操作するように設計された UV マッピング方法を紹介します。
Nuvo メソッドは、メッシュの頂点で定義されたマッピングを計算する代わりに、ニューラル フィールドを使用して連続 UV マッピングを表し、可視ポイントのセットのみ、つまり影響を与えるポイントのみに対して有効で適切なマッピングになるように最適化します。
現場の様子。
私たちのモデルが不正なジオメトリによってもたらされる課題に対して堅牢であること、および詳細な外観を表現できる編集可能な UV マッピングを生成することを示します。

要約(オリジナル)

Existing UV mapping algorithms are designed to operate on well-behaved meshes, instead of the geometry representations produced by state-of-the-art 3D reconstruction and generation techniques. As such, applying these methods to the volume densities recovered by neural radiance fields and related techniques (or meshes triangulated from such fields) results in texture atlases that are too fragmented to be useful for tasks such as view synthesis or appearance editing. We present a UV mapping method designed to operate on geometry produced by 3D reconstruction and generation techniques. Instead of computing a mapping defined on a mesh’s vertices, our method Nuvo uses a neural field to represent a continuous UV mapping, and optimizes it to be a valid and well-behaved mapping for just the set of visible points, i.e. only points that affect the scene’s appearance. We show that our model is robust to the challenges posed by ill-behaved geometry, and that it produces editable UV mappings that can represent detailed appearance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google