GStex: Per-Primitive Texturing of 2D Gaussian Splatting for Decoupled Appearance and Geometry Modeling

要約

Gaussian Splattingは、ビューの合成とシーンの再構築のための優れたパフォーマンスを実証しています。
この表現は、シーン内の数千から数百万の2Dまたは3Dガウスプリミティブの位置、スケール、色、不透明度を最適化することにより、フォトリアリスティックな品質を実現します。
ただし、各ガウス原始的な外観は外観とジオメトリの両方をエンコードするため、これらの属性は強く結合されています。したがって、高忠実度の外観モデリングには、シーンのジオメトリが単純な場合でも（テクスチャー付き平面表面など）、多数のガウス原始的なものが必要です。
1つのガウスの詳細をキャプチャするために単一のガウスを使用できるように、各2Dガウス原始をテクスチャにすることを提案します。
一定のテクスチャーを使用することにより、私たちの外観表現は、シーンのジオメトリのトポロジーと複雑さに不可知論されます。
私たちのアプローチであるGSTEXは、ガウスのスプラットをテクスチャリングする以前の作業よりも視覚品質の向上をもたらすことを示しています。
さらに、ガウスのプリミティブの数を減らすときに2Dガウスのスプラッティングと比較して、デカップリングにより、新しいビューの合成性能が改善され、GSTEXがシーンの外観の編集と再テクスチャに使用できることを実証します。

要約(オリジナル)

Gaussian splatting has demonstrated excellent performance for view synthesis and scene reconstruction. The representation achieves photorealistic quality by optimizing the position, scale, color, and opacity of thousands to millions of 2D or 3D Gaussian primitives within a scene. However, since each Gaussian primitive encodes both appearance and geometry, these attributes are strongly coupled–thus, high-fidelity appearance modeling requires a large number of Gaussian primitives, even when the scene geometry is simple (e.g., for a textured planar surface). We propose to texture each 2D Gaussian primitive so that even a single Gaussian can be used to capture appearance details. By employing per-primitive texturing, our appearance representation is agnostic to the topology and complexity of the scene’s geometry. We show that our approach, GStex, yields improved visual quality over prior work in texturing Gaussian splats. Furthermore, we demonstrate that our decoupling enables improved novel view synthesis performance compared to 2D Gaussian splatting when reducing the number of Gaussian primitives, and that GStex can be used for scene appearance editing and re-texturing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google