Textured Gaussians for Enhanced 3D Scene Appearance Modeling

要約

3D ガウス スプラッティング (3DGS) は、高品質の結果と高速なトレーニングとレンダリング時間により、最先端の 3D 再構成およびレンダリング技術として最近登場しました。
ただし、同じガウスでカバーされるピクセルは、ガウス フォールオフ スケーリング係数まで常に同じ色でシェーディングされます。
さらに、個々のガウス関数が表現できる最も細かい幾何学的詳細は、単純な楕円体です。
3DGS のこれらの特性により、個々のガウス プリミティブの表現力が大幅に制限されます。
これらの問題に対処するために、私たちは従来のグラフィックスのテクスチャとアルファ マッピングからインスピレーションを得て、それを 3DGS と統合しました。
具体的には、各ガウスの範囲全体にわたって空間的に変化する色と不透明度をモデル化するために、alpha~(A)、RGB、または RGBA テクスチャ マップで各ガウスを拡張する、新しい一般化されたガウスの外観表現を提案します。
そのため、各ガウスは、単純なガウス スプラッティングのような単一の色と楕円体の代わりに、より豊富なテクスチャ パターンと幾何学的構造のセットを表すことができます。
驚くべきことに、アルファのみのテクスチャ マップを使用することでガウスの表現力が大幅に向上し、RGB テクスチャ マップを使用してガウスをさらに強化すると、最高の表現力が得られることがわかりました。
私たちは、オブジェクト レベルとシーン レベルの両方で、さまざまな標準ベンチマーク データセットと独自のカスタム キャプチャでメソッドを検証します。
同等またはより少ない数のガウスを使用しながら、既存の方法と比較して画質が向上することを示します。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has recently emerged as a state-of-the-art 3D reconstruction and rendering technique due to its high-quality results and fast training and rendering time. However, pixels covered by the same Gaussian are always shaded in the same color up to a Gaussian falloff scaling factor. Furthermore, the finest geometric detail any individual Gaussian can represent is a simple ellipsoid. These properties of 3DGS greatly limit the expressivity of individual Gaussian primitives. To address these issues, we draw inspiration from texture and alpha mapping in traditional graphics and integrate it with 3DGS. Specifically, we propose a new generalized Gaussian appearance representation that augments each Gaussian with alpha~(A), RGB, or RGBA texture maps to model spatially varying color and opacity across the extent of each Gaussian. As such, each Gaussian can represent a richer set of texture patterns and geometric structures, instead of just a single color and ellipsoid as in naive Gaussian Splatting. Surprisingly, we found that the expressivity of Gaussians can be greatly improved by using alpha-only texture maps, and further augmenting Gaussians with RGB texture maps achieves the highest expressivity. We validate our method on a wide variety of standard benchmark datasets and our own custom captures at both the object and scene levels. We demonstrate image quality improvements over existing methods while using a similar or lower number of Gaussians.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google