BillBoard Splatting (BBSplat): Learnable Textured Primitives for Novel View Synthesis

要約

テクスチャ付きの幾何学的プリミティブに基づいた 3D シーン表現の新しいアプローチである Billboard Splatting (BBSplat) を紹介します。
BBSplat は、形状を制御するための学習可能な RGB テクスチャとアルファマップを備えた、最適化可能なテクスチャ付き平面プリミティブのセットとしてシーンを表します。
BBSplat プリミティブは、ガウスのドロップイン置換として任意のガウス スプラッティング パイプラインで使用できます。
3D および 2D ガウスに対するこの方法の定性的および量的改善は、使用するプリミティブの数が少ない場合、BBSplat が 1200 FPS 以上を達成する場合に最も顕著になります。
私たちの新しい正則化用語は、テクスチャがよりスパースな構造を持つことを奨励し、モデルの記憶領域の削減につながる効率的な圧縮を可能にします。
私たちの実験では、Tanks&Temples、DTU、Mip-NeRF-360 などの実際の屋内および屋外シーンの標準データセットに対する BBSplat の効率性を示しています。
特に使用するプリミティブの数が少ない場合、最先端のメトリクスと比較して PSNR、SSIM、および LPIPS メトリクスが向上していることを実証します。一方、これにより、推論速度が最大 2 倍向上します。
同じレンダリング品質。

要約(オリジナル)

We present billboard Splatting (BBSplat) – a novel approach for 3D scene representation based on textured geometric primitives. BBSplat represents the scene as a set of optimizable textured planar primitives with learnable RGB textures and alpha-maps to control their shape. BBSplat primitives can be used in any Gaussian Splatting pipeline as drop-in replacements for Gaussians. Our method’s qualitative and quantitative improvements over 3D and 2D Gaussians are most noticeable when fewer primitives are used, when BBSplat achieves over 1200 FPS. Our novel regularization term encourages textures to have a sparser structure, unlocking an efficient compression that leads to a reduction in storage space of the model. Our experiments show the efficiency of BBSplat on standard datasets of real indoor and outdoor scenes such as Tanks&Temples, DTU, and Mip-NeRF-360. We demonstrate improvements on PSNR, SSIM, and LPIPS metrics compared to the state-of-the-art, especially for the case when fewer primitives are used, which, on the other hand, leads to up to 2 times inference speed improvement for the same rendering quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google