BillBoard Splatting (BBSplat): Learnable Textured Primitives for Novel View Synthesis

要約

ビルボードスプラッティング（BBSPLAT） – テクスチャの幾何学的プリミティブに基づいた新規ビュー合成の新しいアプローチを提示します。
BBSPLATは、学習可能なRGBテクスチャとアルファマップを備えた最適化可能なテクスチャプレータープリミティブのセットとして、その形状を制御するシーンを表します。
BBSPlatプリミティブは、ガウスのスプラットパイプラインでガウスのドロップイン置換として使用できます。
提案されたプリミティブは、2Dガウススプラッティング（GS）のレンダリング品質ギャップを閉じ、2DGSフレームワークのように3Dメッシュの正確な抽出を可能にします。
さらに、平面プリミティブの明示的な性質により、ラスター化における光線追跡効果を使用することができます。
私たちの斬新な正規化用語は、テクスチャを促進し、3DGと比較してモデルのストレージスペースがx17回まで縮小する効率的な圧縮を可能にします。
私たちの実験は、Tanks＆Temples、DTU、MIP-NERF-360などの実際の屋内および屋外シーンの標準的なデータセットでのBBSPLATの効率を示しています。
つまり、完全なHD解像度でDTUの最先端のPSNRは29.72の最先端のPSNRを達成します。

要約(オリジナル)

We present billboard Splatting (BBSplat) – a novel approach for novel view synthesis based on textured geometric primitives. BBSplat represents the scene as a set of optimizable textured planar primitives with learnable RGB textures and alpha-maps to control their shape. BBSplat primitives can be used in any Gaussian Splatting pipeline as drop-in replacements for Gaussians. The proposed primitives close the rendering quality gap between 2D and 3D Gaussian Splatting (GS), enabling the accurate extraction of 3D mesh as in the 2DGS framework. Additionally, the explicit nature of planar primitives enables the use of the ray-tracing effects in rasterization. Our novel regularization term encourages textures to have a sparser structure, enabling an efficient compression that leads to a reduction in the storage space of the model up to x17 times compared to 3DGS. Our experiments show the efficiency of BBSplat on standard datasets of real indoor and outdoor scenes such as Tanks&Temples, DTU, and Mip-NeRF-360. Namely, we achieve a state-of-the-art PSNR of 29.72 for DTU at Full HD resolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google