Sketch and Patch: Efficient 3D Gaussian Representation for Man-Made Scenes

要約

3D ガウス スプラッティング (3DGS) は、3D シーンのフォトリアリスティックなレンダリングの有望な表現として浮上しています。
ただし、ストレージ要件が高いため、実際のアプリケーションには大きな課題が生じます。
私たちは、ガウスが伝統的な芸術技法に類似した明確な役割と特性を示していることを観察しています。アーティストが、より広い領域を色で塗りつぶす前に最初に輪郭をスケッチする方法と同様に、一部のガウスはエッジや輪郭などの高周波の特徴を捕捉します。
他のガウスは、絵画にボリュームと奥行きを加える幅広いブラシ ストロークに似た、より広く滑らかな領域を表します。
この観察に基づいて、ガウスを (i) シーンの境界を定義するスケッチ ガウス、および (ii) 滑らかな領域をカバーするパッチ ガウスに分類する新しいハイブリッド表現を提案します。
スケッチ ガウスは、幾何学的一貫性を活用してパラメトリック モデルを使用して効率的にエンコードされますが、パッチ ガウスは最適化された枝刈り、再トレーニング、ベクトル量子化を受けて、体積の一貫性とストレージ効率を維持します。
さまざまな屋内および屋外のシーンにわたる包括的な評価では、この構造を意識したアプローチが同等のモデル サイズで PSNR で最大 32.62%、SSIM で 19.12%、LPIPS で 45.41% の改善を達成することが実証されており、それに応じて屋内シーンの場合、私たちのモデルは
元のモデル サイズの 2.3% で視覚的な品質を維持します。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has emerged as a promising representation for photorealistic rendering of 3D scenes. However, its high storage requirements pose significant challenges for practical applications. We observe that Gaussians exhibit distinct roles and characteristics that are analogous to traditional artistic techniques — Like how artists first sketch outlines before filling in broader areas with color, some Gaussians capture high-frequency features like edges and contours; While other Gaussians represent broader, smoother regions, that are analogous to broader brush strokes that add volume and depth to a painting. Based on this observation, we propose a novel hybrid representation that categorizes Gaussians into (i) Sketch Gaussians, which define scene boundaries, and (ii) Patch Gaussians, which cover smooth regions. Sketch Gaussians are efficiently encoded using parametric models, leveraging their geometric coherence, while Patch Gaussians undergo optimized pruning, retraining, and vector quantization to maintain volumetric consistency and storage efficiency. Our comprehensive evaluation across diverse indoor and outdoor scenes demonstrates that this structure-aware approach achieves up to 32.62% improvement in PSNR, 19.12% in SSIM, and 45.41% in LPIPS at equivalent model sizes, and correspondingly, for an indoor scene, our model maintains the visual quality with 2.3% of the original model size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google