PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting

要約

新しいビュー合成の最近の進歩により、リアルタイムのレンダリング速度と高い再構成精度が可能になりました。
3D ガウス スプラッティング (3D-GS) は、基本的なポイントベースのパラメトリック 3D シーン表現であり、シーンを 3D ガウスの大規模なセットとしてモデル化します。
複雑なシーンは数百万のガウスで構成される場合があり、大量のストレージとメモリが必要となり、リソースが限られたデバイスでの 3D-GS の実行可能性が制限されます。
ガウス分布を枝刈りすることでこれらの事前学習済みモデルを圧縮する現在の手法は、ヒューリスティックを組み合わせてどれを削除するかを決定することに依存しています。
この論文では、これらのアプローチを上回る、原則に基づいた空間感度枝刈りスコアを提案します。
これは、各ガウスの空間パラメータに関するトレーニング ビューの再構成誤差の 2 次近似として計算されます。
さらに、トレーニング パイプラインを変更せずに、事前トレーニングされた 3D-GS モデルに適用できるマルチラウンド プルーン-リファイン パイプラインを提案します。
ガウスの 88.44% を枝刈りした後、PUP 3D-GS パイプラインは 3D-GS の平均レンダリング速度を 2.65$\times$ 向上させながら、より顕著な前景情報を保持し、シーンで以前の枝刈り手法よりも高い画質メトリクスを達成していることがわかります。
Mip-NeRF 360、Tanks & Temples、および Deep Blending データセットから。

要約(オリジナル)

Recent advancements in novel view synthesis have enabled real-time rendering speeds and high reconstruction accuracy. 3D Gaussian Splatting (3D-GS), a foundational point-based parametric 3D scene representation, models scenes as large sets of 3D Gaussians. Complex scenes can comprise of millions of Gaussians, amounting to large storage and memory requirements that limit the viability of 3D-GS on devices with limited resources. Current techniques for compressing these pretrained models by pruning Gaussians rely on combining heuristics to determine which ones to remove. In this paper, we propose a principled spatial sensitivity pruning score that outperforms these approaches. It is computed as a second-order approximation of the reconstruction error on the training views with respect to the spatial parameters of each Gaussian. Additionally, we propose a multi-round prune-refine pipeline that can be applied to any pretrained 3D-GS model without changing the training pipeline. After pruning 88.44% of the Gaussians, we observe that our PUP 3D-GS pipeline increases the average rendering speed of 3D-GS by 2.65$\times$ while retaining more salient foreground information and achieving higher image quality metrics than previous pruning techniques on scenes from the Mip-NeRF 360, Tanks & Temples, and Deep Blending datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google