ResGS: Residual Densification of 3D Gaussian for Efficient Detail Recovery

要約

近年、3Dガウススプラット法（3D-GS）は、高い忠実度と効率性を達成し、新しいビュー合成の主流となっている。しかし、3D-GSはしばしば、豊かな詳細と完全な形状をキャプチャするのに苦労する。我々の分析により、3D-GSの高密度化操作は適応性に欠け、ジオメトリカバレッジとディテールリカバリーの間のジレンマに直面していることが明らかになった。この問題に対処するために、我々は、残差としてダウンスケールされたガウスを追加する残差分割という新しい高密度化操作を導入する。本手法は適応的にディテールを復元し、欠落したジオメトリを補完することができる。具体的には、漸進的な監視のためにガウス画像ピラミッドを統合し、粗いガウスの高密度化を優先する選択スキームを実装する。広範な実験により、我々の手法がSOTAレンダリング品質を達成することが実証された。我々の残差分割を様々な3D-GSバリエーションに適用することで一貫した性能向上が達成され、その汎用性と3D-GSベースのアプリケーションへの広範な応用の可能性を強調している。

要約(オリジナル)

Recently, 3D Gaussian Splatting (3D-GS) has prevailed in novel view synthesis, achieving high fidelity and efficiency. However, it often struggles to capture rich details and complete geometry. Our analysis reveals that the 3D-GS densification operation lacks adaptiveness and faces a dilemma between geometry coverage and detail recovery. To address this, we introduce a novel densification operation, residual split, which adds a downscaled Gaussian as a residual. Our approach is capable of adaptively retrieving details and complementing missing geometry. To further support this method, we propose a pipeline named ResGS. Specifically, we integrate a Gaussian image pyramid for progressive supervision and implement a selection scheme that prioritizes the densification of coarse Gaussians over time. Extensive experiments demonstrate that our method achieves SOTA rendering quality. Consistent performance improvements can be achieved by applying our residual split on various 3D-GS variants, underscoring its versatility and potential for broader application in 3D-GS-based applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL