CoCoGaussian: Leveraging Circle of Confusion for Gaussian Splatting from Defocused Images

要約

3D ガウス スプラッティング (3DGS) は、その高品質で斬新なビュー レンダリングで大きな注目を集めており、現実世界の課題に対処するための研究を刺激しています。
従来の方法ではシーンを正確に再構成するには鮮明な画像が必要ですが、現実世界のシナリオでは被写界深度が有限であるため、焦点ぼけの影響を受けることが多く、現実的な 3D シーン表現を考慮することが不可欠です。
本研究では、焦点をぼかした画像のみを使用して正確な 3D シーン表現を可能にする、混乱の円を認識したガウス スプラッティングである CoCoGaussian を提案します。
CoCoGaussian は、写真の焦点ぼけの原理に基づいた物理的に根拠のあるアプローチを通じて混乱の輪 (CoC) をモデル化することで、焦点ぼけの課題に対処します。
3D ガウシアンを利用して、深さと学習可能な開口情報から CoC 直径を計算し、CoC 形状を正確に捕捉するための複数のガウシアンを生成します。
さらに、学習可能なスケーリング係数を導入して堅牢性を強化し、反射面または屈折面のあるシーンでの信頼性の低い深度をより柔軟に処理できるようにします。
合成データセットと現実世界のデータセットの両方での実験により、CoCoGaussian が複数のベンチマークにわたって最先端のパフォーマンスを達成することが実証されました。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has attracted significant attention for its high-quality novel view rendering, inspiring research to address real-world challenges. While conventional methods depend on sharp images for accurate scene reconstruction, real-world scenarios are often affected by defocus blur due to finite depth of field, making it essential to account for realistic 3D scene representation. In this study, we propose CoCoGaussian, a Circle of Confusion-aware Gaussian Splatting that enables precise 3D scene representation using only defocused images. CoCoGaussian addresses the challenge of defocus blur by modeling the Circle of Confusion (CoC) through a physically grounded approach based on the principles of photographic defocus. Exploiting 3D Gaussians, we compute the CoC diameter from depth and learnable aperture information, generating multiple Gaussians to precisely capture the CoC shape. Furthermore, we introduce a learnable scaling factor to enhance robustness and provide more flexibility in handling unreliable depth in scenes with reflective or refractive surfaces. Experiments on both synthetic and real-world datasets demonstrate that CoCoGaussian achieves state-of-the-art performance across multiple benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google