Robust Gaussian Splatting

要約

このペーパーでは、携帯電話のキャプチャからの再構成などの実用的なアプリケーションに対する堅牢性を向上させることを目的として、ぼやけ、不完全なカメラポーズ、色の不一致など、3D ガウス スプラッティング (3DGS) の一般的なエラー原因に対処します。
私たちの主な貢献には、モーション ブラーをカメラ ポーズ上のガウス分布としてモデリングすることが含まれており、これにより、統一された方法でカメラ ポーズの調整とモーション ブラー補正の両方に対処できるようになります。
さらに、焦点ぼけ補正のメカニズムや、環境光や影、またはホワイトバランス設定の変更などのカメラ関連の要因によって引き起こされる色の不一致に対処するためのメカニズムを提案します。
私たちが提案するソリューションは、トレーニング効率とレンダリング速度の利点を維持しながら、3DGS 定式化とシームレスに統合されます。
私たちは、Scannet++ や Deblur-NeRF などの関連するベンチマーク データセットに対する貢献を実験的に検証し、最先端の結果を取得し、関連するベースラインに対する一貫した改善を実現しています。

要約(オリジナル)

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google