DeblurGS: Gaussian Splatting for Camera Motion Blur

要約

モーションブラーされた画像から鮮明な 3D シーンを再構築することにおいては大きな進歩が見られましたが、現実世界のアプリケーションへの移行は依然として困難です。
主な障害は、Structure-from-Motion による初期カメラ ポーズの取得の不正確さにつながる深刻なブレに起因します。これは、以前のアプローチでは見落とされがちな重要な側面です。
この課題に対処するために、ノイズの多いカメラポーズの初期化であっても、モーションブラーのある画像から鮮明な 3D ガウス スプラッティングを最適化する方法である DeblurGS を提案します。
3D ガウス スプラッティングの優れた再構成機能を活用して、きめの細かい鮮明なシーンを復元します。
私たちのアプローチでは、ぼやけた観測ごとに 6 自由度のカメラの動きを推定し、最適化プロセスのために対応するぼやけたレンダリングを合成します。
さらに、カメラの動きがまだ不正確である初期のトレーニング段階で、誤った位置で不正確なガウスが生成されるのを防ぐために、ガウス高密度化アニーリング戦略を提案します。
包括的な実験により、当社の DeblurGS が、実世界および合成ベンチマーク データセット、および現場で撮影されたぼやけたスマートフォン ビデオのブレ除去と新しいビュー合成において最先端のパフォーマンスを達成することが実証されました。

要約(オリジナル)

Although significant progress has been made in reconstructing sharp 3D scenes from motion-blurred images, a transition to real-world applications remains challenging. The primary obstacle stems from the severe blur which leads to inaccuracies in the acquisition of initial camera poses through Structure-from-Motion, a critical aspect often overlooked by previous approaches. To address this challenge, we propose DeblurGS, a method to optimize sharp 3D Gaussian Splatting from motion-blurred images, even with the noisy camera pose initialization. We restore a fine-grained sharp scene by leveraging the remarkable reconstruction capability of 3D Gaussian Splatting. Our approach estimates the 6-Degree-of-Freedom camera motion for each blurry observation and synthesizes corresponding blurry renderings for the optimization process. Furthermore, we propose Gaussian Densification Annealing strategy to prevent the generation of inaccurate Gaussians at erroneous locations during the early training stages when camera motion is still imprecise. Comprehensive experiments demonstrate that our DeblurGS achieves state-of-the-art performance in deblurring and novel view synthesis for real-world and synthetic benchmark datasets, as well as field-captured blurry smartphone videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google