EaDeblur-GS: Event assisted 3D Deblur Reconstruction with Gaussian Splatting

要約

3D ブレ除去再構成技術は、最近、Neural Radiance Fields (NeRF) および 3D Gaussian Splatting (3DGS) の開発により大幅な進歩を遂げています。
これらの技術は、ぼやけた画像入力から比較的鮮明な 3D 再構成を復元できますが、深刻なぼやけや複雑なカメラの動きを処理するには依然として限界があります。
これらの問題に対処するために、私たちはイベント カメラ データを統合してモーション ブラーに対する 3DGS の堅牢性を強化する、ガウス スプラッティングを使用したイベント支援 3D ブラー除去再構築 (EaDeblur-GS) を提案します。
Adaptive Deviation Estimator (ADE) ネットワークを採用してガウス中心偏差を推定し、新しい損失関数を使用することにより、EaDeblur-GS はリアルタイムで鮮明な 3D 再構成を実現し、最先端の手法に匹敵するパフォーマンスを実証します。

要約(オリジナル)

3D deblurring reconstruction techniques have recently seen significant advancements with the development of Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). Although these techniques can recover relatively clear 3D reconstructions from blurry image inputs, they still face limitations in handling severe blurring and complex camera motion. To address these issues, we propose Event-assisted 3D Deblur Reconstruction with Gaussian Splatting (EaDeblur-GS), which integrates event camera data to enhance the robustness of 3DGS against motion blur. By employing an Adaptive Deviation Estimator (ADE) network to estimate Gaussian center deviations and using novel loss functions, EaDeblur-GS achieves sharp 3D reconstructions in real-time, demonstrating performance comparable to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google