Mitigating Motion Blur in Neural Radiance Fields with Events and Frames

要約

Neural Radiance Fields (NeRF)は、新しいビュー合成において大きな可能性を示している。しかし、学習に使用するデータがモーションブラーの影響を受けると、シャープな画像をレンダリングするのに苦労する。一方、イベントカメラは、輝度変化をマイクロ秒の分解能で測定するため、ブレの影響をほとんど受けず、動的なシーンに優れている。最近の手法では、フレームとイベントを融合することで、カメラの動きに対するNeRF再構成を強化しようとしています。しかし、これらの手法は、正確なカラーコンテンツを復元することが困難であったり、NeRFをあらかじめ定義されたカメラポーズに拘束するため、困難な条件下での再構成品質に悪影響を及ぼすという問題に直面している。本論文では、モデルベースと学習ベースの両方のモジュールを活用することで、これらの問題に対処する新しい定式化を提案する。モデルベースの事前学習として、イベント二重積分を利用し、ボケの形成過程を明示的にモデル化する。さらに、学習可能な応答関数を用いてイベントピクセルの応答をモデル化し、本手法が実際のイベントカメラセンサにおける非理想性に適応できるようにする。合成データと実データを用いて、提案手法は、フレームのみを用いる既存のデブラーNeRFと、フレームとイベントを組み合わせる既存のデブラーNeRFを、それぞれ+6.13dBと+2.48dB上回ることを示す。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have shown great potential in novel view synthesis. However, they struggle to render sharp images when the data used for training is affected by motion blur. On the other hand, event cameras excel in dynamic scenes as they measure brightness changes with microsecond resolution and are thus only marginally affected by blur. Recent methods attempt to enhance NeRF reconstructions under camera motion by fusing frames and events. However, they face challenges in recovering accurate color content or constrain the NeRF to a set of predefined camera poses, harming reconstruction quality in challenging conditions. This paper proposes a novel formulation addressing these issues by leveraging both model- and learning-based modules. We explicitly model the blur formation process, exploiting the event double integral as an additional model-based prior. Additionally, we model the event-pixel response using an end-to-end learnable response function, allowing our method to adapt to non-idealities in the real event-camera sensor. We show, on synthetic and real data, that the proposed approach outperforms existing deblur NeRFs that use only frames as well as those that combine frames and events by +6.13dB and +2.48dB, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL