BeNeRF: Neural Radiance Fields from a Single Blurry Image and Event Stream

要約

ビジュアルシーンのニューラル暗黙的表現は、コンピュータービジョンとグラフィックスの最近の研究で多くの注目を集めています。
従来の方法のほとんどは、一連の画像から 3D シーン表現を再構成する方法に焦点を当てていました。
この研究では、単一のぼやけた画像とそれに対応するイベント ストリームから神経放射場 (NeRF) を復元できる可能性を実証します。
SE(3) 空間の 3 次 B-Spline を使用してカメラの動きをモデル化します。
ぼやけた画像と時間間隔内での明るさの変化は、3 次 B スプラインから補間された 6-DoF ポーズを与えられた 3D シーン表現から合成できます。
私たちの方法は、COLMAP から事前に計算されたカメラ ポーズを使用せずに、暗黙的なニューラル シーン表現の両方を共同で学習し、合成データと実際の測定値の差を最小限に抑えることでカメラの動きを復元できます。
合成データセットと実際のデータセットの両方を使用して、提案された方法を評価します。
実験結果は、学習された NeRF からビュー一貫性のある潜在鮮明な画像をレンダリングし、ぼやけた画像を高品質で生き生きとさせることができることを示しています。
コードとデータは https://github.com/wu-cvgl/BeNeRF で入手できます。

要約(オリジナル)

Neural implicit representation of visual scenes has attracted a lot of attention in recent research of computer vision and graphics. Most prior methods focus on how to reconstruct 3D scene representation from a set of images. In this work, we demonstrate the possibility to recover the neural radiance fields (NeRF) from a single blurry image and its corresponding event stream. We model the camera motion with a cubic B-Spline in SE(3) space. Both the blurry image and the brightness change within a time interval, can then be synthesized from the 3D scene representation given the 6-DoF poses interpolated from the cubic B-Spline. Our method can jointly learn both the implicit neural scene representation and recover the camera motion by minimizing the differences between the synthesized data and the real measurements without pre-computed camera poses from COLMAP. We evaluate the proposed method with both synthetic and real datasets. The experimental results demonstrate that we are able to render view-consistent latent sharp images from the learned NeRF and bring a blurry image alive in high quality. Code and data are available at https://github.com/wu-cvgl/BeNeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google