Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment

要約

Neural Radiance Fields (NeRF) は、高品質のマルチビュー画像を入力として、印象的な 3D 表現学習と新しいビュー合成結果を実現します。
ただし、画像内のモーション ブラーは、低照度で高速のモーション シーンで発生することが多く、NeRF の再構成品質が大幅に低下します。
以前のブレ除去 NeRF 手法は、露光時間中の情報を推定するのに苦労しており、モーション ブラーを正確にモデル化できません。
対照的に、高い時間分解能で強度変化を測定する生物由来のイベントカメラは、この情報不足を補います。
この論文では、ハイブリッド イベント RGB データを活用して、学習可能なポーズと NeRF パラメータを共同最適化する、ブラーリング ニューラル ラジアンス フィールドのためのイベント駆動型バンドル調整 (EBAD-NeRF) を提案します。
カメラ モーション ブラーの明示的なモデリングを強化するために、強度変化メトリック イベント損失とフォトメトリック ブラー損失が導入されています。
合成データと実際にキャプチャされたデータの両方に関する実験結果は、EBAD-NeRF が露光時間中に正確なカメラのポーズを取得し、以前の作品と比較してより鮮明な 3D 表現を学習できることを示しています。

要約(オリジナル)

Neural Radiance Fields (NeRF) achieve impressive 3D representation learning and novel view synthesis results with high-quality multi-view images as input. However, motion blur in images often occurs in low-light and high-speed motion scenes, which significantly degrade the reconstruction quality of NeRF. Previous deblurring NeRF methods are struggling to estimate information during the exposure time, unable to accurately model the motion blur. In contrast, the bio-inspired event camera measuring intensity changes with high temporal resolution makes up this information deficiency. In this paper, we propose Event-driven Bundle Adjustment for Deblurring Neural Radiance Fields (EBAD-NeRF) to jointly optimize the learnable poses and NeRF parameters by leveraging the hybrid event-RGB data. An intensity-change-metric event loss and a photo-metric blur loss are introduced to strengthen the explicit modeling of camera motion blur. Experiment results on both synthetic data and real captured data demonstrate that EBAD-NeRF can obtain accurate camera poses during the exposure time and learn sharper 3D representations compared to prior works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google