Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment

要約

Neural Radiance Fields (NeRF) は、高品質のマルチビュー画像を入力として、印象的な 3D 表現学習と新しいビュー合成結果を実現します。
ただし、画像内のモーション ブラーは、低照度で高速のモーション シーンで発生することが多く、NeRF の再構成品質が大幅に低下します。
これまでのブラー除去 NeRF 手法では、露光時間中の姿勢や照明の変化を推定することが困難で、モーション ブラーを正確にモデル化できませんでした。
この情報不足を補うのが、高い時間分解能で強度の変化を測定する生物由来のイベントカメラです。
この論文では、ハイブリッド イベント RGB データを活用して、学習可能なポーズと NeRF パラメータを共同最適化する、ブラーリング ニューラル ラジアンス フィールドのためのイベント駆動型バンドル調整 (EBAD-NeRF) を提案します。
カメラ モーション ブラーの明示的なモデリングを強化するために、強度変化メトリック イベント損失とフォトメトリック ブラー損失が導入されています。
合成データと実際にキャプチャされたデータの両方に関する実験により、EBAD-NeRF が露光時間中に正確なカメラ軌道を取得し、従来の研究と比較してより鮮明な 3D 表現を学習できることが実証されました。

要約(オリジナル)

Neural Radiance Fields (NeRF) achieves impressive 3D representation learning and novel view synthesis results with high-quality multi-view images as input. However, motion blur in images often occurs in low-light and high-speed motion scenes, which significantly degrades the reconstruction quality of NeRF. Previous deblurring NeRF methods struggle to estimate pose and lighting changes during the exposure time, making them unable to accurately model the motion blur. The bio-inspired event camera measuring intensity changes with high temporal resolution makes up this information deficiency. In this paper, we propose Event-driven Bundle Adjustment for Deblurring Neural Radiance Fields (EBAD-NeRF) to jointly optimize the learnable poses and NeRF parameters by leveraging the hybrid event-RGB data. An intensity-change-metric event loss and a photo-metric blur loss are introduced to strengthen the explicit modeling of camera motion blur. Experiments on both synthetic and real-captured data demonstrate that EBAD-NeRF can obtain accurate camera trajectory during the exposure time and learn a sharper 3D representations compared to prior works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google