BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) は、一連のポーズをとったカメラ画像を基に、フォトリアリスティックな 3D 再構成と斬新なビュー合成における優れた機能により、最近かなりの注目を集めています。
以前の研究では通常、入力画像が高品質であることを前提としていました。
ただし、現実世界のシナリオでは画像の劣化 (例: 低照度条件での画像の動きによるぼやけ) が簡単に発生する可能性があり、NeRF のレンダリング品質にさらに影響を与える可能性があります。
この論文では、深刻なモーションブラー画像や不正確なカメラポーズに対して堅牢な、新しいバンドル調整されたブレ補正ニューラル放射フィールド (BAD-NeRF) を紹介します。
私たちのアプローチは、モーションブラー画像の物理的な画像形成プロセスをモデル化し、NeRF のパラメーターを共同学習して、露光時間中のカメラの動きの軌跡を復元します。
実験では、実際の物理的な画像形成プロセスを直接モデル化することにより、BAD-NeRF が合成データセットと実際のデータセットの両方で以前の研究よりも優れたパフォーマンスを達成することを示しました。
コードとデータは https://github.com/WU-CVGL/BAD-NeRF で入手できます。

要約(オリジナル)

Neural Radiance Fields (NeRF) have received considerable attention recently, due to its impressive capability in photo-realistic 3D reconstruction and novel view synthesis, given a set of posed camera images. Earlier work usually assumes the input images are of good quality. However, image degradation (e.g. image motion blur in low-light conditions) can easily happen in real-world scenarios, which would further affect the rendering quality of NeRF. In this paper, we present a novel bundle adjusted deblur Neural Radiance Fields (BAD-NeRF), which can be robust to severe motion blurred images and inaccurate camera poses. Our approach models the physical image formation process of a motion blurred image, and jointly learns the parameters of NeRF and recovers the camera motion trajectories during exposure time. In experiments, we show that by directly modeling the real physical image formation process, BAD-NeRF achieves superior performance over prior works on both synthetic and real datasets. Code and data are available at https://github.com/WU-CVGL/BAD-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google