E-NeRF: Neural Radiance Fields from a Moving Event Camera

要約

「理想的な」画像から神経放射輝度場 (NeRF) を推定することは、コンピューター ビジョン コミュニティで広く研究されています。
ほとんどのアプローチは、最適な照明と遅いカメラの動きを前提としています。
これらの仮定は、イメージにモーション ブラーが含まれている可能性があり、シーンに適切な照明がない可能性があるロボット アプリケーションではしばしば違反されます。
これは、ナビゲーション、検査、シーンの視覚化などのダウンストリーム タスクに重大な問題を引き起こす可能性があります。
これらの問題を軽減するために、動きの速いイベント カメラから NeRF の形でボリューム シーン表現を推定する最初の方法である E-NeRF を提示します。
私たちの方法は、非常に速い動きの間、およびフレームベースのアプローチが失敗する高ダイナミックレンジの条件で NeRF を回復できます。
イベント ストリームを入力として提供するだけで、高品質のフレームのレンダリングが可能であることを示します。
さらに、イベントとフレームを組み合わせることで、激しいモーション ブラーの下で最先端のアプローチよりも高品質の NeRF を推定できます。
また、イベントとフレームを組み合わせることで、追加の正則化を必要とせずに少数の入力ビューしか利用できないシナリオで、NeRF 推定の失敗ケースを克服できることも示しています。

要約(オリジナル)

Estimating neural radiance fields (NeRFs) from ‘ideal’ images has been extensively studied in the computer vision community. Most approaches assume optimal illumination and slow camera motion. These assumptions are often violated in robotic applications, where images may contain motion blur, and the scene may not have suitable illumination. This can cause significant problems for downstream tasks such as navigation, inspection, or visualization of the scene. To alleviate these problems, we present E-NeRF, the first method which estimates a volumetric scene representation in the form of a NeRF from a fast-moving event camera. Our method can recover NeRFs during very fast motion and in high-dynamic-range conditions where frame-based approaches fail. We show that rendering high-quality frames is possible by only providing an event stream as input. Furthermore, by combining events and frames, we can estimate NeRFs of higher quality than state-of-the-art approaches under severe motion blur. We also show that combining events and frames can overcome failure cases of NeRF estimation in scenarios where only a few input views are available without requiring additional regularization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google