Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions

要約

イベント カメラの設計思想の際立ったコントラストにより、標準カメラでは性能が劣る高速、高ダイナミック レンジ、低照度条件下での動作に特に理想的です。
それにもかかわらず、大方の考えに反して、特にこのような困難な条件下では、イベント カメラは依然としてある程度のモーション ブラーに悩まされています。
これは、イベント センサー ピクセルの帯域幅が制限されていることが原因であり、これは光の強度にほぼ比例します。
したがって、イベント カメラが標準カメラよりも優れている状況で真に優れた性能を発揮できるようにするには、下流のアプリケーション、特に再構築におけるイベント モーション ブラーを考慮することが重要です。
ただし、イベントからニューラル ラディアンス フィールド (NeRF) を再構築する最近の研究やイベント シミュレーターでは、イベント モーション ブラーの影響を完全に考慮したものはありません。
この目的を達成するために、我々は、高速運動または低照度条件下で生成された動きブラーイベントからブラー最小 NeRF を直接的かつ効果的に再構築する新しい方法、Deblur e-NeRF を提案します。
この研究の中核となるコンポーネントは、任意の速度と照明条件下でのイベント モーション ブラーを考慮して提案された、物理的に正確なピクセル帯域幅モデルです。
また、大きなテクスチャレス パッチの正規化を改善するために、新しいしきい値で正規化された合計変動損失も導入します。
実際の、そして新しい現実的にシミュレートされたシーケンスの実験により、私たちの有効性が検証されます。
私たちのコード、イベント シミュレーター、合成イベント データセットはオープンソース化されます。

要約(オリジナル)

The stark contrast in the design philosophy of an event camera makes it particularly ideal for operating under high-speed, high dynamic range and low-light conditions, where standard cameras underperform. Nonetheless, event cameras still suffer from some amount of motion blur, especially under these challenging conditions, in contrary to what most think. This is attributed to the limited bandwidth of the event sensor pixel, which is mostly proportional to the light intensity. Thus, to ensure that event cameras can truly excel in such conditions where it has an edge over standard cameras, it is crucial to account for event motion blur in downstream applications, especially reconstruction. However, none of the recent works on reconstructing Neural Radiance Fields (NeRFs) from events, nor event simulators, have considered the full effects of event motion blur. To this end, we propose, Deblur e-NeRF, a novel method to directly and effectively reconstruct blur-minimal NeRFs from motion-blurred events generated under high-speed motion or low-light conditions. The core component of this work is a physically-accurate pixel bandwidth model proposed to account for event motion blur under arbitrary speed and lighting conditions. We also introduce a novel threshold-normalized total variation loss to improve the regularization of large textureless patches. Experiments on real and novel realistically simulated sequences verify our effectiveness. Our code, event simulator and synthetic event dataset will be open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google