Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion

要約

イベント カメラは、低電力、低遅延、高時間解像度、高ダイナミック レンジといった独特の動作原理により、標準カメラに比べて多くの利点をもたらします。
それにもかかわらず、多くの下流ビジュアル アプリケーションの成功は、効率的かつ効果的なシーン表現にもかかっており、Neural Radiance Field (NeRF) が有力な候補とみなされています。
イベント カメラと NeRF のこのような有望性と可能性は、移動するイベント カメラからの NeRF の再構成を調査する最近の研究に影響を与えました。
ただし、これらの研究は主に、高密度で低ノイズのイベント ストリームへの依存、および任意のコントラストしきい値とカメラ速度プロファイルへの一般化という点で制限されています。
この研究では、現実世界のさまざまな条件下で移動イベントカメラ、特に不均一な動きの下で生成されたまばらでノイズの多いイベントからNeRFを直接かつロバストに再構築する新しい方法であるRobust e-NeRFを提案します。
それは 2 つの重要なコンポーネントで構成されます。1 つは、さまざまな固有パラメーター (時間に依存しない非対称閾値や不応期など) と非理想性 (ピクセルごとの閾値変動など) を考慮した現実的なイベント生成モデル、および補完的なモデルです。
このような事前知識がなくても、任意の速度プロファイルと固有のパラメータ値を効果的に一般化できる正規化された再構成損失のペア。
実際の、そして新しい現実的にシミュレートされたシーケンスの実験により、私たちの有効性が検証されます。
私たちのコード、合成データセット、改良されたイベント シミュレーターは公開されています。

要約(オリジナル)

Event cameras offer many advantages over standard cameras due to their distinctive principle of operation: low power, low latency, high temporal resolution and high dynamic range. Nonetheless, the success of many downstream visual applications also hinges on an efficient and effective scene representation, where Neural Radiance Field (NeRF) is seen as the leading candidate. Such promise and potential of event cameras and NeRF inspired recent works to investigate on the reconstruction of NeRF from moving event cameras. However, these works are mainly limited in terms of the dependence on dense and low-noise event streams, as well as generalization to arbitrary contrast threshold values and camera speed profiles. In this work, we propose Robust e-NeRF, a novel method to directly and robustly reconstruct NeRFs from moving event cameras under various real-world conditions, especially from sparse and noisy events generated under non-uniform motion. It consists of two key components: a realistic event generation model that accounts for various intrinsic parameters (e.g. time-independent, asymmetric threshold and refractory period) and non-idealities (e.g. pixel-to-pixel threshold variation), as well as a complementary pair of normalized reconstruction losses that can effectively generalize to arbitrary speed profiles and intrinsic parameter values without such prior knowledge. Experiments on real and novel realistically simulated sequences verify our effectiveness. Our code, synthetic dataset and improved event simulator are public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google