EventNeRF: Neural Radiance Fields from a Single Colour Event Camera

要約

神経放射輝度フィールド（NeRF）などの座標ベースのボリューム3Dシーン表現の学習は、これまでRGBまたはRGB-D画像を入力として想定して研究されてきました。
同時に、神経科学の文献から、人間の視覚システム（HVS）は、ナビゲーションと生存のために周囲の精神的な3D表現を構築および継続的に更新するために、同期RGB画像ではなく非同期輝度変化を処理するように調整されていることが知られています。
HVSの原理に触発された視覚センサーはイベントカメラです。
したがって、イベントはスパースで非同期のピクセルごとの明るさ（またはカラーチャネル）の変更信号です。
ニューラル3Dシーン表現学習に関する既存の研究とは対照的に、この論文は新しい視点から問題にアプローチします。
非同期イベントストリームからRGB空間での新規ビュー合成に適したNeRFを学習できることを示します。
私たちのモデルは、RGB空間で挑戦的なシーンのレンダリングされた斬新なビューの高い視覚的精度を実現しますが、データが大幅に少なくなり（つまり、オブジェクトの周りを移動する単一のイベントカメラからのイベントストリーム）、より効率的に（
RGB画像でトレーニングされた既存のNeRFモデルよりもイベントストリームの固有のスパース性）。
データセットとソースコードをリリースします。https：//4dqv.mpi-inf.mpg.de/EventNeRF/を参照してください。

要約(オリジナル)

Learning coordinate-based volumetric 3D scene representations such as neural radiance fields (NeRF) has been so far studied assuming RGB or RGB-D images as inputs. At the same time, it is known from the neuroscience literature that human visual system (HVS) is tailored to process asynchronous brightness changes rather than synchronous RGB images, in order to build and continuously update mental 3D representations of the surroundings for navigation and survival. Visual sensors that were inspired by HVS principles are event cameras. Thus, events are sparse and asynchronous per-pixel brightness (or colour channel) change signals. In contrast to existing works on neural 3D scene representation learning, this paper approaches the problem from a new perspective. We demonstrate that it is possible to learn NeRF suitable for novel-view synthesis in the RGB space from asynchronous event streams. Our models achieve high visual accuracy of the rendered novel views of challenging scenes in the RGB space, even though they are trained with substantially fewer data (i.e., event streams from a single event camera moving around the object) and more efficiently (due to the inherent sparsity of event streams) than the existing NeRF models trained with RGB images. We will release our datasets and the source code, see https://4dqv.mpi-inf.mpg.de/EventNeRF/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google