EventNeRF: Neural Radiance Fields from a Single Colour Event Camera

要約

非同期で動作するイベント カメラは、ダイナミック レンジが高く、モーション ブラーがなく、遅延が少なく、データ帯域幅が小さいため、多くの用途があります。
この分野はここ数年で目覚ましい進歩を遂げており、既存のイベントベースの 3D 再構築アプローチは、シーンのまばらな点群を復元します。
ただし、このようなスパース性は多くの場合、特にコンピューター ビジョンやグラフィックスの制限要因であり、これまで十分に対処されていません。
したがって、この論文では、単一のカラーイベントストリームを入力として使用する、3D 一貫性のある、高密度でフォトリアリスティックな新しいビュー合成の最初のアプローチを提案します。
私たちの方法の中核にあるのは、カラーイベントチャネルの元の解像度を維持しながら、イベントから完全に自己管理された方法でトレーニングされたニューラル放射輝度フィールドです。
次に、レイ サンプリング戦略はイベントに合わせて調整され、データ効率の高いトレーニングを可能にします。
テストでは、私たちの方法は前例のない品質で RGB 空間で結果を生成します。
いくつかの挑戦的な合成および実際のシーンでこの方法を定性的および定量的に評価し、既存の方法よりもはるかに高密度で視覚的に魅力的なレンダリングを生成することを示します。
また、動きの速い困難なシナリオや低照度条件下での堅牢性も実証しています。
研究分野を促進するために、データセットとソース コードをリリースします。https://4dqv.mpi-inf.mpg.de/EventNeRF/ を参照してください。

要約(オリジナル)

Asynchronously operating event cameras find many applications due to their high dynamic range, no motion blur, low latency and low data bandwidth. The field has seen remarkable progress during the last few years, and existing event-based 3D reconstruction approaches recover sparse point clouds of the scene. However, such sparsity is a limiting factor in many cases, especially in computer vision and graphics, that has not been addressed satisfactorily so far. Accordingly, this paper proposes the first approach for 3D-consistent, dense and photorealistic novel view synthesis using just a single colour event stream as input. At the core of our method is a neural radiance field trained entirely in a self-supervised manner from events while preserving the original resolution of the colour event channels. Next, our ray sampling strategy is tailored to events and allows for data-efficient training. At test, our method produces results in the RGB space at unprecedented quality. We evaluate our method qualitatively and quantitatively on several challenging synthetic and real scenes and show that it produces significantly denser and more visually appealing renderings than the existing methods. We also demonstrate robustness in challenging scenarios with fast motion and under low lighting conditions. We will release our dataset and our source code to facilitate the research field, see https://4dqv.mpi-inf.mpg.de/EventNeRF/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google