Dynamic EventNeRF: Reconstructing General Dynamic Scenes from Multi-view Event Cameras

要約

動的シーンの体積再構成は、コンピュータ ビジョンにおける重要な問題です。
照明が不十分で動きの速い場合は特に困難です。
これは RGB カメラの制限による部分もあります。ブレを少なくして速い動きをキャプチャするには、フレームレートを上げる必要があり、そのためにはより多くの照明が必要になります。
対照的に、ピクセルの明るさの変化を非同期で記録するイベント カメラは、照明への依存度がはるかに低いため、速い動きの記録により適しています。
したがって、我々は、まばらなマルチビュー イベント ストリームとまばらな RGB フレームからシーンを時空間的に再構成する最初の方法を提案します。
一連のクロスフェード時間条件付き NeRF モデルを、短い記録セグメントごとに 1 つずつトレーニングします。
個々のセグメントは、一連のイベントベースおよび RGB ベースの損失とスパースビュー正則化によって監視されます。
オブジェクトの周囲に 6 台の静的イベント カメラを備えた現実世界のマルチビュー カメラ リグを組み立て、困難なモーションのベンチマーク マルチビュー イベント ストリーム データセットを記録します。
私たちの研究は RGB ベースのベースラインを上回り、最先端の結果を生み出し、RGB カメラを超えた高速シーン キャプチャの新しい道としてマルチビュー イベント ベースの再構成というトピックを切り開きました。
コードとデータは https://4dqv.mpi-inf.mpg.de/DynEventNeRF/ で近日公開される予定です。

要約(オリジナル)

Volumetric reconstruction of dynamic scenes is an important problem in computer vision. It is especially challenging in poor lighting and with fast motion. It is partly due to the limitations of RGB cameras: To capture fast motion without much blur, the framerate must be increased, which in turn requires more lighting. In contrast, event cameras, which record changes in pixel brightness asynchronously, are much less dependent on lighting, making them more suitable for recording fast motion. We hence propose the first method to spatiotemporally reconstruct a scene from sparse multi-view event streams and sparse RGB frames. We train a sequence of cross-faded time-conditioned NeRF models, one per short recording segment. The individual segments are supervised with a set of event- and RGB-based losses and sparse-view regularisation. We assemble a real-world multi-view camera rig with six static event cameras around the object and record a benchmark multi-view event stream dataset of challenging motions. Our work outperforms RGB-based baselines, producing state-of-the-art results, and opens up the topic of multi-view event-based reconstruction as a new path for fast scene capture beyond RGB cameras. The code and the data will be released soon at https://4dqv.mpi-inf.mpg.de/DynEventNeRF/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google