Physical Priors Augmented Event-Based 3D Reconstruction

要約

3D ニューラル暗黙的表現は、多くのロボット アプリケーションで重要な要素を果たします。
ただし、現実的なイベント データから神経放射フィールド (NeRF) を再構築することは、イベント ストリームのみが利用可能な場合の情報の希薄性と不足のため、依然として課題が残っています。
この論文では、イベント データの背後にあるモーション、ジオメトリ、密度事前分布を利用して、NeRF トレーニングを強化するための強力な物理的制約を課します。
提案された新しいパイプラインは、追加の入力なしで 3D シーンを再構築するために、これらの事前予測から直接恩恵を受けることができます。
さらに、堅牢かつ効率的な学習のための新しい密度ガイド付きパッチベースのサンプリング戦略を提案します。これは、トレーニング手順を高速化するだけでなく、局所幾何学的形状の表現にも役立ちます。
さらに重要なことは、イベントベースの 3D 再構成のための最初の大規模なデータセットを確立したことです。これには、さまざまな材質と形状を持つ 101 個のオブジェクトと、すべてのカメラ視点の画像と深度マップのグラウンドトゥルースが含まれており、関連分野の他の研究が大幅に促進されます。
コードとデータセットは https://github.com/Mercerai/PAEv3d で公開されます。

要約(オリジナル)

3D neural implicit representations play a significant component in many robotic applications. However, reconstructing neural radiance fields (NeRF) from realistic event data remains a challenge due to the sparsities and the lack of information when only event streams are available. In this paper, we utilize motion, geometry, and density priors behind event data to impose strong physical constraints to augment NeRF training. The proposed novel pipeline can directly benefit from those priors to reconstruct 3D scenes without additional inputs. Moreover, we present a novel density-guided patch-based sampling strategy for robust and efficient learning, which not only accelerates training procedures but also conduces to expressions of local geometries. More importantly, we establish the first large dataset for event-based 3D reconstruction, which contains 101 objects with various materials and geometries, along with the groundtruth of images and depth maps for all camera viewpoints, which significantly facilitates other research in the related fields. The code and dataset will be publicly available at https://github.com/Mercerai/PAEv3d.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google