A Survey of 3D Reconstruction with Event Cameras

要約

イベントカメラは、3D再建のための強力な視覚センサーとして急速に浮上しており、ピクセルあたりの輝度の変化を非同期的にキャプチャすることができます。
従来のフレームベースのカメラと比較して、イベントカメラはまばらでありながら一時的に密度の高いデータストリームを生成し、高速モーション、低照明、極端なダイナミックレンジシナリオなどの困難な条件下でも堅牢で正確な3D再構成を可能にします。
これらの機能は、自律運転、ロボット工学、空中ナビゲーション、没入型の仮想現実など、さまざまな分野での変革的アプリケーションに大きな約束を提供します。
この調査では、イベントベースの3D再建専用の最初の包括的なレビューを紹介します。
既存のアプローチは、ステレオ、モノクラー、およびマルチモーダルシステムへの入力モダリティに基づいて体系的に分類され、幾何学ベースの技術、深い学習アプローチ、神経放射輝度フィールド（NERF）や3Dガウシアンスプライティング（3DGS）などの神経レンダリング技術を含む再構築方法に従ってさらに分類されます。
各カテゴリ内で、メソッドは時系列に組織されており、重要な概念と進歩の進化を強調しています。
さらに、イベントベースの再構築タスクに特に適した公開されているデータセットの詳細な要約を提供します。
最後に、データセットの可用性、標準化された評価、効果的な表現、動的なシーンの再構築における重要なオープンな課題について説明し、将来の研究のための洞察に満ちた方向性を概説します。
この調査の目的は、重要な参照として機能することを目的としており、イベント駆動型の3D再構築における最先端の最先端を前進させるための明確でやる気のあるロードマップを提供します。

要約(オリジナル)

Event cameras are rapidly emerging as powerful vision sensors for 3D reconstruction, uniquely capable of asynchronously capturing per-pixel brightness changes. Compared to traditional frame-based cameras, event cameras produce sparse yet temporally dense data streams, enabling robust and accurate 3D reconstruction even under challenging conditions such as high-speed motion, low illumination, and extreme dynamic range scenarios. These capabilities offer substantial promise for transformative applications across various fields, including autonomous driving, robotics, aerial navigation, and immersive virtual reality. In this survey, we present the first comprehensive review exclusively dedicated to event-based 3D reconstruction. Existing approaches are systematically categorised based on input modality into stereo, monocular, and multimodal systems, and further classified according to reconstruction methodologies, including geometry-based techniques, deep learning approaches, and neural rendering techniques such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). Within each category, methods are chronologically organised to highlight the evolution of key concepts and advancements. Furthermore, we provide a detailed summary of publicly available datasets specifically suited to event-based reconstruction tasks. Finally, we discuss significant open challenges in dataset availability, standardised evaluation, effective representation, and dynamic scene reconstruction, outlining insightful directions for future research. This survey aims to serve as an essential reference and provides a clear and motivating roadmap toward advancing the state of the art in event-driven 3D reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google