E-3DGS: Gaussian Splatting with Exposure and Motion Events

要約

最適な条件下でキャプチャされた画像からの3D再構成を達成することは、ビジョンフィールドとイメージング分野で広く研究されています。
ただし、現実世界のシナリオでは、モーションブルールや照明が不十分な課題は、多くの場合、高品質の画像を提供する標準フレームベースのカメラの性能を制限します。
これらの制限に対処するために、ハードウェアレベルに送信調整デバイスを組み込み、イベントカメラが多様な3D再構成シナリオのモーションイベントと露出イベントの両方をキャプチャできるようにします。
モーションイベント（カメラまたはオブジェクトの動きによってトリガーされる）は、デバイスが非アクティブであるときに高速モーションシナリオで収集されますが、露出イベント（制御されたカメラ露出によって生成される）は、イベントベースの3D Gaussian Splatting（3DGS）の高品質のトレーニングと最適化のためにグレースケール画像を再構築するために、より遅い動きでキャプチャされます。
私たちのフレームワークは、露出イベントを使用した高品質の再構築、モーションイベントに依存する高速再構成、および初期露出イベントと高速モーションイベントのバランスの取れたハイブリッドの最適化の3つのモードをサポートしています。
eventnerfデータセットでは、露出イベントがモーションイベントと比較して細部の再構築を大幅に改善し、低照明や過剰露出などの困難な条件下でフレームベースのカメラを上回ることを実証します。
さらに、露出イベント、モーションイベント、カメラキャリブレーションパラメーター、およびスパースポイントクラウドを備えた実際の3DデータセットであるEME-3Dを紹介します。
私たちの方法は、イベントベースのNERFよりも高速かつ高品質の再構築を実現し、イベントとRGBデータを組み合わせた方法よりも費用対効果が高くなります。
E-3DGSは、困難な状況とハードウェアの需要の低下で堅牢なパフォーマンスを備えたイベントベースの3D再構成の新しいベンチマークを設定します。
ソースコードとデータセットは、https：//github.com/masterhow/e-3dgsで入手できます。

要約(オリジナル)

Achieving 3D reconstruction from images captured under optimal conditions has been extensively studied in the vision and imaging fields. However, in real-world scenarios, challenges such as motion blur and insufficient illumination often limit the performance of standard frame-based cameras in delivering high-quality images. To address these limitations, we incorporate a transmittance adjustment device at the hardware level, enabling event cameras to capture both motion and exposure events for diverse 3D reconstruction scenarios. Motion events (triggered by camera or object movement) are collected in fast-motion scenarios when the device is inactive, while exposure events (generated through controlled camera exposure) are captured during slower motion to reconstruct grayscale images for high-quality training and optimization of event-based 3D Gaussian Splatting (3DGS). Our framework supports three modes: High-Quality Reconstruction using exposure events, Fast Reconstruction relying on motion events, and Balanced Hybrid optimizing with initial exposure events followed by high-speed motion events. On the EventNeRF dataset, we demonstrate that exposure events significantly improve fine detail reconstruction compared to motion events and outperform frame-based cameras under challenging conditions such as low illumination and overexposure. Furthermore, we introduce EME-3D, a real-world 3D dataset with exposure events, motion events, camera calibration parameters, and sparse point clouds. Our method achieves faster and higher-quality reconstruction than event-based NeRF and is more cost-effective than methods combining event and RGB data. E-3DGS sets a new benchmark for event-based 3D reconstruction with robust performance in challenging conditions and lower hardware demands. The source code and dataset will be available at https://github.com/MasterHow/E-3DGS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google