E-3DGS: Gaussian Splatting with Exposure and Motion Events

要約

最適な条件下で撮影された画像から神経放射場 (NeRF) を推定することは、視覚コミュニティで広く研究されてきました。
ただし、ロボット アプリケーションは、モーション ブラー、不十分な照明、高い計算オーバーヘッドなどの課題に直面することが多く、ナビゲーション、検査、シーンの視覚化などの下流のタスクに悪影響を及ぼします。
これらの課題に対処するために、我々は、イベントをモーション (カメラまたはオブジェクトの動きから) と露出 (カメラ露出から) に分割する新しいイベントベースのアプローチである E-3DGS を提案します。前者を使用して高速モーション シーンを処理し、後者を使用します。
イベントベースの 3D ガウス スプラッティング (3DGS) の高品質トレーニングと最適化のためにグレースケール画像を再構築します。
明示的なシーン表現の高品質な再構築のために、3DGS と露光イベントの新しい統合を導入します。
当社の多用途フレームワークは、3D 再構築のためにモーション イベントのみを操作したり、露光イベントを使用して品質を向上させたり、初期露光イベントとそれに続く高速モーション イベントで最適化することで品質と効果のバランスを取るハイブリッド モードを採用したりできます。
また、露出イベント、モーション イベント、カメラ キャリブレーション パラメーター、まばらな点群を含む現実世界の 3D データセットである EME-3D も紹介します。
私たちの方法は、イベントベースの NeRF よりも高速で再構成品質が高く、単一のイベント センサーを使用してイベントと RGB データを組み合わせる NeRF 方法よりもコスト効率が高くなります。
E-3DGS は、モーション イベントと露出イベントを組み合わせることで、厳しい条件下でもハードウェア要求が低くても堅牢なパフォーマンスを備えた、イベントベースの 3D 再構成の新しいベンチマークを設定します。
ソース コードとデータセットは https://github.com/MasterHow/E-3DGS で入手できます。

要約(オリジナル)

Estimating Neural Radiance Fields (NeRFs) from images captured under optimal conditions has been extensively explored in the vision community. However, robotic applications often face challenges such as motion blur, insufficient illumination, and high computational overhead, which adversely affect downstream tasks like navigation, inspection, and scene visualization. To address these challenges, we propose E-3DGS, a novel event-based approach that partitions events into motion (from camera or object movement) and exposure (from camera exposure), using the former to handle fast-motion scenes and using the latter to reconstruct grayscale images for high-quality training and optimization of event-based 3D Gaussian Splatting (3DGS). We introduce a novel integration of 3DGS with exposure events for high-quality reconstruction of explicit scene representations. Our versatile framework can operate on motion events alone for 3D reconstruction, enhance quality using exposure events, or adopt a hybrid mode that balances quality and effectiveness by optimizing with initial exposure events followed by high-speed motion events. We also introduce EME-3D, a real-world 3D dataset with exposure events, motion events, camera calibration parameters, and sparse point clouds. Our method is faster and delivers better reconstruction quality than event-based NeRF while being more cost-effective than NeRF methods that combine event and RGB data by using a single event sensor. By combining motion and exposure events, E-3DGS sets a new benchmark for event-based 3D reconstruction with robust performance in challenging conditions and lower hardware demands. The source code and dataset will be available at https://github.com/MasterHow/E-3DGS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google