EVI-SAM: Robust, Real-time, Tightly-coupled Event-Visual-Inertial State Estimation and 3D Dense Mapping

要約

イベント カメラは、生物由来のモーション起動センサーで、モーション ブラーやハイ ダイナミック レンジなどの困難な状況に対処する際に大きな可能性を示します。
この論文では、単眼イベント カメラを使用した 6 DoF 姿勢追跡と 3D 再構成の問題に取り組む EVI-SAM を提案しました。
新しいイベントベースのハイブリッド追跡フレームワークは、特徴マッチングの堅牢性と直接位置合わせの精度を活用して姿勢を推定するように設計されています。
具体的には、イベントベースの 2D-2D アライメントを開発して測光制約を構築し、それをイベントベースの再投影制約と緊密に統合します。
マッピング モジュールは、画像ガイド付きのイベントベースのマッピング方法を通じて、シーンの高密度でカラフルな奥行きを復元します。
その後、TSDF (truncated signed distance function) フュージョンを使用して、複数の視点からの高密度深度マップをフュージョンすることで、3D シーンの外観、テクスチャ、および表面メッシュを再構築できます。
私たちの知る限り、これはイベントベースの密なマッピングを実現する最初の非学習作業です。
数値評価は、公的に入手可能なデータセットと自己収集されたデータセットの両方に対して実行され、私たちの手法の優れたパフォーマンスを定性的および定量的に実証します。
当社の EVI-SAM は、計算効率を維持しながら精度と堅牢性のバランスを効果的に保ち、困難なシナリオでも優れた姿勢追跡と高密度マッピングのパフォーマンスを発揮します。
ビデオデモ: https://youtu.be/Nn40U4e5Si8。

要約(オリジナル)

Event cameras are bio-inspired, motion-activated sensors that demonstrate substantial potential in handling challenging situations, such as motion blur and high-dynamic range. In this paper, we proposed EVI-SAM to tackle the problem of 6 DoF pose tracking and 3D reconstruction using monocular event camera. A novel event-based hybrid tracking framework is designed to estimate the pose, leveraging the robustness of feature matching and the precision of direct alignment. Specifically, we develop an event-based 2D-2D alignment to construct the photometric constraint, and tightly integrate it with the event-based reprojection constraint. The mapping module recovers the dense and colorful depth of the scene through the image-guided event-based mapping method. Subsequently, the appearance, texture, and surface mesh of the 3D scene can be reconstructed by fusing the dense depth map from multiple viewpoints using truncated signed distance function (TSDF) fusion. To the best of our knowledge, this is the first non-learning work to realize event-based dense mapping. Numerical evaluations are performed on both publicly available and self-collected datasets, which qualitatively and quantitatively demonstrate the superior performance of our method. Our EVI-SAM effectively balances accuracy and robustness while maintaining computational efficiency, showcasing superior pose tracking and dense mapping performance in challenging scenarios. Video Demo: https://youtu.be/Nn40U4e5Si8.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google