DH-PTAM: A Deep Hybrid Stereo Events-Frames Parallel Tracking And Mapping System

要約

この論文では、困難な環境で優れた視覚的並列追跡およびマッピング (PTAM) システムのための堅牢なアプローチを紹介します。
私たちが提案する方法は、ステレオ視覚フレームとステレオ イベント ストリームの新しい時空間同期を通じて、ステレオ イベントベースおよびフレームベースのセンサーを含む異種マルチモーダル視覚センサーの長所を統合された参照フレームに組み合わせます。
推定には深層学習ベースの特徴抽出と記述を採用し、ロバスト性をさらに強化しています。
また、効率的な SLAM 動作のために、シンプルなループ閉鎖アルゴリズムによって補完された、エンドツーエンドの並列追跡およびマッピングの最適化レイヤーも導入します。
VECtor と TUM-VIE ベンチマークの小規模と大規模の両方の実世界シーケンスに関する包括的な実験を通じて、私たちの提案手法 (DH-PTAM) は、悪条件下、特に大規模な環境下での堅牢性と精度の点で優れたパフォーマンスを実証します。
HDR シナリオ。
私たちの実装の研究ベースの Python API は、さらなる研究開発のために GitHub で公開されています: https://github.com/AbanobSoliman/DH-PTAM。

要約(オリジナル)

This paper presents a robust approach for a visual parallel tracking and mapping (PTAM) system that excels in challenging environments. Our proposed method combines the strengths of heterogeneous multi-modal visual sensors, including stereo event-based and frame-based sensors, in a unified reference frame through a novel spatio-temporal synchronization of stereo visual frames and stereo event streams. We employ deep learning-based feature extraction and description for estimation to enhance robustness further. We also introduce an end-to-end parallel tracking and mapping optimization layer complemented by a simple loop-closure algorithm for efficient SLAM behavior. Through comprehensive experiments on both small-scale and large-scale real-world sequences of VECtor and TUM-VIE benchmarks, our proposed method (DH-PTAM) demonstrates superior performance in terms of robustness and accuracy in adverse conditions, especially in large-scale HDR scenarios. Our implementation’s research-based Python API is publicly available on GitHub for further research and development: https://github.com/AbanobSoliman/DH-PTAM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google