SLAM in the Dark: Self-Supervised Learning of Pose, Depth and Loop-Closure from Thermal Images

要約

ビジュアルスラムは、モバイルロボット、ドローンナビゲーション、VR/ARに不可欠ですが、従来のRGBカメラシステムは低光条件で苦労しており、そのような環境で優れているサーマルスラムに関心があります。
ただし、熱イメージングは​​、コントラストが低い、高騒音、限られた大規模な注釈付きデータセットなどの課題に直面し、屋外シナリオでの深い学習の使用を制限します。
複雑な照明条件での大規模な局所化と再構築のために設計されたノーバルディープラーニングベースの単眼の熱スラムシステムであるダークラムを提示します。OURアプローチは、視覚臭感覚に効率的なチャネル注意（ECA）メカニズムを組み込んでおり、ポース精度とマイテギン酸塩深度劣化を強化するための深さ推定における選択的カーネル注意（SKA）メカニズムを組み込みます。
さらに、システムには、熱深度ベースのループ閉鎖検出と最適化のポーズが含まれており、低テクスチャサーマルシーンでの堅牢な性能を確保します。
広範な屋外実験は、DarkslamがSC-SFM-LearnerやShin et al。などの既存の方法を大幅に上回ることを示しており、挑戦的な夜間環境でも正確なローカリゼーションと3D密度のマッピングを提供しています。

要約(オリジナル)

Visual SLAM is essential for mobile robots, drone navigation, and VR/AR, but traditional RGB camera systems struggle in low-light conditions, driving interest in thermal SLAM, which excels in such environments. However, thermal imaging faces challenges like low contrast, high noise, and limited large-scale annotated datasets, restricting the use of deep learning in outdoor scenarios. We present DarkSLAM, a noval deep learning-based monocular thermal SLAM system designed for large-scale localization and reconstruction in complex lighting conditions.Our approach incorporates the Efficient Channel Attention (ECA) mechanism in visual odometry and the Selective Kernel Attention (SKA) mechanism in depth estimation to enhance pose accuracy and mitigate thermal depth degradation. Additionally, the system includes thermal depth-based loop closure detection and pose optimization, ensuring robust performance in low-texture thermal scenes. Extensive outdoor experiments demonstrate that DarkSLAM significantly outperforms existing methods like SC-Sfm-Learner and Shin et al., delivering precise localization and 3D dense mapping even in challenging nighttime environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google