FIReStereo: Forest InfraRed Stereo Dataset for UAS Depth Perception in Visually Degraded Environments

要約

視覚的に劣悪な環境における堅牢な奥行き認識は、自律型航空システムにとって非常に重要です。
赤外線を捕捉する熱画像カメラは、視覚的な劣化に対して堅牢です。
しかし、大規模なデータセットが不足しているため、無人航空システム (UAS) の深度認識にサーマル カメラを使用することは、ほとんど研究されていないままです。
この論文では、自律型空中知覚アプリケーション用のステレオ熱深度知覚データセットを紹介します。
このデータセットは、昼、夜、雨、煙などのさまざまな条件下で都市や森林環境で撮影されたステレオ熱画像、LiDAR、IMU、グラウンド トゥルース深度マップで構成されています。
代表的なステレオ深度推定アルゴリズムをベンチマークし、劣化した条件でのパフォーマンスに関する洞察を提供します。
私たちのデータセットでトレーニングされたモデルは、目に見えない煙のような状況によく一般化されており、奥行き認識に対するステレオ熱画像の堅牢性が強調されています。
私たちはこの取り組みにより、災害シナリオにおけるロボットの認識を強化し、これまで到達できなかった領域での探索と操作を可能にすることを目指しています。
データセットとソース コードは https://firestereo.github.io で入手できます。

要約(オリジナル)

Robust depth perception in visually-degraded environments is crucial for autonomous aerial systems. Thermal imaging cameras, which capture infrared radiation, are robust to visual degradation. However, due to lack of a large-scale dataset, the use of thermal cameras for unmanned aerial system (UAS) depth perception has remained largely unexplored. This paper presents a stereo thermal depth perception dataset for autonomous aerial perception applications. The dataset consists of stereo thermal images, LiDAR, IMU and ground truth depth maps captured in urban and forest settings under diverse conditions like day, night, rain, and smoke. We benchmark representative stereo depth estimation algorithms, offering insights into their performance in degraded conditions. Models trained on our dataset generalize well to unseen smoky conditions, highlighting the robustness of stereo thermal imaging for depth perception. We aim for this work to enhance robotic perception in disaster scenarios, allowing for exploration and operations in previously unreachable areas. The dataset and source code are available at https://firestereo.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google