All-day Depth Completion via Thermal-LiDAR Fusion

要約

疎なLiDARやRGB画像から密な深度を推定する深度補完は、明るい条件下で優れた性能を発揮してきた。しかし、RGBセンサーの限界のため、既存の方法は、しばしば豪雨や低照度条件などの過酷な環境で信頼性の高いパフォーマンスを達成するのに苦労しています。さらに、グラウンドトゥルースの深度マップは、大雨のような悪天候では測定値が欠落することが多く、十分な監視ができないことがあります。対照的に、サーマルカメラはこのような条件下でも鮮明で信頼性の高い視界を提供することが知られていますが、サーマルLiDARによる深度補完に関する研究はまだ十分に行われていません。さらに、ぼやけ、低コントラスト、ノイズといった熱画像の特性は、不明瞭な深度境界の問題をもたらす。これらの課題を解決するために、我々はまず、MS$^2$データセットとViViDデータセットの広範なベンチマークを実施することで、多様な照明（例えば、明るい、暗い）、天候（例えば、晴天、雨天）、環境（例えば、屋内、屋外）条件下での熱-LiDAR奥行き補完の実現可能性とロバスト性を評価する。さらに、COPS(COntrastive learning and Pseudo Supervision)を利用したフレームワークを提案し、2つの重要な方法で奥行き基礎モデルを活用することで、奥行き境界の明瞭性を高め、補完精度を向上させる。第一に、COPSは奥行き境界を鮮明にするために、単眼の奥行き基礎モデルを用いて正と負のサンプルをマイニングすることにより、異なる奥行き点間の奥行きを意識したコントラスト損失を強制する。第二に、基礎モデルの予測を密な深度プライアとして活用することで、グランドトゥルースの深度マップからの不完全な監視の問題を緩和する。また、このタスクを理解し、将来の研究を促進するために、熱LiDAR深度補完における主要な課題の詳細な分析を提供する。

要約(オリジナル)

Depth completion, which estimates dense depth from sparse LiDAR and RGB images, has demonstrated outstanding performance in well-lit conditions. However, due to the limitations of RGB sensors, existing methods often struggle to achieve reliable performance in harsh environments, such as heavy rain and low-light conditions. Furthermore, we observe that ground truth depth maps often suffer from large missing measurements in adverse weather conditions such as heavy rain, leading to insufficient supervision. In contrast, thermal cameras are known for providing clear and reliable visibility in such conditions, yet research on thermal-LiDAR depth completion remains underexplored. Moreover, the characteristics of thermal images, such as blurriness, low contrast, and noise, bring unclear depth boundary problems. To address these challenges, we first evaluate the feasibility and robustness of thermal-LiDAR depth completion across diverse lighting (eg., well-lit, low-light), weather (eg., clear-sky, rainy), and environment (eg., indoor, outdoor) conditions, by conducting extensive benchmarks on the MS$^2$ and ViViD datasets. In addition, we propose a framework that utilizes COntrastive learning and Pseudo-Supervision (COPS) to enhance depth boundary clarity and improve completion accuracy by leveraging a depth foundation model in two key ways. First, COPS enforces a depth-aware contrastive loss between different depth points by mining positive and negative samples using a monocular depth foundation model to sharpen depth boundaries. Second, it mitigates the issue of incomplete supervision from ground truth depth maps by leveraging foundation model predictions as dense depth priors. We also provide in-depth analyses of the key challenges in thermal-LiDAR depth completion to aid in understanding the task and encourage future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL