RGB-D And Thermal Sensor Fusion: A Systematic Literature Review

要約

過去 10 年間、コンピューター ビジョンの分野では、マルチモーダル データの融合と学習において大きな進歩が見られ、深度センサー、赤外線センサー、視覚センサーなどの複数のセンサーを使用して、さまざまなスペクトル範囲にわたって環境を捉えることができました。
これらの進歩にもかかわらず、RGB-D と熱モダリティの融合に関する体系的かつ包括的な評価はこれまで行われていません。
LiDAR、レーダー、RGB、その他のセンサーを使用した自動運転は、RGB と深度モダリティの融合とともに大きな研究関心を集めていますが、サーマル カメラの統合、特に RGB-D とサーマル データの融合が注目を集めています。
比較的注目度が低い。
これは、そのようなアプリケーションで公開されているデータセットの数が限られていることが部分的に原因である可能性があります。
このペーパーでは、現場検査、人間追跡、障害検出などのさまざまな用途で RGB-D とサーマル カメラ データを融合する際に使用される最先端の方法と従来の方法の両方を包括的にレビューします。
レビューされた文献は、3D 再構成、セグメンテーション、オブジェクト検出、利用可能なデータセット、その他の関連トピックなどの技術分野に分類されています。
この研究では、方法論の簡単な紹介と概要に続いて、キャリブレーションとレジストレーション技術を詳しく調べ、次に熱可視化と 3D 再構築を検討してから、古典的な特徴ベースの技術と最新の深層学習アプローチの適用について説明します。
この論文は、現在の限界と将来の研究の可能性についての論述で締めくくられています。
この調査が、最新の進歩を知り、RGB-DT 研究分野に貢献したいと考えている研究者にとって貴重な参考資料となることが期待されます。

要約(オリジナル)

In the last decade, the computer vision field has seen significant progress in multimodal data fusion and learning, where multiple sensors, including depth, infrared, and visual, are used to capture the environment across diverse spectral ranges. Despite these advancements, there has been no systematic and comprehensive evaluation of fusing RGB-D and thermal modalities to date. While autonomous driving using LiDAR, radar, RGB, and other sensors has garnered substantial research interest, along with the fusion of RGB and depth modalities, the integration of thermal cameras and, specifically, the fusion of RGB-D and thermal data, has received comparatively less attention. This might be partly due to the limited number of publicly available datasets for such applications. This paper provides a comprehensive review of both, state-of-the-art and traditional methods used in fusing RGB-D and thermal camera data for various applications, such as site inspection, human tracking, fault detection, and others. The reviewed literature has been categorised into technical areas, such as 3D reconstruction, segmentation, object detection, available datasets, and other related topics. Following a brief introduction and an overview of the methodology, the study delves into calibration and registration techniques, then examines thermal visualisation and 3D reconstruction, before discussing the application of classic feature-based techniques as well as modern deep learning approaches. The paper concludes with a discourse on current limitations and potential future research directions. It is hoped that this survey will serve as a valuable reference for researchers looking to familiarise themselves with the latest advancements and contribute to the RGB-DT research field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google