Dynamic-Dark SLAM: RGB-Thermal Cooperative Robot Vision Strategy for Multi-Person Tracking in Both Well-Lit and Low-Light Scenes

要約

ロボットビジョンでは、サーマルカメラは、完全な暗闇の中でも人間を認識するための大きな可能性を秘めています。
ただし、マルチパーソン追跡（MPT）への適用は、データ不足と個人を区別することの固有の難しさのために制限されています。
この研究では、共同配置されたRGBとサーマルカメラを利用する協調MPTシステムを提案します。ここでは、RGBとサーマルトラッカーの両方をトレーニングするために擬似解決（境界ボックスと個人ID）を使用します。
評価実験は、熱トラッカーが明るい環境と暗い環境の両方で堅牢に機能することを示しています。
さらに、結果は、トラッカースイッチング戦略（バイナリ輝度分類器に導かれた）が、トラッカー融合アプローチよりも情報統合に効果的であることを示唆しています。
アプリケーションの例として、2つの重要な特性を組み合わせた画像変更パターン認識（ICPR）メソッド、「ヒューマンマークマーク」を紹介します。暗い環境における人間の熱認識可能性と、外観、ジオメトリ、およびセマンティクス – 静的オブジェクト（オクルダー）です。
従来のSLAMは明るい環境での静的ランドマークのマッピングに焦点を当てていますが、本研究は、完全な暗闇にダイナミックなランドマークさえもマッピングすることを目的とした、新しい人間のみのスラムパラダイム「DD-Slam」に向けて第一歩を踏み出します。

要約(オリジナル)

In robot vision, thermal cameras hold great potential for recognizing humans even in complete darkness. However, their application to multi-person tracking (MPT) has been limited due to data scarcity and the inherent difficulty of distinguishing individuals. In this study, we propose a cooperative MPT system that utilizes co-located RGB and thermal cameras, where pseudo-annotations (bounding boxes and person IDs) are used to train both RGB and thermal trackers. Evaluation experiments demonstrate that the thermal tracker performs robustly in both bright and dark environments. Moreover, the results suggest that a tracker-switching strategy — guided by a binary brightness classifier — is more effective for information integration than a tracker-fusion approach. As an application example, we present an image change pattern recognition (ICPR) method, the “human-as-landmark,” which combines two key properties: the thermal recognizability of humans in dark environments and the rich landmark characteristics — appearance, geometry, and semantics — of static objects (occluders). Whereas conventional SLAM focuses on mapping static landmarks in well-lit environments, the present study takes a first step toward a new Human-Only SLAM paradigm, “DD-SLAM,” which aims to map even dynamic landmarks in complete darkness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google