Dynamic-Dark SLAM: RGB-Thermal Cooperative Robot Vision Strategy for Multi-Person Tracking in Both Well-Lit and Low-Light Scenes

要約

ロボットビジョンでは、サーマルカメラは、完全な暗闇の中でも人間を認識する重要な可能性があります。
ただし、マルチパーソントラッキング（MPT）への適用は、データ不足と個別の識別の困難により遅れています。
この研究では、RGBおよびTトラッカーをトレーニングするために、擬似解決（境界ボックス +人ID）を使用して、共同配置されたRGBおよびサーマルカメラを利用する協同組合MPTシステムを提案します。
評価実験は、Tトラッカーが明るいシーンと暗いシーンの両方で顕著なパフォーマンスを達成することを示しています。
さらに、結果は、バイナリ輝度分類器を使用したトラッカースイッチングアプローチが、情報統合のためのトラッカー融合アプローチよりも適切であることを示唆しています。
この研究は、「ダイナミックダークスラム」に向けた重要な最初のステップを示し、個人の効果的な認識、理解、再構築、オブジェクト、および明るい環境の両方のダイナミック環境での移動可能な領域を可能にします。

要約(オリジナル)

In robot vision, thermal cameras have significant potential for recognizing humans even in complete darkness. However, their application to multi-person tracking (MPT) has lagged due to data scarcity and difficulties in individual identification. In this study, we propose a cooperative MPT system that utilizes co-located RGB and thermal cameras, using pseudo-annotations (bounding boxes + person IDs) to train RGB and T trackers. Evaluation experiments demonstrate that the T tracker achieves remarkable performance in both bright and dark scenes. Furthermore, results suggest that a tracker-switching approach using a binary brightness classifier is more suitable than a tracker-fusion approach for information integration. This study marks a crucial first step toward “Dynamic-Dark SLAM,’ enabling effective recognition, understanding, and reconstruction of individuals, occluding objects, and traversable areas in dynamic environments, both bright and dark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google