Robust Human Detection under Visual Degradation via Thermal and mmWave Radar Fusion

要約

人間の検出方法の大部分は、可視光を使用するセンサー (RGB カメラなど) に依存していますが、そのようなセンサーは視覚条件が低下したシナリオでは制限されます。
この論文では、ポータブルサーマルカメラとシングルチップミリ波レーダーを組み合わせたマルチモーダル人物検出システムを紹介します。
サーマルカメラの低コントラストとレーダー点群のマルチパスノイズによって引き起こされるノイズの多い検出機能を軽減するために、ベイジアン特徴抽出器と、さまざまな競合手法を上回る新しい不確実性ガイド融合手法を提案します。
モーダルまたはマルチモーダル。
私たちは、実世界のデータ収集に関して提案された方法を評価し、私たちのアプローチが最先端の方法を大幅に上回ることを実証します。

要約(オリジナル)

The majority of human detection methods rely on the sensor using visible lights (e.g., RGB cameras) but such sensors are limited in scenarios with degraded vision conditions. In this paper, we present a multimodal human detection system that combines portable thermal cameras and single-chip mmWave radars. To mitigate the noisy detection features caused by the low contrast of thermal cameras and the multi-path noise of radar point clouds, we propose a Bayesian feature extractor and a novel uncertainty-guided fusion method that surpasses a variety of competing methods, either single-modal or multi-modal. We evaluate the proposed method on real-world data collection and demonstrate that our approach outperforms the state-of-the-art methods by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google