ProbRadarM3F: mmWave Radar based Human Skeletal Pose Estimation with Probability Map Guided Multi-Format Feature Fusion

要約

ミリ波 (mmWave) レーダーは、プライバシーを侵害せず、比較的便利で安価なデバイスであり、人間の屋内姿勢推定タスクにおいて RGB カメラの代わりに適用できることが実証されています。
しかし、ミリ波レーダーはターゲットからの反射信号の収集に依存しており、情報を含むレーダー信号を完全に利用することは困難です。
これは、姿勢推定の精度向上の長年の妨げとなってきました。
この大きな課題に対処するために、この文書では確率マップに基づくマルチフォーマット特徴融合モデル ProbRadarM3F を紹介します。
これは、確率マップベースの位置エンコード法と並行して従来の FFT 法を使用する、新しいレーダー特徴抽出フレームワークです。
ProbRadarM3F は、従来のヒートマップ機能と位置特徴を融合し、人体の 14 のキーポイントの推定を効果的に実現します。
HuPR データセットの実験評価により、この論文で提案されたモデルの有効性が証明され、このデータセットで実験された他の方法を 69.9 % の AP で上回りました。
私たちの研究では、これまでレーダー信号では利用されていなかった位置情報に焦点を当てています。
これにより、ミリ波レーダーからの他の潜在的な非冗長情報を調査するための指示が提供されます。

要約(オリジナル)

Millimetre wave (mmWave) radar is a non-intrusive privacy and relatively convenient and inexpensive device, which has been demonstrated to be applicable in place of RGB cameras in human indoor pose estimation tasks. However, mmWave radar relies on the collection of reflected signals from the target, and the radar signals containing information is difficult to be fully applied. This has been a long-standing hindrance to the improvement of pose estimation accuracy. To address this major challenge, this paper introduces a probability map guided multi-format feature fusion model, ProbRadarM3F. This is a novel radar feature extraction framework using a traditional FFT method in parallel with a probability map based positional encoding method. ProbRadarM3F fuses the traditional heatmap features and the positional features, then effectively achieves the estimation of 14 keypoints of the human body. Experimental evaluation on the HuPR dataset proves the effectiveness of the model proposed in this paper, outperforming other methods experimented on this dataset with an AP of 69.9 %. The emphasis of our study is focusing on the position information that is not exploited before in radar singal. This provides direction to investigate other potential non-redundant information from mmWave rader.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google