ProbRadarM3F: mmWave Radar based Human Skeletal Pose Estimation with Probability Map Guided Multi-Format Feature Fusion

要約

ミリ波（mmwave）レーダーは、非侵入的なプライバシーであり、比較的便利で安価なデバイスであり、人間の屋内ポーズ推定タスクのRGBカメラの代わりに適用できることが実証されています。
ただし、MMWaveレーダーは、ターゲットからの反射信号の収集に依存しており、情報を含むレーダー信号を完全に適用することは困難です。
これは、ポーズ推定精度の改善に対する長年の障害でした。
この主要な課題に対処するために、このペーパーでは、確率マップガイド付きマルチフォーマット機能融合モデルであるProBradarm3Fを紹介します。
これは、従来のFFTメソッドを使用して、確率MAPベースの位置エンコーディング方法と並行して使用した新しいレーダー機能抽出フレームワークです。
ProBradarm3Fは、従来のヒートマップ機能と位置機能を融合し、14のキーポイントの推定を効果的に達成します。
HUPRデータセットでの実験的評価は、このペーパーで提案されているモデルの有効性を証明し、APで69.9％でこのデータセットで実験された他の方法を上回ります。
私たちの研究の重点は、レーダーシンガルで以前に悪用されなかった位置情報に焦点を当てています。
これにより、MMWaveレーダーからの他の潜在的な非冗長情報を調査するための方向性が提供されます。

要約(オリジナル)

Millimeter wave (mmWave) radar is a non-intrusive privacy and relatively convenient and inexpensive device, which has been demonstrated to be applicable in place of RGB cameras in human indoor pose estimation tasks. However, mmWave radar relies on the collection of reflected signals from the target, and the radar signals containing information is difficult to be fully applied. This has been a long-standing hindrance to the improvement of pose estimation accuracy. To address this major challenge, this paper introduces a probability map guided multi-format feature fusion model, ProbRadarM3F. This is a novel radar feature extraction framework using a traditional FFT method in parallel with a probability map based positional encoding method. ProbRadarM3F fuses the traditional heatmap features and the positional features, then effectively achieves the estimation of 14 keypoints of the human body. Experimental evaluation on the HuPR dataset proves the effectiveness of the model proposed in this paper, outperforming other methods experimented on this dataset with an AP of 69.9 %. The emphasis of our study is focusing on the position information that is not exploited before in radar singal. This provides direction to investigate other potential non-redundant information from mmWave rader.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google