Open-Set Gait Recognition from Sparse mmWave Radar Point Clouds

要約

人間のセンシング、特に歩行認識のためのミリ波（mmwave）レーダーデバイスの採用は、最近、その効率、環境条件への回復力、プライバシーを提供する性質のために大きな注意を集めています。
この作業では、まばらなMmwaveレーダーポイントクラウドからのオープンセット歩行認識（OSGR）の挑戦的な問題に取り組んでいます。
クローズドセットのシナリオを想定しているほとんどの既存の研究とは異なり、私たちの研究では、推論時に未知の被験者が存在する可能性があり、システムによって正しく認識される可能性がある、より現実的なオープンセットケースを考慮します。
ポイントクラウドは、リソースの制約を備えたエッジコンピューティングアプリケーションに適していますが、より一般的なマイクロドップラーの署名など​​、他の表現よりもノイズやランダム変動により大きな影響を受けます。
これは、スパースポイントクラウドデータを使用したオープンセットの歩行認識に対処する最初の作業です。
そのために、監視された分類とポイントクラウドの監視されていない再構築を組み合わせた新しいニューラルネットワークアーキテクチャを提案し、堅牢でリッチで高度に正規化された歩行特徴の潜在的な潜在スペースを作成します。
推論時に未知の被験者を検出するために、構造化された潜在スペースを活用し、推論速度と予測精度の間の調整可能なトレードオフを提供する確率的斬新な検出アルゴリズムを導入します。
このペーパーに加えて、さまざまな歩行モダリティの下で、10人の被験者から5時間以上の測定値を備えた元のヒューマンゲートデータセットであるMMGAIT10をリリースします。
広範な実験結果は、私たちのソリューションがF1スコアの改善を、平均して、および複数のオープンネスレベルにわたって最先端の方法で24％達成することを示しています。

要約(オリジナル)

The adoption of Millimeter-Wave (mmWave) radar devices for human sensing, particularly gait recognition, has recently gathered significant attention due to their efficiency, resilience to environmental conditions, and privacy-preserving nature. In this work, we tackle the challenging problem of Open-set Gait Recognition (OSGR) from sparse mmWave radar point clouds. Unlike most existing research, which assumes a closed-set scenario, our work considers the more realistic open-set case, where unknown subjects might be present at inference time, and should be correctly recognized by the system. Point clouds are well-suited for edge computing applications with resource constraints, but are more significantly affected by noise and random fluctuations than other representations, like the more common micro-Doppler signature. This is the first work addressing open-set gait recognition with sparse point cloud data. To do so, we propose a novel neural network architecture that combines supervised classification with unsupervised reconstruction of the point clouds, creating a robust, rich, and highly regularized latent space of gait features. To detect unknown subjects at inference time, we introduce a probabilistic novelty detection algorithm that leverages the structured latent space and offers a tunable trade-off between inference speed and prediction accuracy. Along with this paper, we release mmGait10, an original human gait dataset featuring over five hours of measurements from ten subjects, under varied walking modalities. Extensive experimental results show that our solution attains F1-Score improvements by 24% over state-of-the-art methods, on average, and across multiple openness levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google