MultiFormer: A Multi-Person Pose Estimation System Based on CSI and Attention Mechanism

要約

チャネル状態情報（CSI）に基づく人間のポーズ推定は、非侵入的で正確な人間の活動監視の有望なアプローチとして浮上していますが、正確なマルチパーソンポーズ認識や効果的なCSI機能学習などの課題に直面しています。
このペーパーでは、CSIを通じて人間のポーズを正確に推定するワイヤレスセンシングシステムであるMultiformerを紹介します。
提案されたシステムは、マルチヘッドの自己関節を備えたトランスベースの時間周波数デュアルトークン特徴抽出器を採用しています。
この機能抽出器は、CSIのサブキャリア間相関と時間的依存性をモデル化することができます。
抽出されたCSI機能とポーズ確率ヒートマップは、解剖学的制約を実施するために、マルチステージフィーチャフュージョンネットワーク（MSFN）によって融合されます。
Public MM-Fiデータセットとセルフコレクションのデータセットで実施された広範な実験は、マルチフォルフォーラーが、特に高モビリティキーポイント（手首、肘）の場合、以前の方法が正確に推測するのが特に難しい場合、最先端のアプローチよりも高い精度を達成することを示しています。

要約(オリジナル)

Human pose estimation based on Channel State Information (CSI) has emerged as a promising approach for non-intrusive and precise human activity monitoring, yet faces challenges including accurate multi-person pose recognition and effective CSI feature learning. This paper presents MultiFormer, a wireless sensing system that accurately estimates human pose through CSI. The proposed system adopts a Transformer based time-frequency dual-token feature extractor with multi-head self-attention. This feature extractor is able to model inter-subcarrier correlations and temporal dependencies of the CSI. The extracted CSI features and the pose probability heatmaps are then fused by Multi-Stage Feature Fusion Network (MSFN) to enforce the anatomical constraints. Extensive experiments conducted on on the public MM-Fi dataset and our self-collected dataset show that the MultiFormer achieves higher accuracy over state-of-the-art approaches, especially for high-mobility keypoints (wrists, elbows) that are particularly difficult for previous methods to accurately estimate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google