WiFi based Human Fall and Activity Recognition using Transformer based Encoder Decoder and Graph Neural Networks

要約

人間のポーズの推定と行動の認識は、ヘルスケアの監視、リハビリテーション、および支援技術における重要な役割により注目を集めています。
この研究では、WiFiチャネル状態情報（CSI）から人間の骨格ポーズを推定するために設計された、トランスベースのエンコーダーデコーダーネットワーク（TED Net）という名前の新しいアーキテクチャを提案しました。
TED Netは、CSI信号から時空上の特徴をキャプチャするために、変圧器ベースの注意メカニズムと畳み込みエンコーダーを統合します。
推定されたスケルトンポーズは、アクション認識のためにカスタマイズされた指示グラフニューラルネットワーク（DGNN）への入力として使用されました。
2つのデータセットでモデルを検証しました。一般に利用可能なマルチモーダルデータセットが一般的に利用可能なポーズ推定値を評価するため、および20人の参加者が関与する秋に関連するシナリオに焦点を当てた新たに収集されたデータセットです。
実験結果は、TEDネットがポーズ推定において既存のアプローチを上回ったこと、およびDGNNがRGBベースのシステムに匹敵するパフォーマンスを備えたCSIベースのスケルトンを使用して信頼できるアクション分類を達成することを実証しました。
特に、TED Netは、秋と非転倒の両方のケースで堅牢なパフォーマンスを維持しています。
これらの発見は、特に高齢者の転倒検出などの家庭環境での効果的な行動認識のためのCSI駆動型の人間の骨格推定の可能性を強調しています。
このような設定では、wifi信号は容易に入手できることが多く、視覚ベースの方法に代わるものを保存するプライバシーを提供し、継続的なカメラの監視に関する懸念を引き起こす可能性があります。

要約(オリジナル)

Human pose estimation and action recognition have received attention due to their critical roles in healthcare monitoring, rehabilitation, and assistive technologies. In this study, we proposed a novel architecture named Transformer based Encoder Decoder Network (TED Net) designed for estimating human skeleton poses from WiFi Channel State Information (CSI). TED Net integrates convolutional encoders with transformer based attention mechanisms to capture spatiotemporal features from CSI signals. The estimated skeleton poses were used as input to a customized Directed Graph Neural Network (DGNN) for action recognition. We validated our model on two datasets: a publicly available multi modal dataset for assessing general pose estimation, and a newly collected dataset focused on fall related scenarios involving 20 participants. Experimental results demonstrated that TED Net outperformed existing approaches in pose estimation, and that the DGNN achieves reliable action classification using CSI based skeletons, with performance comparable to RGB based systems. Notably, TED Net maintains robust performance across both fall and non fall cases. These findings highlight the potential of CSI driven human skeleton estimation for effective action recognition, particularly in home environments such as elderly fall detection. In such settings, WiFi signals are often readily available, offering a privacy preserving alternative to vision based methods, which may raise concerns about continuous camera monitoring.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google