MaskFi: Unsupervised Learning of WiFi and Vision Representations for Multimodal Human Activity Recognition

要約

人間活動認識 (HAR) は、ヘルスケア、セキュリティ監視、メタバース ゲームなどのさまざまな分野でますます重要な役割を果たしています。
コンピュータビジョンに基づいた多数の HAR 手法が開発され、優れたパフォーマンスを示していますが、依然として悪条件、特に低照度における堅牢性が低いという問題があり、そのため WiFi ベースの HAR が優れた補完モダリティとして機能する動機となっています。
WiFi およびビジョン モダリティを使用した既存のソリューションは、収集が非常に面倒な大量のラベル付きデータに依存しています。
このペーパーでは、モデルのトレーニングにラベルのないビデオと WiFi アクティビティ データのみを活用する、新しい教師なしマルチモーダル HAR ソリューション、MaskFi を提案します。
我々は、マスクされた WiFi ビジョン モデリング (MI2M) という新しいアルゴリズムを提案します。これにより、表現学習でマスクされたセクションを予測することで、モデルがクロスモーダルおよびシングルモーダルの特徴を学習できるようになります。
教師なし学習手順の恩恵により、ネットワークは微調整に少量の注釈付きデータのみを必要とし、より優れたパフォーマンスで新しい環境に適応できます。
私たちは社内で収集した 2 つの WiFi ビジョン データセットに対して広範な実験を実施しており、私たちの手法は堅牢性と精度の両方の点で人間の活動認識と人間の識別を実現しています。

要約(オリジナル)

Human activity recognition (HAR) has been playing an increasingly important role in various domains such as healthcare, security monitoring, and metaverse gaming. Though numerous HAR methods based on computer vision have been developed to show prominent performance, they still suffer from poor robustness in adverse visual conditions in particular low illumination, which motivates WiFi-based HAR to serve as a good complementary modality. Existing solutions using WiFi and vision modalities rely on massive labeled data that are very cumbersome to collect. In this paper, we propose a novel unsupervised multimodal HAR solution, MaskFi, that leverages only unlabeled video and WiFi activity data for model training. We propose a new algorithm, masked WiFi-vision modeling (MI2M), that enables the model to learn cross-modal and single-modal features by predicting the masked sections in representation learning. Benefiting from our unsupervised learning procedure, the network requires only a small amount of annotated data for finetuning and can adapt to the new environment with better performance. We conduct extensive experiments on two WiFi-vision datasets collected in-house, and our method achieves human activity recognition and human identification in terms of both robustness and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google