GaitFi: Robust Device-Free Human Identification via WiFi and Vision Multimodal Learning

要約

人間の識別のための重要なバイオマーカーとして、人間の歩行は被験者の協力なしにパッシブセンサーによって離れた場所で収集でき、犯罪防止、セキュリティ検出、およびその他の人間識別アプリケーションで重要な役割を果たします。
現在、ほとんどの研究は、歩行認識を実行するためのカメラとコンピューター ビジョン技術に基づいています。
ただし、ビジョンベースの方法は、照明が不十分な場合は信頼性が低く、パフォーマンスの低下につながります。
この論文では、人間の識別にWiFi信号とビデオを活用する、新しいマルチモーダル歩行認識方法、つまりGaitFiを提案します。
GaitFi では、WiFi のマルチパス伝搬を反映する Channel State Information (CSI) を収集して人間の歩行をキャプチャし、ビデオをカメラでキャプチャします。
ロバストな歩行情報を学習するために、バックボーン ネットワークとして Lightweight Residual Convolution Network (LRCN) を提案し、歩行検索タスクのために WiFi とビジョン機能を統合することにより、2 ストリーム GaitFi をさらに提案します。
GaitFi は、さまざまなレベルの機能でトリプレット損失と分類損失によってトレーニングされます。
実世界で広範な実験が行われ、GaitFi が単一の WiFi またはカメラに基づく最先端の歩行認識方法よりも優れており、12 人の被験者の人物識別タスクで 94.2% を達成したことが実証されています。

要約(オリジナル)

As an important biomarker for human identification, human gait can be collected at a distance by passive sensors without subject cooperation, which plays an essential role in crime prevention, security detection and other human identification applications. At present, most research works are based on cameras and computer vision techniques to perform gait recognition. However, vision-based methods are not reliable when confronting poor illuminations, leading to degrading performances. In this paper, we propose a novel multimodal gait recognition method, namely GaitFi, which leverages WiFi signals and videos for human identification. In GaitFi, Channel State Information (CSI) that reflects the multi-path propagation of WiFi is collected to capture human gaits, while videos are captured by cameras. To learn robust gait information, we propose a Lightweight Residual Convolution Network (LRCN) as the backbone network, and further propose the two-stream GaitFi by integrating WiFi and vision features for the gait retrieval task. The GaitFi is trained by the triplet loss and classification loss on different levels of features. Extensive experiments are conducted in the real world, which demonstrates that the GaitFi outperforms state-of-the-art gait recognition methods based on single WiFi or camera, achieving 94.2% for human identification tasks of 12 subjects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google