Gesture Recognition with mmWave Wi-Fi Access Points: Lessons Learned

要約

近年、サブ 6 GHz のチャネル状態情報 (CSI) が Wi-Fi センシング、特にアクティビティやジェスチャ認識に広く利用されています。
この研究では、代わりに、ジェスチャ認識/ポーズ推定のためにミリ波 (60 GHz) Wi-Fi 信号を調査します。
当社はミリ波 Wi-Fi 信号に焦点を当てており、高速データ通信だけでなく、拡張現実 (XR) アプリケーションなどのセンシングの向上にも使用できます。
このため、IEEE 802.11ad デバイスで採用されている定期的なビーム トレーニングから空間ビーム信号対雑音比 (SNR) を抽出します。
XR アプリケーションによって動機付けられた 10 個のジェスチャー/ポーズのセットを検討します。
実験は 2 つの環境、3 人で行います。比較として、IEEE 802.11ac デバイスからの CSI も収集します。
CSI とビーム SNR から特徴を抽出するために、ディープ ニューラル ネットワーク (DNN) を活用します。
DNN 分類器は、データセットが限られている場合でも、単一環境でビーム SNR タスクに関して最先端の 96.7% の精度で有望な結果を達成します。
また、さまざまな環境にわたる CSI に対するビーム SNR の堅牢性も調査します。
私たちの実験では、CSI からの特徴は追加の再トレーニングなしで一般化しますが、ビーム SNR からの特徴は一般化しないことが明らかになりました。
したがって、後者の場合には再トレーニングが必要です。

要約(オリジナル)

In recent years, channel state information (CSI) at sub-6 GHz has been widely exploited for Wi-Fi sensing, particularly for activity and gesture recognition. In this work, we instead explore mmWave (60 GHz) Wi-Fi signals for gesture recognition/pose estimation. Our focus is on the mmWave Wi-Fi signals so that they can be used not only for high data rate communication but also for improved sensing e.g., for extended reality (XR) applications. For this reason, we extract spatial beam signal-to-noise ratios (SNRs) from the periodic beam training employed by IEEE 802.11ad devices. We consider a set of 10 gestures/poses motivated by XR applications. We conduct experiments in two environments and with three people.As a comparison, we also collect CSI from IEEE 802.11ac devices. To extract features from the CSI and the beam SNR, we leverage a deep neural network (DNN). The DNN classifier achieves promising results on the beam SNR task with state-of-the-art 96.7% accuracy in a single environment, even with a limited dataset. We also investigate the robustness of the beam SNR against CSI across different environments. Our experiments reveal that features from the CSI generalize without additional re-training, while those from beam SNRs do not. Therefore, re-training is required in the latter case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google