Talk is Not Always Cheap: Promoting Wireless Sensing Models with Text Prompts

要約

WiFi、ミリメートル波（MMWAVE）レーダー、無線周波数識別（RFID）などのワイヤレス信号ベースのヒトセンシング技術は、人間の存在、姿勢、活動の検出と解釈を可能にし、それにより公共セキュリティ、ヘルスケア、スマートな環境におけるアプリケーションの重要なサポートを提供します。
これらの技術は、非接触操作と環境適応性のために顕著な利点を示します。
ただし、既存のシステムは、データセットに固有のテキスト情報を活用できないことがよくあります。
これに対処するために、3つの階層的な迅速な戦略ラベルのみを通じてセマンティックな知識をシームレスに統合する革新的なテキスト強化ワイヤレスセンシングフレームワークを提案します。
このフレームワークは、3つのパブリックベンチマークデータセットで厳密に検証します：XRF55 Human Action Autedation（HAR）、およびWiFiの時間的アクションローカリゼーション（TAL）のWiFitalとXRFV2。
実験結果は大幅なパフォーマンスの改善を示しています。XRF55では、WiFi、RFID、およびMMWaveの精度はそれぞれ3.9％、2.59％、および0.46％増加します。
Wifitalでは、Wifitadの平均性能が4.98％向上します。
また、XRFV2では、さまざまな方法で平均平均精度の増加は4.02％から13.68％です。
私たちのコードはhttps://github.com/yangzhenkui/witalkに含まれています。

要約(オリジナル)

Wireless signal-based human sensing technologies, such as WiFi, millimeter-wave (mmWave) radar, and Radio Frequency Identification (RFID), enable the detection and interpretation of human presence, posture, and activities, thereby providing critical support for applications in public security, healthcare, and smart environments. These technologies exhibit notable advantages due to their non-contact operation and environmental adaptability; however, existing systems often fail to leverage the textual information inherent in datasets. To address this, we propose an innovative text-enhanced wireless sensing framework, WiTalk, that seamlessly integrates semantic knowledge through three hierarchical prompt strategies-label-only, brief description, and detailed action description-without requiring architectural modifications or incurring additional data costs. We rigorously validate this framework across three public benchmark datasets: XRF55 for human action recognition (HAR), and WiFiTAL and XRFV2 for WiFi temporal action localization (TAL). Experimental results demonstrate significant performance improvements: on XRF55, accuracy for WiFi, RFID, and mmWave increases by 3.9%, 2.59%, and 0.46%, respectively; on WiFiTAL, the average performance of WiFiTAD improves by 4.98%; and on XRFV2, the mean average precision gains across various methods range from 4.02% to 13.68%. Our codes have been included in https://github.com/yangzhenkui/WiTalk.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google