LLMCount: Enhancing Stationary mmWave Detection with Multimodal-LLM

要約

ミリ波センシングは、非侵襲的かつプライバシーを保護した方法で周囲の群集を感知する機能を人々に提供し、これには大きな応用の可能性が秘められています。
ただし、静止した群集を検出することは、最小限の動き（呼吸や何気ないそわそわなど）などのいくつかの要因により依然として困難であり、これらはデータ収集中にノイズクラスターとして簡単に処理できるため、次の処理手順でフィルタリングできます。
さらに、外部の反射体や吸収体から生じる信号パワーの減衰や干渉による信号パワーの不均一な分布により、正確な検出がさらに困難になります。
これらの課題に対処し、特殊なドメイン適応を必要とするさまざまなアプリケーション シナリオ全体で定常的な群衆検出を可能にするために、大規模言語モデル (LLM) の機能を利用して群衆検出パフォーマンスを強化する最初のシステムである LLMCount を導入します。
LLM の意思決定機能を活用することで、信号パワーを補正して均一な分布を得ることができ、より高精度な検出を実現できます。
システムの性能を評価するために、ホール、会議室、映画館など多様なシーンを想定して総合評価を実施します。
評価結果は、私たちが提案したアプローチが、以前の方法と比較して全体的な遅延が短く、高い検出精度に達していることを示しています。

要約(オリジナル)

Millimeter wave sensing provides people with the capability of sensing the surrounding crowds in a non-invasive and privacy-preserving manner, which holds huge application potential. However, detecting stationary crowds remains challenging due to several factors such as minimal movements (like breathing or casual fidgets), which can be easily treated as noise clusters during data collection and consequently filtered in the following processing procedures. Additionally, the uneven distribution of signal power due to signal power attenuation and interferences resulting from external reflectors or absorbers further complicates accurate detection. To address these challenges and enable stationary crowd detection across various application scenarios requiring specialized domain adaption, we introduce LLMCount, the first system to harness the capabilities of large-language models (LLMs) to enhance crowd detection performance. By exploiting the decision-making capability of LLM, we can successfully compensate the signal power to acquire a uniform distribution and thereby achieve a detection with higher accuracy. To assess the system’s performance, comprehensive evaluations are conducted under diversified scenarios like hall, meeting room, and cinema. The evaluation results show that our proposed approach reaches high detection accuracy with lower overall latency compared with previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google