M2BeamLLM: Multimodal Sensing-empowered mmWave Beam Prediction with Large Language Models

要約

このホワイトペーパーでは、ミリメートル波（MMWave）大規模なマルチ入力マルチアウトプット（MMIMO）通信システムのビーム予測のために、M2Beamllmと呼ばれる新しいニューラルネットワークフレームワークを紹介します。
M2BeamLLMは、画像、レーダー、LIDAR、GPSなどのマルチモーダルセンサーデータを統合し、ビーム予測のためのGPT-2などの大規模な言語モデル（LLM）の強力な推論機能を活用します。
センシングデータエンコーディング、マルチモーダルアライメントと融合、および監視された微調整（SFT）を組み合わせることにより、M2BeamLLMは、標準的なシナリオと少ないショットシナリオの両方で、ビーム予測の精度と堅牢性が大幅に高いビーム予測の精度と堅牢性を実現します。
さらに、その予測パフォーマンスは、モダリティを感知する多様性の増加とともに一貫して改善します。
私たちの研究は、車両間（V2I）MMWave通信システムのための効率的でインテリジェントなビーム予測ソリューションを提供します。

要約(オリジナル)

This paper introduces a novel neural network framework called M2BeamLLM for beam prediction in millimeter-wave (mmWave) massive multi-input multi-output (mMIMO) communication systems. M2BeamLLM integrates multi-modal sensor data, including images, radar, LiDAR, and GPS, leveraging the powerful reasoning capabilities of large language models (LLMs) such as GPT-2 for beam prediction. By combining sensing data encoding, multimodal alignment and fusion, and supervised fine-tuning (SFT), M2BeamLLM achieves significantly higher beam prediction accuracy and robustness, demonstrably outperforming traditional deep learning (DL) models in both standard and few-shot scenarios. Furthermore, its prediction performance consistently improves with increased diversity in sensing modalities. Our study provides an efficient and intelligent beam prediction solution for vehicle-to-infrastructure (V2I) mmWave communication systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google