Handover and SINR-Aware Path Optimization in 5G-UAV mmWave Communication using DRL

要約

無人航空機（UAV）が支援する次世代無線ネットワークの経路計画と最適化は、モビリティ管理、UAVの安全性とユビキタス接続の確保、特に道路峡谷や高層ビルが密集する都市環境において極めて重要である。通信ネットワークにおける経路最適化には、従来から統計的手法やモデルベース手法が用いられてきた。しかし、見通し線（LOS）、干渉、ハンドオーバー、信号対干渉・雑音比（SINR）などの動的なチャネル伝搬特性が経路最適化に含まれる場合、統計的およびモデルベースの経路計画ソリューションは、特にミリ波帯の動的かつ時間的に変化する無線チャネルに適応できないため、時代遅れになります。本論文では、UAV通信の4つの重要な側面を組み合わせた、UAV支援5G mmWave無線ネットワークにおける経路最適化のための、新しいモデルフリーのアクター・クリティック深層強化学習（AC-DRL）フレームワークを提案する：\このフレームワークは、UAV通信の4つの重要な側面：飛行時間、ハンドオーバー、接続性、SINR}を組み合わせたものである。我々は、gNBに接続されたUAVが、接続性と可能な限り高いSINRを維持しながら、gNBのハンドオーバーを最小限に抑え、最短時間で希望する目的地までの最適なパスを決定することを可能にするAC-RLエージェントを訓練します。このツールは、伝搬環境の3D画像を使用し、実際の伝搬環境に近いデータを提供します。シミュレーションの結果、我々のシステムは、他の選択されたRLアルゴリズムと比較して、高いSINRを追跡する優れた性能を有することが示された。

要約(オリジナル)

Path planning and optimization for unmanned aerial vehicles (UAVs)-assisted next-generation wireless networks is critical for mobility management and ensuring UAV safety and ubiquitous connectivity, especially in dense urban environments with street canyons and tall buildings. Traditional statistical and model-based techniques have been successfully used for path optimization in communication networks. However, when dynamic channel propagation characteristics such as line-of-sight (LOS), interference, handover, and signal-to-interference and noise ratio (SINR) are included in path optimization, statistical and model-based path planning solutions become obsolete since they cannot adapt to the dynamic and time-varying wireless channels, especially in the mmWave bands. In this paper, we propose a novel model-free actor-critic deep reinforcement learning (AC-DRL) framework for path optimization in UAV-assisted 5G mmWave wireless networks, which combines four important aspects of UAV communication: \textit{flight time, handover, connectivity and SINR}. We train an AC-RL agent that enables a UAV connected to a gNB to determine the optimal path to a desired destination in the shortest possible time with minimal gNB handover, while maintaining connectivity and the highest possible SINR. We train our model with data from a powerful ray tracing tool called Wireless InSite, which uses 3D images of the propagation environment and provides data that closely resembles the real propagation environment. The simulation results show that our system has superior performance in tracking high SINR compared to other selected RL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL