Multi-UAV Speed Control with Collision Avoidance and Handover-aware Cell Association: DRL with Action Branching

要約

この論文では、複数の UAV のセル関連付けの決定と 3D 航空ハイウェイでの移動速度を最適化するための深層強化学習ソリューションを紹介します。
目的は、衝突回避、接続性、ハンドオーバーなどの輸送および通信のパフォーマンスを向上させることです。
この問題は、速度と通信データ レートによって定義される UAV の状態を使用したマルコフ決定プロセス (MDP) として定式化されます。
我々は、共有決定モジュールと複数のネットワークブランチを備えたニューラルアーキテクチャを提案します。各ネットワークブランチは、2D 交通通信空間における特定のアクション次元に特化しています。
この設計は、多次元アクション空間を効率的に処理し、個々のアクション次元の独立性を可能にします。
このアプローチを実証するために、Branching Dueling Q-Network (BDQ) と Branching Dueling Double Deep Q-Network (Dueling DDQN) の 2 つのモデルを紹介します。
シミュレーション結果は、既存のベンチマークと比較して 18.32% の大幅な改善を示しました。

要約(オリジナル)

This paper presents a deep reinforcement learning solution for optimizing multi-UAV cell-association decisions and their moving velocity on a 3D aerial highway. The objective is to enhance transportation and communication performance, including collision avoidance, connectivity, and handovers. The problem is formulated as a Markov decision process (MDP) with UAVs’ states defined by velocities and communication data rates. We propose a neural architecture with a shared decision module and multiple network branches, each dedicated to a specific action dimension in a 2D transportation-communication space. This design efficiently handles the multi-dimensional action space, allowing independence for individual action dimensions. We introduce two models, Branching Dueling Q-Network (BDQ) and Branching Dueling Double Deep Q-Network (Dueling DDQN), to demonstrate the approach. Simulation results show a significant improvement of 18.32% compared to existing benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google