Tiny Multi-Agent DRL for Twins Migration in UAV Metaverses: A Multi-Leader Multi-Follower Stackelberg Game Approach

要約

無人航空機 (UAV) とメタバースの相乗効果により、UAV メタバースと呼ばれる新たなパラダイムが生まれています。これは、物理空間と仮想空間を融合する統合エコシステムを作成し、ドローンのインタラクションと仮想探索を変革します。
UAV ツイン (UT) は、UAV アプリケーションをより没入型、現実的、有益なものにすることで革命を起こす UAV のデジタル ツインであり、ロードサイド ユニット (RSU) などの地上基地局に展開および更新され、UAV にメタバース サービスを提供します。
メタバース ユーザー (UMU)。
UAV の動的な可動性と RSU の通信範囲が限られているため、UMU のシームレスな没入型エクスペリエンスを確保するには、リアルタイムの UT 移行を実行することが不可欠です。
ただし、信頼性が高く効率的な UT 移行を実現するには、適切な RSU を選択し、必要な帯域幅を最適化することが困難です。
この課題に対処するために、UAV メタバースで効率的に UT を移行するための枝刈り技術に基づいた、小さな機械学習ベースの Stackelberg ゲーム フレームワークを提案します。
具体的には、UAV のユーティリティにおける UMU の新しい浸漬メトリクスを考慮して、マルチリーダー マルチフォロワー Stackelberg モデルを定式化します。
次に、最適なゲーム ソリューションを表す小さなネットワークを取得するための Tiny Multi-Agent Deep Reinforcement Learning (Tiny MADRL) アルゴリズムを設計します。
具体的には、アクタークリティック ネットワークは枝刈り技術を活用してネットワーク パラメーターの数を減らし、モデル サイズと計算量の削減を達成し、Tiny MADRL の効率的な実装を可能にします。
数値結果は、提案したスキームが従来のスキームよりも優れたパフォーマンスを備えていることを示しています。

要約(オリジナル)

The synergy between Unmanned Aerial Vehicles (UAVs) and metaverses is giving rise to an emerging paradigm named UAV metaverses, which create a unified ecosystem that blends physical and virtual spaces, transforming drone interaction and virtual exploration. UAV Twins (UTs), as the digital twins of UAVs that revolutionize UAV applications by making them more immersive, realistic, and informative, are deployed and updated on ground base stations, e.g., RoadSide Units (RSUs), to offer metaverse services for UAV Metaverse Users (UMUs). Due to the dynamic mobility of UAVs and limited communication coverages of RSUs, it is essential to perform real-time UT migration to ensure seamless immersive experiences for UMUs. However, selecting appropriate RSUs and optimizing the required bandwidth is challenging for achieving reliable and efficient UT migration. To address the challenges, we propose a tiny machine learning-based Stackelberg game framework based on pruning techniques for efficient UT migration in UAV metaverses. Specifically, we formulate a multi-leader multi-follower Stackelberg model considering a new immersion metric of UMUs in the utilities of UAVs. Then, we design a Tiny Multi-Agent Deep Reinforcement Learning (Tiny MADRL) algorithm to obtain the tiny networks representing the optimal game solution. Specifically, the actor-critic network leverages the pruning techniques to reduce the number of network parameters and achieve model size and computation reduction, allowing for efficient implementation of Tiny MADRL. Numerical results demonstrate that our proposed schemes have better performance than traditional schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google