Multi-Agent Deep Reinforcement Learning for Dynamic Avatar Migration in AIoT-enabled Vehicular Metaverses with Trajectory Prediction

要約

アバターは、車両メタバースにおける有望なデジタル アシスタントとして、ドライバーと同乗者が 3D 仮想空間に没入できるようにすることで、インテリジェント車両環境におけるモノの人工知能 (AIoT) の実用的な新たな例として機能します。
没入型体験は、拡張現実ナビゲーションなどの人間とアバターのシームレスなインタラクションによって実現されますが、これには大量のリソースが必要であり、インテリジェント車両でローカルに処理するには非効率的で非現実的です。
幸いなことに、アバター タスクを RoadSide Unit (RSU) またはクラウド サーバーにオフロードしてリモートで実行すると、リソースの消費を効果的に削減できます。
ただし、車両の高い機動性、RSU の動的なワークロード、および RSU の異質性により、アバターの移行を決定する際に新たな課題が生じています。
これらの課題に対処するために、この論文では、リアルタイムの軌道予測とマルチエージェント深層強化学習 (MADRL) に基づいたアバター タスクの動的移行フレームワークを提案します。
具体的には、RSU の将来のワークロードを示す、過去のデータに基づいてインテリジェント車両の将来の軌道を予測するモデルを提案します。RSU の予想されるワークロードに基づいて、アバター タスクの移行問題を長期混合整数計画法として定式化します。
問題。
この問題に効率的に取り組むために、問題は部分的に観察可能なマルコフ決定プロセス (POMDP) に変換され、分散型のハイブリッド連続アクションと離散アクションを備えた複数の DRL エージェントによって解決されます。
数値結果は、私たちが提案したアルゴリズムが、アバター タスクの実行遅延を予測なしで約 25%、予測ありで約 30% 効果的に削減し、AIoT 対応の車両メタバース (AeVeM) におけるユーザーの没入体験を強化できることを示しています。

要約(オリジナル)

Avatars, as promising digital assistants in Vehicular Metaverses, can enable drivers and passengers to immerse in 3D virtual spaces, serving as a practical emerging example of Artificial Intelligence of Things (AIoT) in intelligent vehicular environments. The immersive experience is achieved through seamless human-avatar interaction, e.g., augmented reality navigation, which requires intensive resources that are inefficient and impractical to process on intelligent vehicles locally. Fortunately, offloading avatar tasks to RoadSide Units (RSUs) or cloud servers for remote execution can effectively reduce resource consumption. However, the high mobility of vehicles, the dynamic workload of RSUs, and the heterogeneity of RSUs pose novel challenges to making avatar migration decisions. To address these challenges, in this paper, we propose a dynamic migration framework for avatar tasks based on real-time trajectory prediction and Multi-Agent Deep Reinforcement Learning (MADRL). Specifically, we propose a model to predict the future trajectories of intelligent vehicles based on their historical data, indicating the future workloads of RSUs.Based on the expected workloads of RSUs, we formulate the avatar task migration problem as a long-term mixed integer programming problem. To tackle this problem efficiently, the problem is transformed into a Partially Observable Markov Decision Process (POMDP) and solved by multiple DRL agents with hybrid continuous and discrete actions in decentralized. Numerical results demonstrate that our proposed algorithm can effectively reduce the latency of executing avatar tasks by around 25% without prediction and 30% with prediction and enhance user immersive experiences in the AIoT-enabled Vehicular Metaverse (AeVeM).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google