Deep progressive reinforcement learning-based flexible resource scheduling framework for IRS and UAV-assisted MEC system

要約

インテリジェント反射面（IRS）と無人航空機（UAV）を支援するモバイルエッジコンピューティング（MEC）システムは、臨時や緊急のシナリオで広く使用されている。我々の目標は、UAVの位置、IRSの位相シフト、タスクのオフロード、および可変数のUAVによるリソース割り当てを共同で最適化することにより、MECシステムのエネルギー消費を最小化することである。この目的を達成するために、我々は、以下の革新的な技術を含む新しい深層強化学習を採用することで、柔軟なリソーススケジューリング（FRES）フレームワークを提案する：まず、混合整数非線形計画（MINLP）問題に対処するために、新しいマルチタスクエージェントを提示する。このマルチタスクエージェントは、異なるタスクのために設計された2つの出力ヘッドを有し、分類ヘッドは整数変数によるオフロード決定を行うために採用され、フィッティングヘッドは連続変数によるリソース割り当てを解くために適用される。第二に、漸進的スケジューラを導入し、エージェント内のニューロンの一部を漸進的に調整することで、UAVの数の変化にエージェントを適応させる。この構造は自然に経験を蓄積し、壊滅的な忘却を免れることができる。最後に、FRESの大域的探索を強化するためにライトタブー探索（LTS）を導入する。数値結果は、動的なMECシステムにおいてもリアルタイムで最適なリソーススケジューリングが可能なFRESフレームワークの優位性を示している。

要約(オリジナル)

The intelligent reflection surface (IRS) and unmanned aerial vehicle (UAV)-assisted mobile edge computing (MEC) system is widely used in temporary and emergency scenarios. Our goal is to minimize the energy consumption of the MEC system by jointly optimizing UAV locations, IRS phase shift, task offloading, and resource allocation with a variable number of UAVs. To this end, we propose a Flexible REsource Scheduling (FRES) framework by employing a novel deep progressive reinforcement learning which includes the following innovations: Firstly, a novel multi-task agent is presented to deal with the mixed integer nonlinear programming (MINLP) problem. The multi-task agent has two output heads designed for different tasks, in which a classified head is employed to make offloading decisions with integer variables while a fitting head is applied to solve resource allocation with continuous variables. Secondly, a progressive scheduler is introduced to adapt the agent to the varying number of UAVs by progressively adjusting a part of neurons in the agent. This structure can naturally accumulate experiences and be immune to catastrophic forgetting. Finally, a light taboo search (LTS) is introduced to enhance the global search of the FRES. The numerical results demonstrate the superiority of the FRES framework which can make real-time and optimal resource scheduling even in dynamic MEC systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL