Joint Service Caching, Communication and Computing Resource Allocation in Collaborative MEC Systems: A DRL-based Two-timescale Approach

要約

多次元リソースが限られているため、端末の厳格なサービス品質 (QoS) 要件を満たすことは、マルチアクセス エッジ コンピューティング (MEC) システムに大きな課題を課しています。
この課題に対処するために、エッジ サーバー間のリソース共有を容易にする協調 MEC フレームワークを提案します。これは、サービス キャッシング、協調オフフォーディング、およびコンピューティングの共同最適化を通じて長期的な QoS を最大化し、キャッシュ スイッチング コストを削減することを目的としています。
通信リソースの割り当て。
デュアル タイムスケール機能と、サービス キャッシュと他のリソース割り当ての間の時間的反復関係により、問題の解決はさらに困難になります。
これを解決するために、DGL-DDPG と呼ばれる深層強化学習 (DRL) ベースのデュアル タイムスケール スキームを提案します。これは、短期遺伝的アルゴリズム (GA) と長期短期記憶ネットワーク ベースの深い決定論的ポリシーで構成されます。
勾配 (LSTM-DDPG)。
その際、最適化問題をマルコフ決定プロセス (MDP) として再定式化します。そこでは、改善された GA によって生成された小規模なリソース割り当ての決定が状態として取得され、集中型 LSTM-DDPG エージェントに入力されて、サービス キャッシングの決定が生成されます。
大きな時間スケールに向けて。
シミュレーション結果は、平均 QoS とキャッシュ スイッチング コストの点で、提案したアルゴリズムがベースライン アルゴリズムよりも優れていることを示しています。

要約(オリジナル)

Meeting the strict Quality of Service (QoS) requirements of terminals has imposed a signiffcant challenge on Multiaccess Edge Computing (MEC) systems, due to the limited multidimensional resources. To address this challenge, we propose a collaborative MEC framework that facilitates resource sharing between the edge servers, and with the aim to maximize the long-term QoS and reduce the cache switching cost through joint optimization of service caching, collaborative offfoading, and computation and communication resource allocation. The dual timescale feature and temporal recurrence relationship between service caching and other resource allocation make solving the problem even more challenging. To solve it, we propose a deep reinforcement learning (DRL)-based dual timescale scheme, called DGL-DDPG, which is composed of a short-term genetic algorithm (GA) and a long short-term memory network-based deep deterministic policy gradient (LSTM-DDPG). In doing so, we reformulate the optimization problem as a Markov decision process (MDP) where the small-timescale resource allocation decisions generated by an improved GA are taken as the states and input into a centralized LSTM-DDPG agent to generate the service caching decision for the large-timescale. Simulation results demonstrate that our proposed algorithm outperforms the baseline algorithms in terms of the average QoS and cache switching cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google