Edge Caching Based on Deep Reinforcement Learning and Transfer Learning

要約

本稿では、ネットワークにおけるデータ伝送の冗長化という深刻化する課題に取り組む。トラフィックの急増はバックホールリンクやバックボーンネットワークに負担をかけ、エッジルータでのキャッシュソリューションの探求を促している。しかし、実世界のシナリオにはランダムなリクエスト到着が含まれ、最適なキャッシングポリシーを決定する上で様々なファイル特性が重要な役割を果たすにもかかわらず、関連する既存の研究では、キャッシングポリシーを形成する上でこれらのファイル特性をすべて考慮したものはない。本論文では、まず、実世界のシナリオの連続時間の性質に対応するため、セミマルコフ決定過程(SMDP)を用いてキャッシング問題を定式化し、ファイル要求時にランダムなタイミングでキャッシング決定を行うことを可能にする。次に、寿命、サイズ、重要度などのファイルの特徴を包括的に考慮した、ダブルディープQ学習ベースのキャッシングアプローチを提案する。シミュレーション結果は、最近の深層強化学習ベースの手法と比較して、本アプローチの優れた性能を実証している。さらに、SMDPフレームワークにおけるファイル要求率の変化を考慮するために、伝達学習（Transfer Learning: TL）アプローチを含むように我々の研究を拡張する。提案するTLアプローチは、ソースドメインとターゲットドメイン間の要求率の差が増大するシナリオにおいても、高速な収束を示し、実環境におけるキャッシュの動的な課題に対する有望な解決策を提示する。

要約(オリジナル)

This paper addresses the escalating challenge of redundant data transmission in networks. The surge in traffic has strained backhaul links and backbone networks, prompting the exploration of caching solutions at the edge router. Existing work primarily relies on Markov Decision Processes (MDP) for caching issues, assuming fixed-time interval decisions; however, real-world scenarios involve random request arrivals, and despite the critical role of various file characteristics in determining an optimal caching policy, none of the related existing work considers all these file characteristics in forming a caching policy. In this paper, first, we formulate the caching problem using a semi-Markov Decision Process (SMDP) to accommodate the continuous-time nature of real-world scenarios allowing for caching decisions at random times upon file requests. Then, we propose a double deep Q-learning-based caching approach that comprehensively accounts for file features such as lifetime, size, and importance. Simulation results demonstrate the superior performance of our approach compared to a recent Deep Reinforcement Learning-based method. Furthermore, we extend our work to include a Transfer Learning (TL) approach to account for changes in file request rates in the SMDP framework. The proposed TL approach exhibits fast convergence, even in scenarios with increased differences in request rates between source and target domains, presenting a promising solution to the dynamic challenges of caching in real-world environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL