To Train or Not to Train: Balancing Efficiency and Training Cost in Deep Reinforcement Learning for Mobile Edge Computing

要約

人工知能 (AI) は、通信およびコンピューティング サービスがエンド ユーザーの要件と需要パターンに適応できるようにするため、6G ネットワークの重要なコンポーネントです。
モバイル エッジ コンピューティング (MEC) の管理は、AI アプリケーションの有意義な例です。ネットワーク エッジで利用可能な計算リソースは、ジョブの優先順位や遅延要件が異なる可能性があるユーザーに慎重に割り当てる必要があります。
研究コミュニティは、このリソース割り当てを実行するためにいくつかの AI アルゴリズムを開発しましたが、重要な側面を無視しています。つまり、学習自体が計算量の多いタスクであり、無料のトレーニングを検討すると、理想的な条件での結果とシミュレーションでのパフォーマンスが得られます。
この研究では、学習コストが具体的に考慮される、より現実的なケースを考慮し、リソースを割り当てる深層強化学習 (DRL) エージェントをいつトレーニングするかを動的に選択する新しいアルゴリズムを示します。
私たちの方法は、トレーニング オーバーヘッドを伴うあらゆるシナリオに直接適用できるため、非常に汎用的であり、現実的なトレーニング条件下でも理想的な学習エージェントと同じパフォーマンスに近づくことができます。

要約(オリジナル)

Artificial Intelligence (AI) is a key component of 6G networks, as it enables communication and computing services to adapt to end users’ requirements and demand patterns. The management of Mobile Edge Computing (MEC) is a meaningful example of AI application: computational resources available at the network edge need to be carefully allocated to users, whose jobs may have different priorities and latency requirements. The research community has developed several AI algorithms to perform this resource allocation, but it has neglected a key aspect: learning is itself a computationally demanding task, and considering free training results in idealized conditions and performance in simulations. In this work, we consider a more realistic case in which the cost of learning is specifically accounted for, presenting a new algorithm to dynamically select when to train a Deep Reinforcement Learning (DRL) agent that allocates resources. Our method is highly general, as it can be directly applied to any scenario involving a training overhead, and it can approach the same performance as an ideal learning agent even under realistic training conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google