A Multi-Task Approach to Robust Deep Reinforcement Learning for Resource Allocation

要約

タイトル：リソース割り当てのための堅牢な深層強化学習のマルチタスク手法

要約：
– 現代の通信システムの複雑性の増加に伴い、機械学習アルゴリズムは研究の焦点となっています。
– しかし、複雑性に並行して性能要求が厳しくなっており、未来の無線通信がターゲットとする医療分野などの主要アプリケーションでは厳密で信頼性が高い性能保証が必要です。
– 一方で、一般的な機械学習手法はこのような要求に対処するのに苦労することが示されています。
– そこで、これらの手法をよりよく扱うために、拡張することができるかどうかという問題が提起されています。
– 本論文では、レアで重要なイベントを適切に処理する必要がある組合せ的リソース割り当ての課題を扱います。
– この課題をマルチタスク学習問題として扱い、このドメインから2つの方法、Elastic Weight ConsolidationとGradient Episodic Memoryを選択し、バニラアクター・クリティックスケジューラに統合することを提案しています。
– その結果、トレーニングデータの分布を拡張する最先端の手法と比較して、マルチタスク手法がブラックスワンイベントの処理において高い効果を示すことを報告しています。

要約(オリジナル)

With increasing complexity of modern communication systems, machine learning algorithms have become a focal point of research. However, performance demands have tightened in parallel to complexity. For some of the key applications targeted by future wireless, such as the medical field, strict and reliable performance guarantees are essential, but vanilla machine learning methods have been shown to struggle with these types of requirements. Therefore, the question is raised whether these methods can be extended to better deal with the demands imposed by such applications. In this paper, we look at a combinatorial resource allocation challenge with rare, significant events which must be handled properly. We propose to treat this as a multi-task learning problem, select two methods from this domain, Elastic Weight Consolidation and Gradient Episodic Memory, and integrate them into a vanilla actor-critic scheduler. We compare their performance in dealing with Black Swan Events with the state-of-the-art of augmenting the training data distribution and report that the multi-task approach proves highly effective.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI