Fast Context Adaptation in Cost-Aware Continual Learning

要約

ここ数年、DRL は、時変統計を使用して複雑なネットワークにおける効率的なリソース管理戦略を自動的に学習する貴重なソリューションになりました。
ただし、5G 以降のネットワークの複雑さの増加により、それに応じてより複雑な学習エージェントが必要となり、学習プロセス自体が通信リソースや計算リソースをめぐってユーザーと競合することになる可能性があります。
これは摩擦を生みます。一方で、学習プロセスには効果的な戦略に迅速に収束するためのリソースが必要です。
一方、学習プロセスは効率的である必要があります。つまり、ユーザーの QoS を抑制しないように、ユーザーのデータ プレーンから使用するリソースをできるだけ少なくする必要があります。
このペーパーでは、このトレードオフを調査し、データ プレーンに割り当てられたリソースと学習用に予約されたリソースのバランスをとるための動的な戦略を提案します。
提案されたアプローチを使用すると、学習エージェントは、ユーザーの QoS への影響を最小限に抑えながら、効率的なリソース割り当て戦略に迅速に収束し、CL パラダイムと同様に環境の変化に適応できます。
シミュレーション結果は、提案された方法が最小限の学習オーバーヘッドで静的割り当て方法よりも優れたパフォーマンスを示し、理想的な帯域外 CL ソリューションのパフォーマンスにほぼ達していることを示しています。

要約(オリジナル)

In the past few years, DRL has become a valuable solution to automatically learn efficient resource management strategies in complex networks with time-varying statistics. However, the increased complexity of 5G and Beyond networks requires correspondingly more complex learning agents and the learning process itself might end up competing with users for communication and computational resources. This creates friction: on the one hand, the learning process needs resources to quickly convergence to an effective strategy; on the other hand, the learning process needs to be efficient, i.e., take as few resources as possible from the user’s data plane, so as not to throttle users’ QoS. In this paper, we investigate this trade-off and propose a dynamic strategy to balance the resources assigned to the data plane and those reserved for learning. With the proposed approach, a learning agent can quickly converge to an efficient resource allocation strategy and adapt to changes in the environment as for the CL paradigm, while minimizing the impact on the users’ QoS. Simulation results show that the proposed method outperforms static allocation methods with minimal learning overhead, almost reaching the performance of an ideal out-of-band CL solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google