Sparse Mean Field Load Balancing in Large Localized Queueing Systems

要約

スケーラブルな負荷分散アルゴリズムはクラウド ネットワークやデータ センターで大きな関心を集めており、優れたパフォーマンスを得るために最適な負荷分散ポリシーを計算するには扱いやすい技術を使用する必要があります。
しかし、既存のスケーラブルな技術のほとんど、特に平均場理論に基づく漸近スケーリング手法は、強い局所性を持つ大規模なキュー ネットワークをモデル化することができませんでした。
一方、一般的なマルチエージェント強化学習手法は拡張が難しく、通常は理論的基盤が不足しています。
この研究では、疎平均場理論の最近の進歩を活用して、まばらに接続されたキューイング ネットワークにおける最適に近い負荷分散ポリシーを扱いやすい方法で学習することで、この課題に対処します。これは、無線通信のオーバーヘッドの点でグローバルなアプローチよりも好ましい可能性があります。
重要なのは、大規模なクラスの疎な境界次数ワイヤレス トポロジに対する一般的な負荷分散フレームワークを取得できることです。
次数が制限されたグラフのコンテキストで新しい平均場制御問題を定式化することにより、他の方法では困難なマルチエージェント問題をシングルエージェント問題に縮小します。
理論的には、このアプローチは近似の保証によって正当化されます。
経験的に、提案された方法論は、多くのよく知られた負荷分散ヒューリスティックや既存のスケーラブルなマルチエージェント強化学習法と比較して、いくつかの現実的でスケーラブルな無線ネットワーク トポロジで良好に機能します。

要約(オリジナル)

Scalable load balancing algorithms are of great interest in cloud networks and data centers, necessitating the use of tractable techniques to compute optimal load balancing policies for good performance. However, most existing scalable techniques, especially asymptotically scaling methods based on mean field theory, have not been able to model large queueing networks with strong locality. Meanwhile, general multi-agent reinforcement learning techniques can be hard to scale and usually lack a theoretical foundation. In this work, we address this challenge by leveraging recent advances in sparse mean field theory to learn a near-optimal load balancing policy in sparsely connected queueing networks in a tractable manner, which may be preferable to global approaches in terms of wireless communication overhead. Importantly, we obtain a general load balancing framework for a large class of sparse bounded-degree wireless topologies. By formulating a novel mean field control problem in the context of graphs with bounded degree, we reduce the otherwise difficult multi-agent problem to a single-agent problem. Theoretically, the approach is justified by approximation guarantees. Empirically, the proposed methodology performs well on several realistic and scalable wireless network topologies as compared to a number of well-known load balancing heuristics and existing scalable multi-agent reinforcement learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google