Online Optimization for Network Resource Allocation and Comparison with Reinforcement Learning Techniques

要約

この論文では、ジョブ転送に関するオンライン ネットワーク リソース割り当ての問題に取り組みます。
ネットワークは、通信リンクによって接続された多数のサーバーで構成されています。
システムは離散時間で動作します。
各タイム スロットで、管理者は将来のジョブ要求に備えてサーバーのリソースを予約し、予約された分のコストが発生します。
その後、受信後に、要求に最適に対応するためにジョブがサーバー間で転送されます。
これには追加の輸送コストがかかります。
最後に、ジョブ要求を満たせない場合は違反が発生し、ブロックされたジョブに対して支払うコストが発生します。
指数重み付け法に基づくランダム化オンラインアルゴリズムを提案します。
私たちのアルゴリズムがサブリニアの時間リグレスを享受していることを証明しました。これは、アルゴリズムが経験から適応して学習し、より多くのデータを蓄積するにつれて意思決定の効率が向上していることを示しています。
さらに、人工データ上でアルゴリズムのパフォーマンスをテストし、それを強化学習法と比較し、提案した方法が後者よりも優れていることを示します。

要約(オリジナル)

We tackle in this paper an online network resource allocation problem with job transfers. The network is composed of many servers connected by communication links. The system operates in discrete time; at each time slot, the administrator reserves resources at servers for future job requests, and a cost is incurred for the reservations made. Then, after receptions, the jobs may be transferred between the servers to best accommodate the demands. This incurs an additional transport cost. Finally, if a job request cannot be satisfied, there is a violation that engenders a cost to pay for the blocked job. We propose a randomized online algorithm based on the exponentially weighted method. We prove that our algorithm enjoys a sub-linear in time regret, which indicates that the algorithm is adapting and learning from its experiences and is becoming more efficient in its decision-making as it accumulates more data. Moreover, we test the performance of our algorithm on artificial data and compare it against a reinforcement learning method where we show that our proposed method outperforms the latter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google