The Transient Cost of Learning in Queueing Systems

要約

キューイングシステムは、通信ネットワーク、ヘルスケア、サービスシステムなどのユースケースを備えた広く適用可能な確率モデルです。最適な制御は広く研究されていますが、ほとんどの既存のアプローチはシステムパラメーターの完全な知識を想定しています。
この仮定は、パラメーターの不確実性がある実際にはめったに保持されないため、キューイングシステムのBandit Learningに関する最近の作業ラインが動機付けられています。
この初期の研究の流れは、提案されたアルゴリズムの漸近パフォーマンスに焦点を当てていますが、学習プロセスの初期段階での一時的なパフォーマンスに関する洞察を提供しません。
この論文では、パラメーターの不確実性によって引き起こされる時間平均キュー長の最大増加を定量化する新しいメトリックであるキューイング（TCLQ）の一時的な学習コストを提案します。
シングルキューマルチサーバーシステムのTCLQを特徴付けてから、これらの結果をマルチキューマルチサーバーシステムとキューのネットワークに拡張します。
結果を確立する際に、LyapunovとBandit分析を橋渡しし、幅広いアルゴリズムの保証を提供し、独立した関心がある可能性があるTCLQの統一分析フレームワークを提案します。

要約(オリジナル)

Queueing systems are widely applicable stochastic models with use cases in communication networks, healthcare, service systems, etc. Although their optimal control has been extensively studied, most existing approaches assume perfect knowledge of the system parameters. This assumption rarely holds in practice where there is parameter uncertainty, thus motivating a recent line of work on bandit learning for queueing systems. This nascent stream of research focuses on the asymptotic performance of the proposed algorithms but does not provide insight on the transient performance in the early stages of the learning process. In this paper, we propose the Transient Cost of Learning in Queueing (TCLQ), a new metric that quantifies the maximum increase in time-averaged queue length caused by parameter uncertainty. We characterize the TCLQ of a single-queue multi-server system, and then extend these results to multi-queue multi-server systems and networks of queues. In establishing our results, we propose a unified analysis framework for TCLQ that bridges Lyapunov and bandit analysis, provides guarantees for a wide range of algorithms, and could be of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google