Finite Time Regret Bounds for Minimum Variance Control of Autoregressive Systems with Exogenous Inputs

要約

最小分散コントローラは、幅広い産業用途で使用されています。
多くの適応コントローラーが経験する主な課題は、学習の初期段階での経験的パフォーマンスが低いことです。
この論文では、許容可能な過渡現象を提供するようにそれらを初期化する問題に取り組み、また、外因性入力を伴う自己回帰システム (ARX) の適応最小分散制御のために、付随する有限時間リグレアト分析も提供します。
[3] に続いて、探索にプローブ入力を利用する、PIECE と呼ばれる Certainty Equivalence (CE) 適応コントローラーの修正バージョンを検討します。
有界ノイズの場合は $T$ タイムステップ後のリグレスに $C \log T$ 限界があり、サブガウス ノイズの場合は $C\log^2 T$ 限界があることを示します。
シミュレーション結果は、特に初期学習段階において、[3] で提案されたアルゴリズムや標準の確実性等価性コントローラーに比べて、PIECE の利点を示しています。
私たちの知る限り、これは適応型最小分散コントローラーに有限時間リグレス限界を提供する最初の研究です。

要約(オリジナル)

Minimum variance controllers have been employed in a wide-range of industrial applications. A key challenge experienced by many adaptive controllers is their poor empirical performance in the initial stages of learning. In this paper, we address the problem of initializing them so that they provide acceptable transients, and also provide an accompanying finite-time regret analysis, for adaptive minimum variance control of an auto-regressive system with exogenous inputs (ARX). Following [3], we consider a modified version of the Certainty Equivalence (CE) adaptive controller, which we call PIECE, that utilizes probing inputs for exploration. We show that it has a $C \log T$ bound on the regret after $T$ time-steps for bounded noise, and $C\log^2 T$ in the case of sub-Gaussian noise. The simulation results demonstrate the advantage of PIECE over the algorithm proposed in [3] as well as the standard Certainty Equivalence controller especially in the initial learning phase. To the best of our knowledge, this is the first work that provides finite-time regret bounds for an adaptive minimum variance controller.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google