Towards Model-Free LQR Control over Rate-Limited Channels

要約

多くの問題設定で制御設計のためのモデルフリー手法が成功していることを考えると、勾配やポリシーの送信に現実的な通信チャネルが利用された場合に状況がどのように変化するのかを疑問に思うのは自然なことです。
結果として生じる問題は、ネットワーク制御システムのルーブリックに基づいて研究された定式化と類似していますが、その分野の豊富な文献では通常、システムのモデルが既知であると想定されています。
モデルフリー制御設計とネットワーク制御システムの分野の橋渡しに向けたステップとして、\textit{線形二次レギュレーター (LQR) 問題などの基本的な制御問題をモデルフリーの方法で解決することは可能ですか?
この質問に答えるために、ワーカー エージェントが (LQR コストの) 量子化されたポリシー勾配を、有限ビット レートのノイズのないチャネル経由でサーバーに送信する設定を研究します。
我々は、適応量子化勾配降下法 (\texttt{AQGD}) というタイトルの新しいアルゴリズムを提案し、特定の有限しきい値ビットレートを超えると、\texttt{AQGD} が世界的に最適なポリシーへの指数関数的に高速な収束を保証することを証明します。
量子化されていない設定に対する指数の劣化｝。
より一般的には、私たちのアプローチは、高速な線形収束速度を維持する上での適応量子化の利点を明らかにしているため、圧縮最適化に関する文献にとって独立した興味深いものになる可能性があります。

要約(オリジナル)

Given the success of model-free methods for control design in many problem settings, it is natural to ask how things will change if realistic communication channels are utilized for the transmission of gradients or policies. While the resulting problem has analogies with the formulations studied under the rubric of networked control systems, the rich literature in that area has typically assumed that the model of the system is known. As a step towards bridging the fields of model-free control design and networked control systems, we ask: \textit{Is it possible to solve basic control problems – such as the linear quadratic regulator (LQR) problem – in a model-free manner over a rate-limited channel?} Toward answering this question, we study a setting where a worker agent transmits quantized policy gradients (of the LQR cost) to a server over a noiseless channel with a finite bit-rate. We propose a new algorithm titled Adaptively Quantized Gradient Descent (\texttt{AQGD}), and prove that above a certain finite threshold bit-rate, \texttt{AQGD} guarantees exponentially fast convergence to the globally optimal policy, with \textit{no deterioration of the exponent relative to the unquantized setting}. More generally, our approach reveals the benefits of adaptive quantization in preserving fast linear convergence rates, and, as such, may be of independent interest to the literature on compressed optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google