Distributed Policy Gradient for Linear Quadratic Networked Control with Limited Communication Range

要約

この論文では、スケーラブルな分散ポリシー勾配法を提案し、マルチエージェント線形二次ネットワーク システムにおける最適に近い解への収束を証明します。
エージェントは、ローカル通信制約の下で指定されたネットワーク内で活動します。これは、各エージェントが限られた数の隣接するエージェントとのみ情報を交換できることを意味します。
ネットワークの基礎となるグラフ上で、各エージェントは、線形二次制御設定における近隣のエージェントの状態に応じて制御入力を実装します。
局所的な情報のみを使用して正確な勾配を近似できることを示します。
集中型の最適コントローラーと比較すると、通信範囲と制御範囲が増加するにつれて、パフォーマンスの差は指数関数的にゼロに減少します。
また、通信範囲を拡大すると、勾配降下プロセスにおけるシステムの安定性がどのように向上するかを示し、それによって重要なトレードオフを明らかにします。
シミュレーション結果は、理論上の発見を裏付けています。

要約(オリジナル)

This paper proposes a scalable distributed policy gradient method and proves its convergence to near-optimal solution in multi-agent linear quadratic networked systems. The agents engage within a specified network under local communication constraints, implying that each agent can only exchange information with a limited number of neighboring agents. On the underlying graph of the network, each agent implements its control input depending on its nearby neighbors’ states in the linear quadratic control setting. We show that it is possible to approximate the exact gradient only using local information. Compared with the centralized optimal controller, the performance gap decreases to zero exponentially as the communication and control ranges increase. We also demonstrate how increasing the communication range enhances system stability in the gradient descent process, thereby elucidating a critical trade-off. The simulation results verify our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google