Optimization Theory Based Deep Reinforcement Learning for Resource Allocation in Ultra-Reliable Wireless Networked Control Systems

要約

ワイヤレス ネットワーク制御システム (WNCS) の設計では、非常に高い信頼性を提供しながら、最小限の複雑さと通信オーバーヘッドで制御システムと通信システム間の重要な相互作用に対処する必要があります。
この論文では、コントローラーと通信システムの共同設計のための、深層強化学習 (DRL) フレームワークに基づく新しい最適化理論を紹介します。
最小電力消費という目標は、有限ブロック長領域における通信システムのスケジューラビリティとレート制約、および制御システムの安定性制約を満たしながら目標とされています。
決定変数には、制御システムのサンプリング周期、通信システムのブロック長とパケット エラー確率が含まれます。
提案されたフレームワークには、最適化理論と DRL という 2 つの段階が含まれています。
最適化理論段階では、結合最適化問題の定式化に続いて、決定変数の最適値間の数学的関係を見つけるために最適性条件が導出されます。
これらの関係により、問題を複数の構成要素に分解することができます。
DRL 段階では、単純化されたものの扱いにくいブロックが DRL に置き換えられます。
広範なシミュレーションを通じて、提案された最適化理論ベースの DRL アプローチは、最適化理論や純粋な DRL ベースのアプローチよりも優れたパフォーマンスを示し、最適なパフォーマンスに近く、複雑さがはるかに低いことが実証されています。

要約(オリジナル)

The design of Wireless Networked Control System (WNCS) requires addressing critical interactions between control and communication systems with minimal complexity and communication overhead while providing ultra-high reliability. This paper introduces a novel optimization theory based deep reinforcement learning (DRL) framework for the joint design of controller and communication systems. The objective of minimum power consumption is targeted while satisfying the schedulability and rate constraints of the communication system in the finite blocklength regime and stability constraint of the control system. Decision variables include the sampling period in the control system, and blocklength and packet error probability in the communication system. The proposed framework contains two stages: optimization theory and DRL. In the optimization theory stage, following the formulation of the joint optimization problem, optimality conditions are derived to find the mathematical relations between the optimal values of the decision variables. These relations allow the decomposition of the problem into multiple building blocks. In the DRL stage, the blocks that are simplified but not tractable are replaced by DRL. Via extensive simulations, the proposed optimization theory based DRL approach is demonstrated to outperform the optimization theory and pure DRL based approaches, with close to optimal performance and much lower complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google