A modular framework for stabilizing deep reinforcement learning control

要約

タイトル：深層強化学習制御を安定化するためのモジュールフレームワーク

要約：
– 深層強化学習の最適化駆動とモデルフリーの利点を、Youla-Kuceraパラメータ化を使用して安定性保証と組み合わせたフィードバックコントローラの設計のためのフレームワークを提案する。
– 動作システムの最近の進歩により、データ駆動型内部モデルを構築できるようになり、これにより、入出力探索データに基づくYoula-Kuceraパラメータ化の代替実現が可能になる。
– パラメータ化された非線形安定演算子のセットを表現するためにニューラルネットワークを使用することで、標準的なディープラーニングライブラリとのシームレスな統合が可能になる。
– 二タンクシステムのリアルなシミュレーションでアプローチを実証する。

要約(オリジナル)

We propose a framework for the design of feedback controllers that combines the optimization-driven and model-free advantages of deep reinforcement learning with the stability guarantees provided by using the Youla-Kucera parameterization to define the search domain. Recent advances in behavioral systems allow us to construct a data-driven internal model; this enables an alternative realization of the Youla-Kucera parameterization based entirely on input-output exploration data. Using a neural network to express a parameterized set of nonlinear stable operators enables seamless integration with standard deep learning libraries. We demonstrate the approach on a realistic simulation of a two-tank system.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI