NODEC: Neural ODE For Optimal Control of Unknown Dynamical Systems

要約

複雑な力学系の制御は、一般に、変分論理学の枠組みの下で、既知のダイナミクスを持つ特定の制御目標を最小化することに関連している。未知のダイナミクスを持つシステムの場合、ダイナミクスモデリングという追加ステップが必要となる。しかし、ダイナミクスのモデリングが不正確であれば、結果として得られる制御関数が最適でなくなる。未知の力学系を制御するためのもう一つのアプローチである強化学習は、環境との広範な相互作用を通じて、価値関数近似や政策勾配を介して、ダイナミクスモデリングをコントローラの学習に折り込むが、データ効率が低いという問題がある。そこで我々は、未知の力学系を制御するための新しいフレームワークであるNODECを紹介する。NODECは、結合神経ODEモデルを用いて、力学モデリングとコントローラ学習を組み合わせたものである。2つの結合ニューラルネットワーク間の興味深い相互作用を通して、NODECはシステムダイナミクスを学習し、未知の力学系を目標状態に導く最適制御を学習する。我々の実験は、未知の力学系の最適制御を学習するためのNODECの有効性とデータ効率を実証している。

要約(オリジナル)

Controlling complex dynamical systems is generally associated with minimizing certain control objectives with known dynamics under the variational calculus framework. For systems with unknown dynamics, an additional step of dynamics modeling is required. However, any inaccuracy in dynamics modeling will lead to sub-optimality in the resulting control function. Another set of approaches for controlling unknown dynamical systems – reinforcement learning, folds the dynamics modeling into controller training via value function approximation or policy gradient through extensively interacting with the environment, but it suffers from low data efficiency. To address these, we introduce NODEC, a novel framework for controlling unknown dynamical systems, which combines dynamics modelling and controller training using a coupled neural ODE model. Through an intriguing interplay between the two coupled neural networks, NODEC learns system dynamics as well as optimal controls that guides the unknown dynamical system towards target states. Our experiments demonstrate the effectiveness and data efficiency of NODEC for learning optimal control of unknown dynamical systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL