FLEX: an Adaptive Exploration Algorithm for Nonlinear Systems

要約

【タイトル】
FLEX：非線形システムのための適応的探索アルゴリズム

【要約】
・モデルベースの強化学習は強力なツールだが、正確なシステムのモデルを合わせるためのデータ収集は費用がかかる。
・未知の環境をサンプル効率的に探索することは非常に重要だが、動力学の複雑さと実際のシステムの計算限界のために、このタスクは課題となる。
・この研究では、最適実験設計に基づく非線形動力学の探索アルゴリズム「FLEX」を紹介する。
・FLEXアルゴリズムは、次のステップの情報量を最大化することによって、適応的な探索アルゴリズムとなる。また、一般的なパラメータ学習モデルと互換性があり、最小限のリソースを必要とする。
・FLEXアルゴリズムをさまざまなセッティングの非線形環境、時間変動ダイナミクスを含むいくつかのテスト環境に適応させた。
・探索は利用目的を満たすことが意図されているため、クラシカルな制御タスクにおいて、他の最新のモデルベースおよびモデルフリーアプローチと比較して、アルゴリズムをテストした。
・FLEXの性能は競争力が高く、計算コストも低く抑えられた。

要約(オリジナル)

Model-based reinforcement learning is a powerful tool, but collecting data to fit an accurate model of the system can be costly. Exploring an unknown environment in a sample-efficient manner is hence of great importance. However, the complexity of dynamics and the computational limitations of real systems make this task challenging. In this work, we introduce FLEX, an exploration algorithm for nonlinear dynamics based on optimal experimental design. Our policy maximizes the information of the next step and results in an adaptive exploration algorithm, compatible with generic parametric learning models and requiring minimal resources. We test our method on a number of nonlinear environments covering different settings, including time-varying dynamics. Keeping in mind that exploration is intended to serve an exploitation objective, we also test our algorithm on downstream model-based classical control tasks and compare it to other state-of-the-art model-based and model-free approaches. The performance achieved by FLEX is competitive and its computational cost is low.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI