Experimental Study on Reinforcement Learning-based Control of an Acrobot

要約

人工知能 (AI) が強化学習 (RL) を使用して Acrobot の制御をどのように学習するかについての計算結果と実験結果を紹介します。
これにより、実験セットアップは組み込みシステムとして設計され、ロボット工学や環境発電アプリケーションにとって興味深いものになります。
具体的には、Acrobot の角速度の制御と、運動エネルギーと位置エネルギーの合計である総エネルギーの制御を研究します。
これにより、RL アルゴリズムは、Acrobot の最初の振り子の角速度またはエネルギーを望ましい値に向けて駆動するように設計されています。
これにより、Acrobot の非作動振り子の振動または完全な回転が達成されます。
さらに、Acrobot 制御の調査が実行され、状態空間の離散化、エピソードの長さ、動作空間、または駆動振り子の質量が RL 制御に及ぼす影響についての洞察が得られます。
さらに多数のシミュレーションと実験によって、パラメーターの変動の影響が評価されます。

要約(オリジナル)

We present computational and experimental results on how artificial intelligence (AI) learns to control an Acrobot using reinforcement learning (RL). Thereby the experimental setup is designed as an embedded system, which is of interest for robotics and energy harvesting applications. Specifically, we study the control of angular velocity of the Acrobot, as well as control of its total energy, which is the sum of the kinetic and the potential energy. By this means the RL algorithm is designed to drive the angular velocity or the energy of the first pendulum of the Acrobot towards a desired value. With this, libration or full rotation of the unactuated pendulum of the Acrobot is achieved. Moreover, investigations of the Acrobot control are carried out, which lead to insights about the influence of the state space discretization, the episode length, the action space or the mass of the driven pendulum on the RL control. By further numerous simulations and experiments the effects of parameter variations are evaluated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google