A Q-learning approach to the continuous control problem of robot inverted pendulum balancing

要約

本研究では、ロボット倒立振子のバランシングの連続制御問題への離散行動空間強化学習法（Qラーニング）の適用を評価する。
学習プロセスをスピードアップし、実際のロボット システムでの直接学習に関連する技術的問題を克服するために、学習フェーズはシミュレーション環境で実行されます。
システムダイナミクスの数学的モデルが実装され、実際のシステムから取得したデータの曲線当てはめによって推定されます。
提案されたアプローチは、倒立振子のバランスをとることを学習した現実世界のロボットに適用することを特徴として、実現可能であることが実証されました。
この研究はまた、連続動作を制御するために離散動作空間アルゴリズムを使用する場合でも、実世界における強化学習アルゴリズムのより効率的な実装を達成するために、シミュレーションにおける物理世界の正確な表現の重要性を強化および実証しています。

要約(オリジナル)

This study evaluates the application of a discrete action space reinforcement learning method (Q-learning) to the continuous control problem of robot inverted pendulum balancing. To speed up the learning process and to overcome technical difficulties related to the direct learning on the real robotic system, the learning phase is performed in simulation environment. A mathematical model of the system dynamics is implemented, deduced by curve fitting on data acquired from the real system. The proposed approach demonstrated feasible, featuring its application on a real world robot that learned to balance an inverted pendulum. This study also reinforces and demonstrates the importance of an accurate representation of the physical world in simulation to achieve a more efficient implementation of reinforcement learning algorithms in real world, even when using a discrete action space algorithm to control a continuous action.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google