Benchmarking Actor-Critic Deep Reinforcement Learning Algorithms for Robotics Control with Action Constraints

要約

この研究では、アクション制約付き強化学習 (RL) アルゴリズムを評価するためのベンチマークを示します。
アクション制約型 RL では、学習システムによって実行される各アクションは特定の制約に従う必要があります。
これらの制約は、現実世界のシステムにおけるアクションの実現可能性と安全性を確保するために重要です。
私たちは、複数のアクション制約タイプを含む、複数のロボット制御環境にわたって既存のアルゴリズムとその新しいバリアントを評価します。
私たちの評価は、この分野の初めての詳細な視点を提供し、単純なベースラインアプローチの有効性など、驚くべき洞察を明らかにします。
実験で利用したベンチマーク問題と関連コードは、さらなる研究と開発のために github.com/omron-sonicx/action-constrained-RL-benchmark からオンラインで入手できます。

要約(オリジナル)

This study presents a benchmark for evaluating action-constrained reinforcement learning (RL) algorithms. In action-constrained RL, each action taken by the learning system must comply with certain constraints. These constraints are crucial for ensuring the feasibility and safety of actions in real-world systems. We evaluate existing algorithms and their novel variants across multiple robotics control environments, encompassing multiple action constraint types. Our evaluation provides the first in-depth perspective of the field, revealing surprising insights, including the effectiveness of a straightforward baseline approach. The benchmark problems and associated code utilized in our experiments are made available online at github.com/omron-sinicx/action-constrained-RL-benchmark for further research and development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google