Benchmarking Actor-Critic Deep Reinforcement Learning Algorithms for Robotics Control with Action Constraints

要約

タイトル：行動制約を持つロボティクス制御のためのActor-Critic Deep Reinforcement Learningアルゴリズムのベンチマーク評価

要約：

・行動制約を持つ強化学習（RL）アルゴリズムの評価のためのベンチマークを提供

・行動制約とは、学習システムがとる各行動が一定の制約条件に合致する必要があること

・これらの制約条件は現実のシステムにおける行動の実行可能性と安全性を確保するために重要である

・既存のアルゴリズムとその新しいバリアントを多数のロボティクス制御環境で評価し、複数の行動制約タイプを網羅する

・評価により、シンプルなベースラインアプローチの効果が示唆されるなど、見落とされていた洞察が明らかになった

・実験で使用されたベンチマーク問題と関連するコードは、github.com/omron-sinicx/action-constrained-RL-benchmarkでオンラインで公開され、さらなる研究と開発に役立てられる。

要約(オリジナル)

This study presents a benchmark for evaluating action-constrained reinforcement learning (RL) algorithms. In action-constrained RL, each action taken by the learning system must comply with certain constraints. These constraints are crucial for ensuring the feasibility and safety of actions in real-world systems. We evaluate existing algorithms and their novel variants across multiple robotics control environments, encompassing multiple action constraint types. Our evaluation provides the first in-depth perspective of the field, revealing surprising insights, including the effectiveness of a straightforward baseline approach. The benchmark problems and associated code utilized in our experiments are made available online at github.com/omron-sinicx/action-constrained-RL-benchmark for further research and development.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI