Constrained Reinforcement Learning with Smoothed Log Barrier Function

要約

強化学習（RL）は多くの制御タスクに広く適用されており、報酬関数が明確に定義されている多くの領域で従来の制御方法と比較してパフォーマンスが大幅に向上しました。
ただし、現実世界の問題の多くでは、報酬と制約を同時に考慮して最適化問題を定式化する方が便利なことがよくあります。
報酬整形を介してこのような制約のある問題を最適化することは、いくつかの相互作用する項を含む報酬関数の退屈な手動調整を必要とするため、困難な場合があります。
制約を含む最近の定式化では、ほとんどの場合、事前トレーニング段階が必要であり、多くの場合、データを収集するために人間の専門知識が必要になるか、次善のポリシーがすぐに利用できることが前提となります。
我々は、CSAC-LB (Constrained Soft Actor-Critic with Log Barrier Function) と呼ばれる新しい制約付き RL 手法を提案します。この手法は、線形平滑化対数バリア関数を追加の安全クリティカルに適用することで、事前トレーニングなしで競争力のあるパフォーマンスを実現します。
これは、ポリシー学習の適応ペナルティを実装し、対数バリア関数法の適用を複雑にすることが知られている数値的問題を軽減します。
その結果、CSAC-LB を使用することで、難易度の異なるいくつかの制約された制御タスクで最先端のパフォーマンスを達成し、実際の四足ロボット プラットフォームでの移動タスクでメソッドを評価できることを示しました。

要約(オリジナル)

Reinforcement Learning (RL) has been widely applied to many control tasks and substantially improved the performances compared to conventional control methods in many domains where the reward function is well defined. However, for many real-world problems, it is often more convenient to formulate optimization problems in terms of rewards and constraints simultaneously. Optimizing such constrained problems via reward shaping can be difficult as it requires tedious manual tuning of reward functions with several interacting terms. Recent formulations which include constraints mostly require a pre-training phase, which often needs human expertise to collect data or assumes having a sub-optimal policy readily available. We propose a new constrained RL method called CSAC-LB (Constrained Soft Actor-Critic with Log Barrier Function), which achieves competitive performance without any pre-training by applying a linear smoothed log barrier function to an additional safety critic. It implements an adaptive penalty for policy learning and alleviates the numerical issues that are known to complicate the application of the log barrier function method. As a result, we show that with CSAC-LB, we achieve state-of-the-art performance on several constrained control tasks with different levels of difficulty and evaluate our methods in a locomotion task on a real quadruped robot platform.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google