Curriculum Reinforcement Learning for Complex Reward Functions

要約

強化学習（RL）は、制御の問題に取り組むための強力なツールとして浮上していますが、その実用的なアプリケーションは、複数の用語で複雑な報酬機能から生じる複雑さによってしばしば妨げられます。
報酬仮説は、あらゆる目的をスカラー報酬関数にカプセル化できるが、搾取なしの個々の、潜在的に敵対的な報酬用語のバランスをとることができると仮定しています。
多くの場合、競合する報酬条件の正確なバランスを必要とする従来のRLメソッドの制限を克服するために、最初に単純な報酬関数を最大化し、次に完全で複雑な報酬に移行する2段階の報酬カリキュラムを提案します。
俳優が批評家にどれだけうまく適合して、2つの段階間の遷移点を自動的に決定する方法に基づいた方法を提供します。
さらに、次の段階でサンプルを再利用することにより、効率的な位相転送を可能にする柔軟なリプレイバッファーを導入します。
DeepMind Control Suiteでの方法を評価します。これは、報酬の定義に追加の制約用語を含めるように変更されました。
さらに、モバイルロボットシナリオで、さらに競合する報酬条件でメソッドを評価します。
両方の設定で、2段階の報酬カリキュラムは、カリキュラムなしで訓練されたベースラインと比較して、パフォーマンスの大幅な改善を達成します。
報酬の制約用語を活用する代わりに、タスクの完了と制約満足度のバランスをとるポリシーを学ぶことができます。
私たちの結果は、複雑な報酬を備えた環境で効率的で安定したRLのための2段階の報酬カリキュラムの可能性を示しており、実際のアプリケーションでより堅牢で適応性のあるロボットシステムへの道を開いています。

要約(オリジナル)

Reinforcement learning (RL) has emerged as a powerful tool for tackling control problems, but its practical application is often hindered by the complexity arising from intricate reward functions with multiple terms. The reward hypothesis posits that any objective can be encapsulated in a scalar reward function, yet balancing individual, potentially adversarial, reward terms without exploitation remains challenging. To overcome the limitations of traditional RL methods, which often require precise balancing of competing reward terms, we propose a two-stage reward curriculum that first maximizes a simple reward function and then transitions to the full, complex reward. We provide a method based on how well an actor fits a critic to automatically determine the transition point between the two stages. Additionally, we introduce a flexible replay buffer that enables efficient phase transfer by reusing samples from one stage in the next. We evaluate our method on the DeepMind control suite, modified to include an additional constraint term in the reward definitions. We further evaluate our method in a mobile robot scenario with even more competing reward terms. In both settings, our two-stage reward curriculum achieves a substantial improvement in performance compared to a baseline trained without curriculum. Instead of exploiting the constraint term in the reward, it is able to learn policies that balance task completion and constraint satisfaction. Our results demonstrate the potential of two-stage reward curricula for efficient and stable RL in environments with complex rewards, paving the way for more robust and adaptable robotic systems in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google