Offline Reinforcement Learning with OOD State Correction and OOD Action Suppression

要約

オフライン強化学習(RL)では、分布外(OOD)行動問題への対処が焦点となっているが、我々は、性能を損なうOOD状態問題も存在するにもかかわらず、まだ十分に研究されていないと主張する。このような問題は、エージェントがテスト段階でオフラインデータセットから外れた状態に遭遇し、制御不能な動作と性能劣化を引き起こすシナリオを説明する。このため、我々は、オフラインRLにおけるOOD状態補正とOOD行動抑制を統合した、シンプルで効果的なアプローチであるSCASを提案する。技術的には、SCASは価値を考慮したOOD状態補正を実現し、エージェントをOOD状態から価値の高い分配中状態に補正することができる。理論的および実証的な結果から、SCASはOOD行動を抑制する効果も示す。標準的なオフラインRLベンチマークにおいて、SCASは追加のハイパーパラメータチューニングなしで優れた性能を達成する。さらに、OOD状態補正機能の恩恵により、SCASは環境摂動に対する頑健性が向上している。

要約(オリジナル)

In offline reinforcement learning (RL), addressing the out-of-distribution (OOD) action issue has been a focus, but we argue that there exists an OOD state issue that also impairs performance yet has been underexplored. Such an issue describes the scenario when the agent encounters states out of the offline dataset during the test phase, leading to uncontrolled behavior and performance degradation. To this end, we propose SCAS, a simple yet effective approach that unifies OOD state correction and OOD action suppression in offline RL. Technically, SCAS achieves value-aware OOD state correction, capable of correcting the agent from OOD states to high-value in-distribution states. Theoretical and empirical results show that SCAS also exhibits the effect of suppressing OOD actions. On standard offline RL benchmarks, SCAS achieves excellent performance without additional hyperparameter tuning. Moreover, benefiting from its OOD state correction feature, SCAS demonstrates enhanced robustness against environmental perturbations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL