CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization

要約

オフライン強化学習（オフラインRL）アルゴリズムは、ポリシーの最適化中に暗黙的または明示的なポリシー制約を追加して機能の推定バイアスを減らすなど、分布シフトの問題に対処するための追加の制約またはペナルティ用語が必要です。
このペーパーでは、アドバンテージ加重回帰ファミリー（AWRS）の制限、つまり、データの腐敗、特に最適ではないオフラインデータの探求が不十分なため、保守的なポリシーを学習する可能性に焦点を当てています。
（1）KLの発散に基づいた理論的に最適なポリシーに貧弱な調査にどのように影響するか、および（2）そのような貧弱な探査が理論的に最適な政策の近似にどのように影響するかを研究します。
このような保守主義は、​​主に、貧弱な調査に対する政策最適化のための損失関数の感度と、オフラインデータセットでの貧弱な探査の割合によって引き起こされることを証明します。
この懸念に対処するために、腐敗回避アドバンテージ加重回帰（CAWR）を提案します。これには、ポリシーの最適化中に一連の堅牢な損失関数が組み込まれており、優位性に基づいた優先体験リプレイメソッドを除外して、不十分な調査を除外します。
D4RLベンチマークでの数値実験は、私たちの方法が最適ではないオフラインデータから優れたポリシーを学習し、ポリシーの最適化のパフォーマンスを大幅に向上させることを示しています。

要約(オリジナル)

Offline reinforcement learning (offline RL) algorithms often require additional constraints or penalty terms to address distribution shift issues, such as adding implicit or explicit policy constraints during policy optimization to reduce the estimation bias of functions. This paper focuses on a limitation of the Advantage-Weighted Regression family (AWRs), i.e., the potential for learning over-conservative policies due to data corruption, specifically the poor explorations in suboptimal offline data. We study it from two perspectives: (1) how poor explorations impact the theoretically optimal policy based on KL divergence, and (2) how such poor explorations affect the approximation of the theoretically optimal policy. We prove that such over-conservatism is mainly caused by the sensitivity of the loss function for policy optimization to poor explorations, and the proportion of poor explorations in offline datasets. To address this concern, we propose Corruption-Averse Advantage-Weighted Regression (CAWR), which incorporates a set of robust loss functions during policy optimization and an advantage-based prioritized experience replay method to filter out poor explorations. Numerical experiments on the D4RL benchmark show that our method can learn superior policies from suboptimal offline data, significantly enhancing the performance of policy optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google