Seizing Serendipity: Exploiting the Value of Past Success in Off-Policy Actor-Critic

要約

高品質の Q 値関数の学習は、多くの最新のオフポリシー深層強化学習 (RL) アルゴリズムの成功において重要な役割を果たします。
これまでの研究は、関数近似器とオフポリシー学習の採用の結果である値の過大評価の問題に対処することに焦点を当てていました。
一般的な観点から逸脱しますが、RL トレーニング プロセスの後半段階では Q 値が実際に過小評価されていることが観察されます。これは主に、ベルマン アップデートにおける現在のポリシーのより最適なアクション サンプルと比較して劣ったアクションの使用に関連しています。
リプレイバッファ。
私たちは、この長い間無視されてきた現象がポリシーの学習を妨げ、サンプル効率を低下させる可能性があると仮説を立てています。
この問題に対処するための私たちの洞察は、探索の楽観主義を維持しながら、過去の成功を十分に活用することです。
私たちは、過去の最もパフォーマンスの高いアクションと現在のポリシーの両方を使用して Q 値を更新する、シンプルかつ効果的なアプローチである Blended Exploitation and Exploration (BEE) オペレーターを提案します。
モデルフリー設定とモデルベース設定の両方における私たちのメソッドのインスタンス化は、さまざまな連続制御タスクにおいて最先端のメソッドを上回り、障害が発生しやすいシナリオや現実世界のロボットタスクにおいて優れたパフォーマンスを達成します。

要約(オリジナル)

Learning high-quality Q-value functions plays a key role in the success of many modern off-policy deep reinforcement learning (RL) algorithms. Previous works focus on addressing the value overestimation issue, an outcome of adopting function approximators and off-policy learning. Deviating from the common viewpoint, we observe that Q-values are indeed underestimated in the latter stage of the RL training process, primarily related to the use of inferior actions from the current policy in Bellman updates as compared to the more optimal action samples in the replay buffer. We hypothesize that this long-neglected phenomenon potentially hinders policy learning and reduces sample efficiency. Our insight to address this issue is to incorporate sufficient exploitation of past successes while maintaining exploration optimism. We propose the Blended Exploitation and Exploration (BEE) operator, a simple yet effective approach that updates Q-value using both historical best-performing actions and the current policy. The instantiations of our method in both model-free and model-based settings outperform state-of-the-art methods in various continuous control tasks and achieve strong performance in failure-prone scenarios and real-world robot tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google