How to Provably Improve Return Conditioned Supervised Learning?

要約

連続的な意思決定の問題では、Return-Conditioned Chupthised Learning（RCSL）は、現代の意思決定タスクにおけるその単純さと安定性に対する認識を高めています。
従来のオフライン強化学習（RL）アルゴリズムとは異なり、RCSLは、状態を入力して戻ることの両方を取得することにより、監視された学習問題としてポリシー学習を枠組みします。
このアプローチは、オフラインRLでの時間差（TD）学習にしばしば関連する不安定性を排除します。
ただし、RCSLはステッチプロパティが不足していると批判されています。つまり、そのパフォーマンスは、オフラインデータセットを生成するために使用されるポリシーの品質によって本質的に制限されています。
この制限に対処するために、補強RCSLと呼ばれる原則的でシンプルなフレームワークを提案します。
私たちのフレームワークの主要な革新は、ディストリビューションに最適な復帰と呼ばれる概念の導入です。
このメカニズムは、私たちのポリシーを活用して、現在の状態に基づいて最良の達成可能な将来の将来のリターンを特定し、複雑なリターン増強技術の必要性を回避します。
私たちの理論分析は、強化されたRCSLが標準のRCSLアプローチを一貫して上回ることができることを示しています。
経験的結果は、私たちの主張をさらに検証し、さまざまなベンチマーク全体で大幅なパフォーマンスの改善を示しています。

要約(オリジナル)

In sequential decision-making problems, Return-Conditioned Supervised Learning (RCSL) has gained increasing recognition for its simplicity and stability in modern decision-making tasks. Unlike traditional offline reinforcement learning (RL) algorithms, RCSL frames policy learning as a supervised learning problem by taking both the state and return as input. This approach eliminates the instability often associated with temporal difference (TD) learning in offline RL. However, RCSL has been criticized for lacking the stitching property, meaning its performance is inherently limited by the quality of the policy used to generate the offline dataset. To address this limitation, we propose a principled and simple framework called Reinforced RCSL. The key innovation of our framework is the introduction of a concept we call the in-distribution optimal return-to-go. This mechanism leverages our policy to identify the best achievable in-dataset future return based on the current state, avoiding the need for complex return augmentation techniques. Our theoretical analysis demonstrates that Reinforced RCSL can consistently outperform the standard RCSL approach. Empirical results further validate our claims, showing significant performance improvements across a range of benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google