Uni-O4: Unifying Online and Offline Deep Reinforcement Learning with Multi-Step On-Policy Optimization

要約

効率的かつ安全な学習には、オフラインとオンラインの強化学習 (RL) を組み合わせることが重要です。
ただし、これまでのアプローチでは、オフライン学習とオンライン学習を別個の手順として扱うため、設計が冗長になり、パフォーマンスが制限されてしまいます。
私たちはこう問います。余分な保守主義や規則化を導入することなく、簡単でありながら効果的なオフラインおよびオンライン学習を実現できるでしょうか?
この研究では、オフラインとオンラインの両方の学習にポリシー上の目標を利用する Uni-o4 を提案します。
2 つのフェーズで目標を調整することで、RL エージェントはオフライン学習とオンライン学習の間をシームレスに移行できます。
この特性により、学習パラダイムの柔軟性が向上し、事前トレーニング、微調整、オフライン、オンライン学習の任意の組み合わせが可能になります。
具体的には、オフライン段階では、Uni-o4 はさまざまなアンサンブル ポリシーを活用して、推定された動作ポリシーとオフライン データセットの間の不一致の問題に対処します。
Uni-o4 は、シンプルなオフライン ポリシー評価 (OPE) アプローチを通じて、複数段階のポリシー改善を安全に達成できます。
上記の方法を採用することで、これら 2 つのパラダイムを融合することで、優れたオフライン初期化機能と、安定した迅速なオンライン微調整機能が得られることを実証します。
現実世界のロボットタスクを通じて、困難でこれまで見たことのない現実世界の環境に迅速に展開するためのこのパラダイムの利点を強調します。
さらに、多数のシミュレートされたベンチマークを使用した包括的な評価を通じて、私たちの方法がオフラインおよびオフラインからオンラインへの微調整学習の両方で最先端のパフォーマンスを達成することを実証しました。
弊社ウェブサイト：https://lei-kun.github.io/uni-o4/ 。

要約(オリジナル)

Combining offline and online reinforcement learning (RL) is crucial for efficient and safe learning. However, previous approaches treat offline and online learning as separate procedures, resulting in redundant designs and limited performance. We ask: Can we achieve straightforward yet effective offline and online learning without introducing extra conservatism or regularization? In this study, we propose Uni-o4, which utilizes an on-policy objective for both offline and online learning. Owning to the alignment of objectives in two phases, the RL agent can transfer between offline and online learning seamlessly. This property enhances the flexibility of the learning paradigm, allowing for arbitrary combinations of pretraining, fine-tuning, offline, and online learning. In the offline phase, specifically, Uni-o4 leverages diverse ensemble policies to address the mismatch issues between the estimated behavior policy and the offline dataset. Through a simple offline policy evaluation (OPE) approach, Uni-o4 can achieve multi-step policy improvement safely. We demonstrate that by employing the method above, the fusion of these two paradigms can yield superior offline initialization as well as stable and rapid online fine-tuning capabilities. Through real-world robot tasks, we highlight the benefits of this paradigm for rapid deployment in challenging, previously unseen real-world environments. Additionally, through comprehensive evaluations using numerous simulated benchmarks, we substantiate that our method achieves state-of-the-art performance in both offline and offline-to-online fine-tuning learning. Our website: https://lei-kun.github.io/uni-o4/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google