Model-based Offline Policy Optimization with Adversarial Network

要約

モデルベースのオフライン強化学習 (RL) は、オンライン環境とのコストのかかる相互作用を回避するためにログ データセットを使用して教師あり遷移モデルを構築し、オフライン ポリシー最適化のための有望なアプローチです。
ロギングデータとオンライン環境の間の不一致により分布シフトの問題が発生する可能性があるため、これまでの多くの研究では、ロバストな遷移モデルを保守的に構築し、モデルの不確実性を正確に推定する方法が研究されてきました。
ただし、過度の保守主義によりエージェントの探索が制限される可能性があり、不確実性の推定が信頼できない可能性があります。
この研究では、Adversarial Network (MOAN) を使用した新しいモデルベースのオフライン ポリシー最適化フレームワークを提案します。
重要なアイデアは、敵対的学習を使用して、より一般化された移行モデルを構築することです。このモデルでは、分布内サンプルと分布外サンプルを区別するために敵対者が導入されます。
さらに、攻撃者は当然のことながら、理論的な保証を備えたモデルの不確実性の定量化を提供できます。
広範な実験により、私たちのアプローチが、広く研究されているオフライン RL ベンチマークにおける既存の最先端のベースラインよりも優れていることが示されました。
また、多様な流通サンプルを生成し、不確実性をより正確に定量化することもできます。

要約(オリジナル)

Model-based offline reinforcement learning (RL), which builds a supervised transition model with logging dataset to avoid costly interactions with the online environment, has been a promising approach for offline policy optimization. As the discrepancy between the logging data and online environment may result in a distributional shift problem, many prior works have studied how to build robust transition models conservatively and estimate the model uncertainty accurately. However, the over-conservatism can limit the exploration of the agent, and the uncertainty estimates may be unreliable. In this work, we propose a novel Model-based Offline policy optimization framework with Adversarial Network (MOAN). The key idea is to use adversarial learning to build a transition model with better generalization, where an adversary is introduced to distinguish between in-distribution and out-of-distribution samples. Moreover, the adversary can naturally provide a quantification of the model’s uncertainty with theoretical guarantees. Extensive experiments showed that our approach outperforms existing state-of-the-art baselines on widely studied offline RL benchmarks. It can also generate diverse in-distribution samples, and quantify the uncertainty more accurately.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google