Generating Behaviorally Diverse Policies with Latent Diffusion Models

要約

最近の品質多様性強化学習 (QD-RL) の進歩により、行動的に多様でパフォーマンスの高いポリシーの集合を学習できるようになりました。
ただし、これらの方法では通常、数千のポリシーを保存する必要があるため、スペースが非常に複雑になり、追加の動作に対するスケーリングが不十分になります。
元のポリシー コレクションのパフォーマンスと適用範囲を維持しながら、アーカイブを 1 つのモデルに凝縮することは、困難であることが判明しています。
この研究では、拡散モデルを使用してアーカイブをポリシーパラメータに基づいて単一の生成モデルに抽出することを提案します。
私たちの方法は、元の報酬の 98% と元のカバレッジの 89% を回復しながら、13 倍の圧縮率を達成することを示します。
さらに、拡散モデルの条件付けメカニズムにより、言語の使用を含む行動の柔軟な選択と順序付けが可能になります。
プロジェクトの Web サイト: https://sites.google.com/view/policydiffusion/home

要約(オリジナル)

Recent progress in Quality Diversity Reinforcement Learning (QD-RL) has enabled learning a collection of behaviorally diverse, high performing policies. However, these methods typically involve storing thousands of policies, which results in high space-complexity and poor scaling to additional behaviors. Condensing the archive into a single model while retaining the performance and coverage of the original collection of policies has proved challenging. In this work, we propose using diffusion models to distill the archive into a single generative model over policy parameters. We show that our method achieves a compression ratio of 13x while recovering 98% of the original rewards and 89% of the original coverage. Further, the conditioning mechanism of diffusion models allows for flexibly selecting and sequencing behaviors, including using language. Project website: https://sites.google.com/view/policydiffusion/home

arxiv情報

提供元, 利用サービス

arxiv.jp, Google