$λ$-models: Effective Decision-Aware Reinforcement Learning with Latent Models

要約

意思決定に重要な部分はモデルが正確であるべきであるという、意思決定を考慮したモデル学習の考え方は、モデルベースの強化学習において注目されている。理論的には有望な結果が得られているものの、特に連続制御問題において、意思決定を考慮した損失を活用したアルゴリズムの実証的な性能は不十分である。本稿では、意思決定を考慮した強化学習モデルに必要な構成要素に関する研究を紹介し、性能の良いアルゴリズムを可能にする設計上の選択を紹介する。この目的のために、この分野におけるアルゴリズムの考え方を理論的・実証的に調査する。MuZeroの一連の研究で確立された経験的な設計上の決定、特に潜在モデルの使用が、関連アルゴリズムで良好な性能を達成するために不可欠であることを強調する。さらに、確率的環境ではMuZeroの損失関数に偏りがあることを示し、この偏りが実用的な結果をもたらすことを立証する。これらの知見に基づき、どのような経験的シナリオにおいて、どのような決定認識損失関数を使用するのが最適であるかを概観し、この分野の実務家に実用的な洞察を提供する。

要約(オリジナル)

The idea of decision-aware model learning, that models should be accurate where it matters for decision-making, has gained prominence in model-based reinforcement learning. While promising theoretical results have been established, the empirical performance of algorithms leveraging a decision-aware loss has been lacking, especially in continuous control problems. In this paper, we present a study on the necessary components for decision-aware reinforcement learning models and we showcase design choices that enable well-performing algorithms. To this end, we provide a theoretical and empirical investigation into algorithmic ideas in the field. We highlight that empirical design decisions established in the MuZero line of works, most importantly the use of a latent model, are vital to achieving good performance for related algorithms. Furthermore, we show that the MuZero loss function is biased in stochastic environments and establish that this bias has practical consequences. Building on these findings, we present an overview of which decision-aware loss functions are best used in what empirical scenarios, providing actionable insights to practitioners in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL