Masked Generative Priors Improve World Models Sequence Modelling Capabilities

要約

深層強化学習 (RL) は、複雑な環境で人工エージェントを作成するための主要なアプローチとなっています。
環境ダイナミクスを予測する世界モデルを使用した RL 手法であるモデルベースのアプローチは、データ効率を向上させるための最も有望な方向性の 1 つであり、研究と現実世界の展開の間のギャップを埋めるための重要なステップを形成します。
特に、ワ​​ールド モデルは、自己教師ありの方法で環境の生成シーケンス モデルをトレーニングすることを含む想像力で学習することによってサンプル効率を高めます。
最近、マスクされた生成モデリングが、トークン シーケンスのモデリングと生成のためのより効率的で優れた帰納的バイアスとして登場しました。
Efficient Stochastic Transformer-based World Models (STORM) アーキテクチャを基盤として、従来の MLP 事前分布をマスクされた生成事前分布 (MaskGIT Prior など) に置き換え、GIT-STORM を導入します。
強化学習とビデオ予測という 2 つの下流タスクでモデルを評価します。
GIT-STORM は、Atari 100k ベンチマークで RL タスクのパフォーマンスが大幅に向上していることを示しています。
さらに、トランスフォーマーベースのワールドモデルを連続アクション環境に初めて適用し、先行研究の大きなギャップに対処します。
これを達成するために、潜在状態表現とアクションを統合するステート ミキサー関数を採用し、モデルが継続的な制御タスクを処理できるようにします。
私たちは、DeepMind Control Suite の定性的および定量的分析を通じてこのアプローチを検証し、この新しい領域における Transformer ベースのワールド モデルの有効性を示します。
私たちの結果は、以前の MaskGIT ダイナミクスの多用途性と有効性を強調し、より正確な世界モデルと効果的な RL ポリシーへの道を切り開きます。

要約(オリジナル)

Deep Reinforcement Learning (RL) has become the leading approach for creating artificial agents in complex environments. Model-based approaches, which are RL methods with world models that predict environment dynamics, are among the most promising directions for improving data efficiency, forming a critical step toward bridging the gap between research and real-world deployment. In particular, world models enhance sample efficiency by learning in imagination, which involves training a generative sequence model of the environment in a self-supervised manner. Recently, Masked Generative Modelling has emerged as a more efficient and superior inductive bias for modelling and generating token sequences. Building on the Efficient Stochastic Transformer-based World Models (STORM) architecture, we replace the traditional MLP prior with a Masked Generative Prior (e.g., MaskGIT Prior) and introduce GIT-STORM. We evaluate our model on two downstream tasks: reinforcement learning and video prediction. GIT-STORM demonstrates substantial performance gains in RL tasks on the Atari 100k benchmark. Moreover, we apply Transformer-based World Models to continuous action environments for the first time, addressing a significant gap in prior research. To achieve this, we employ a state mixer function that integrates latent state representations with actions, enabling our model to handle continuous control tasks. We validate this approach through qualitative and quantitative analyses on the DeepMind Control Suite, showcasing the effectiveness of Transformer-based World Models in this new domain. Our results highlight the versatility and efficacy of the MaskGIT dynamics prior, paving the way for more accurate world models and effective RL policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google