Masked Generative Priors Improve World Models Sequence Modelling Capabilities

要約

Deep Rehnection Learning（RL）は、複雑な環境で人工剤を作成するための主要なアプローチとなっています。
環境のダイナミクスを予測する世界モデルを備えたRLメソッドであるモデルベースのアプローチは、データ効率を改善するための最も有望な方向の1つであり、研究と現実世界の展開のギャップを埋めるための重要なステップを形成します。
特に、世界モデルは、想像力で学習することによりサンプル効率を高めます。これには、環境の生成シーケンスモデルを自己監視する方法でトレーニングすることが含まれます。
最近、マスクされた生成モデリングは、トークンシーケンスのモデリングと生成のためのより効率的で優れた誘導バイアスとして浮上しています。
効率的な確率的変圧器ベースのワールドモデル（ストーム）アーキテクチャに基づいて、従来のMLP以前をマスクされた生成事前（例：MaskGit Priove）に置き換え、Git-Stormを導入します。
補強学習とビデオ予測という2つの下流タスクでモデルを評価します。
Git-Stormは、Atari 100KベンチマークのRLタスクでかなりのパフォーマンスの向上を示しています。
さらに、トランスベースの世界モデルを初めて継続的なアクション環境に適用し、以前の研究の大きなギャップに対処します。
これを達成するために、潜在的な状態表現をアクションと統合する状態ミキサー機能を採用し、モデルが連続制御タスクを処理できるようにします。
この新しいドメインにおけるトランスベースの世界モデルの有効性を紹介し、Deepmind Control Suiteの定性的および定量的分析を通じてこのアプローチを検証します。
私たちの結果は、より正確な世界モデルと効果的なRLポリシーへの道を開いて、MaskGitダイナミクスの汎用性と有効性を強調しています。

要約(オリジナル)

Deep Reinforcement Learning (RL) has become the leading approach for creating artificial agents in complex environments. Model-based approaches, which are RL methods with world models that predict environment dynamics, are among the most promising directions for improving data efficiency, forming a critical step toward bridging the gap between research and real-world deployment. In particular, world models enhance sample efficiency by learning in imagination, which involves training a generative sequence model of the environment in a self-supervised manner. Recently, Masked Generative Modelling has emerged as a more efficient and superior inductive bias for modelling and generating token sequences. Building on the Efficient Stochastic Transformer-based World Models (STORM) architecture, we replace the traditional MLP prior with a Masked Generative Prior (e.g., MaskGIT Prior) and introduce GIT-STORM. We evaluate our model on two downstream tasks: reinforcement learning and video prediction. GIT-STORM demonstrates substantial performance gains in RL tasks on the Atari 100k benchmark. Moreover, we apply Transformer-based World Models to continuous action environments for the first time, addressing a significant gap in prior research. To achieve this, we employ a state mixer function that integrates latent state representations with actions, enabling our model to handle continuous control tasks. We validate this approach through qualitative and quantitative analyses on the DeepMind Control Suite, showcasing the effectiveness of Transformer-based World Models in this new domain. Our results highlight the versatility and efficacy of the MaskGIT dynamics prior, paving the way for more accurate world models and effective RL policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google