Improving Transformer World Models for Data-Efficient RL

要約

モデルベースのRLへのアプローチを提示します。これは、挑戦的なCraftaxクラシックベンチマークで新しい最先端のパフォーマンスを実現します。これは、強力な一般化、深い探求、長期的な推論など、エージェントが幅広い一般的な能力を示すことを要求するオープンワールド2Dサバイバルゲームです。
サンプルの効率を改善することを目的とした一連の慎重な設計の選択により、MBRLアルゴリズムは1mの環境ステップのみで69.66％の報酬を達成し、DreamerV3を大幅に上回り、53.2％を達成し、初めて65.0％を超えます。
私たちの方法は、CNNとRNNを組み合わせた新しいポリシーアーキテクチャを使用して、SOTAモデルのないベースラインを構築することから始まります。
次に、標準のMBRLセットアップに3つの改善を追加します：（a）dyna with warmup」。これは、実際のデータと想像上のデータに関するポリシーをトレーニングします（b）画像パッチ上の「最近隣接トークンザー」は、変圧器の世界モデル（TWM）入力を作成するスキームを改善し、（c） ‘Block Teacher Forcing’を作成します。

要約(オリジナル)

We present an approach to model-based RL that achieves a new state of the art performance on the challenging Craftax-classic benchmark, an open-world 2D survival game that requires agents to exhibit a wide range of general abilities — such as strong generalization, deep exploration, and long-term reasoning. With a series of careful design choices aimed at improving sample efficiency, our MBRL algorithm achieves a reward of 69.66% after only 1M environment steps, significantly outperforming DreamerV3, which achieves 53.2%, and, for the first time, exceeds human performance of 65.0%. Our method starts by constructing a SOTA model-free baseline, using a novel policy architecture that combines CNNs and RNNs. We then add three improvements to the standard MBRL setup: (a) ‘Dyna with warmup’, which trains the policy on real and imaginary data, (b) ‘nearest neighbor tokenizer’ on image patches, which improves the scheme to create the transformer world model (TWM) inputs, and (c) ‘block teacher forcing’, which allows the TWM to reason jointly about the future tokens of the next timestep.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google