Predicting the Future with Simple World Models

要約

ワールド モデルは、コンパクトな潜在空間で潜在的に高次元のピクセル観察を表現できるため、環境のダイナミクスをモデル化するのが容易になります。
ただし、これらのモデルによって推測される潜在的なダイナミクスは依然として非常に複雑である可能性があります。
単純なモデルを使用して環境のダイナミクスを抽象化すると、いくつかの利点が得られます。
潜在的なダイナミクスが単純な場合、モデルは新しい遷移に対してより適切に一般化でき、環境状態の有用な潜在的な表現を発見できる可能性があります。
世界モデルの潜在力学を単純化する正則化スキームを提案します。
私たちのモデル、Parsimonious Latent Space Model (PLSM) は、潜在状態間の相互情報とそれらの間に生じるダイナミクスを最小限に抑えます。
これにより、ダイナミクスが緩やかに状態不変になり、エージェントのアクションの効果がより予測可能になります。
PLSM を、i) 将来の潜在状態の予測、ii) ビデオ予測、および iii) 計画に使用される 3 つの異なるモデル クラスと組み合わせます。
正則化により、下流タスクの精度、一般化、およびパフォーマンスが向上することがわかりました。

要約(オリジナル)

World models can represent potentially high-dimensional pixel observations in compact latent spaces, making it tractable to model the dynamics of the environment. However, the latent dynamics inferred by these models may still be highly complex. Abstracting the dynamics of the environment with simple models can have several benefits. If the latent dynamics are simple, the model may generalize better to novel transitions, and discover useful latent representations of environment states. We propose a regularization scheme that simplifies the world model’s latent dynamics. Our model, the Parsimonious Latent Space Model (PLSM), minimizes the mutual information between latent states and the dynamics that arise between them. This makes the dynamics softly state-invariant, and the effects of the agent’s actions more predictable. We combine the PLSM with three different model classes used for i) future latent state prediction, ii) video prediction, and iii) planning. We find that our regularization improves accuracy, generalization, and performance in downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google