Neural Motion Simulator: Pushing the Limit of World Models in Reinforcement Learning

要約

具体化されたシステムは、外界のパターンをモデル化するだけでなく、独自の動きのダイナミクスを理解する必要があります。
効率的なスキル獲得と効果的な計画には、モーション動的モデルが不可欠です。
この作業では、現在の観測とアクションに基づいて具体化されたシステムの将来の物理的状態を予測する世界モデルであるニューラルモーションシミュレーター（MOSIM）を紹介します。
MOSIMは、物理的な状態予測で最先端のパフォーマンスを達成し、さまざまなダウンストリームタスクで競争力のあるパフォーマンスを提供します。
これは、世界モデルが十分に正確であり、正確な長期予測を実行すると、想像上の世界での効率的なスキル獲得を促進し、ゼロショットの強化学習を可能にすることさえできることを示しています。
さらに、MOSIMは、モデルフリーの強化学習（RL）アルゴリズムをモデルベースのアプローチに変換し、RLアルゴリズム開発からの物理環境モデリングを効果的に分離することができます。
この分離により、RLアルゴリズムと世界モデリングの独立した進歩が可能になり、サンプルの効率が大幅に改善され、一般化能力が向上します。
私たちの調査結果は、モーションダイナミクスの世界モデルが、より多用途で有能な具体化されたシステムを開発するための有望な方向であることを強調しています。

要約(オリジナル)

An embodied system must not only model the patterns of the external world but also understand its own motion dynamics. A motion dynamic model is essential for efficient skill acquisition and effective planning. In this work, we introduce the neural motion simulator (MoSim), a world model that predicts the future physical state of an embodied system based on current observations and actions. MoSim achieves state-of-the-art performance in physical state prediction and provides competitive performance across a range of downstream tasks. This works shows that when a world model is accurate enough and performs precise long-horizon predictions, it can facilitate efficient skill acquisition in imagined worlds and even enable zero-shot reinforcement learning. Furthermore, MoSim can transform any model-free reinforcement learning (RL) algorithm into a model-based approach, effectively decoupling physical environment modeling from RL algorithm development. This separation allows for independent advancements in RL algorithms and world modeling, significantly improving sample efficiency and enhancing generalization capabilities. Our findings highlight that world models for motion dynamics is a promising direction for developing more versatile and capable embodied systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google