Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics

要約

現実世界の環境で効率的かつスケーラブルなロボット制御を可能にするためには、堅牢で一般化可能な世界モデルを学習することが重要です。
この研究では、複雑で部分的に観測可能な確率論的な力学を正確に捉える世界モデルを学習するための新しいフレームワークを紹介します。
提案された方法は、二重自己回帰メカニズムと自己教師ありトレーニングを採用して、ドメイン固有の帰納的バイアスに依存せずに信頼性の高い長期予測を達成し、さまざまなロボットタスクにわたる適応性を確保します。
さらに、想像上の環境での効率的なトレーニングと現実世界のシステムへのシームレスな展開のために世界モデルを活用するポリシー最適化フレームワークを提案します。
広範な実験を通じて、私たちのアプローチは一貫して最先端の手法を上回っており、優れた自己回帰予測精度、ノイズに対する堅牢性、操作および移動タスク全体にわたる一般化を実証しています。
特に、私たちの方法でトレーニングされたポリシーは、ゼロショット転送で ANYmal D ハードウェアに正常に展開され、シミュレーションと実際のパフォーマンスの損失を最小限に抑えながら堅牢なパフォーマンスを実現します。
この研究では、長期予測、誤差の蓄積、シミュレーションから現実への変換という課題に対処することで、モデルベースの強化学習を進歩させています。
導入された方法は、スケーラブルで堅牢なフレームワークを提供することにより、現実世界のアプリケーションにおける適応的で効率的なロボット システムへの道を切り開きます。

要約(オリジナル)

Learning robust and generalizable world models is crucial for enabling efficient and scalable robotic control in real-world environments. In this work, we introduce a novel framework for learning world models that accurately capture complex, partially observable, and stochastic dynamics. The proposed method employs a dual-autoregressive mechanism and self-supervised training to achieve reliable long-horizon predictions without relying on domain-specific inductive biases, ensuring adaptability across diverse robotic tasks. We further propose a policy optimization framework that leverages world models for efficient training in imagined environments and seamless deployment in real-world systems. Through extensive experiments, our approach consistently outperforms state-of-the-art methods, demonstrating superior autoregressive prediction accuracy, robustness to noise, and generalization across manipulation and locomotion tasks. Notably, policies trained with our method are successfully deployed on ANYmal D hardware in a zero-shot transfer, achieving robust performance with minimal sim-to-real performance loss. This work advances model-based reinforcement learning by addressing the challenges of long-horizon prediction, error accumulation, and sim-to-real transfer. By providing a scalable and robust framework, the introduced methods pave the way for adaptive and efficient robotic systems in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google