Predictive World Models from Real-World Partial Observations

要約

【タイトル】現実世界の部分観測から予測される世界モデル

【要約】
– 人間などの適応型インテリジェントエージェントは、エージェントや環境の学習された因果的メンタルシミュレーションによって推論を行うと考えられている。
– そのようなシミュレーションを学習する問題を「予測ワールドモデリング」と呼ぶ。
– 最近、ワールドモデルを活用した強化学習（RL）エージェントは、ゲーム環境でSOTAの性能を発揮している。
– しかし、モバイルロボットに関連する複雑な現実世界の環境に世界モデルアプローチを適用する方法の理解は、未解決の問題である。
– 本論文では、現実世界の道路環境のために確率的予測世界モデルを学習するフレームワークを提案する。
– アキュムレートされたセンサー観察から多様な完全に観察された世界のセットを予測することができる階層VAE（HVAE）を使用してモデルを実装する。
– 以前のHVAE方法は、学習のために完全な状態が必要だったが、部分的に観測された状態から完全な状態を予測することをHVAEに許可する新しいシーケンシャルトレーニングメソッドを提案している。
– 確定的領域の精度の高い空間構造予測を実験的に実証し、IoUが96.21に達し、最良の予測で確率的領域の予測を62％改善することで完全な予測に近づいた。
– 完全なグラウンドトゥルース状態が存在しない場合にHVAEを拡張することで、現実世界のモバイルロボティクスアプリケーションのための説明可能で包括的な予測世界モデルを実現するためのステップとして、空間予測の継続的な学習を促進する。
– 実装されたコードは、 https://github.com/robin-karlsson0/predictive-world-models にて公開されている。

要約(オリジナル)

Cognitive scientists believe adaptable intelligent agents like humans perform reasoning through learned causal mental simulations of agents and environments. The problem of learning such simulations is called predictive world modeling. Recently, reinforcement learning (RL) agents leveraging world models have achieved SOTA performance in game environments. However, understanding how to apply the world modeling approach in complex real-world environments relevant to mobile robots remains an open question. In this paper, we present a framework for learning a probabilistic predictive world model for real-world road environments. We implement the model using a hierarchical VAE (HVAE) capable of predicting a diverse set of fully observed plausible worlds from accumulated sensor observations. While prior HVAE methods require complete states as ground truth for learning, we present a novel sequential training method to allow HVAEs to learn to predict complete states from partially observed states only. We experimentally demonstrate accurate spatial structure prediction of deterministic regions achieving 96.21 IoU, and close the gap to perfect prediction by 62% for stochastic regions using the best prediction. By extending HVAEs to cases where complete ground truth states do not exist, we facilitate continual learning of spatial prediction as a step towards realizing explainable and comprehensive predictive world models for real-world mobile robotics applications. Code is available at https://github.com/robin-karlsson0/predictive-world-models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI