Predictive World Models from Real-World Partial Observations

要約

認知科学者は、人間のような適応性のある知的エージェントは、エージェントと環境の学習された因果関係の精神的シミュレーションを通じて推論を実行すると信じています。
このようなシミュレーションを学習する問題は、予測世界モデリングと呼ばれます。
最近、ワールド モデルを活用した強化学習 (RL) エージェントがゲーム環境で SOTA パフォーマンスを達成しました。
ただし、モバイル ロボットに関連する複雑な現実世界の環境にワールド モデリングのアプローチを適用する方法を理解することは、依然として未解決の問題です。
この論文では、現実世界の道路環境の確率的予測世界モデルを学習するためのフレームワークを紹介します。
蓄積されたセンサー観測から、完全に観測されたもっともらしい世界の多様なセットを予測できる階層型 VAE (HVAE) を使用してモデルを実装します。
従来の HVAE 手法では、学習のグラウンド トゥルースとして完全な状態が必要ですが、我々は、HVAE が部分的に観察された状態のみから完全な状態を予測することを学習できるようにする新しい逐次トレーニング手法を提案します。
私たちは、96.21 IoU を達成する決定論的領域の正確な空間構造予測を実験的に実証し、最良の予測を使用した確率論的領域については、完全な予測までのギャップを 62% 縮めます。
HVAE を完全なグラウンド トゥルース ステートが存在しないケースに拡張することで、現実世界のモバイル ロボット アプリケーション向けの説明可能で包括的な予測世界モデルの実現に向けたステップとして、空間予測の継続的な学習を促進します。
コードは https://github.com/robin-karlsson0/predictive-world-models で入手できます。

要約(オリジナル)

Cognitive scientists believe adaptable intelligent agents like humans perform reasoning through learned causal mental simulations of agents and environments. The problem of learning such simulations is called predictive world modeling. Recently, reinforcement learning (RL) agents leveraging world models have achieved SOTA performance in game environments. However, understanding how to apply the world modeling approach in complex real-world environments relevant to mobile robots remains an open question. In this paper, we present a framework for learning a probabilistic predictive world model for real-world road environments. We implement the model using a hierarchical VAE (HVAE) capable of predicting a diverse set of fully observed plausible worlds from accumulated sensor observations. While prior HVAE methods require complete states as ground truth for learning, we present a novel sequential training method to allow HVAEs to learn to predict complete states from partially observed states only. We experimentally demonstrate accurate spatial structure prediction of deterministic regions achieving 96.21 IoU, and close the gap to perfect prediction by 62% for stochastic regions using the best prediction. By extending HVAEs to cases where complete ground truth states do not exist, we facilitate continual learning of spatial prediction as a step towards realizing explainable and comprehensive predictive world models for real-world mobile robotics applications. Code is available at https://github.com/robin-karlsson0/predictive-world-models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google