Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models

要約

自律運転における共変量シフト問題に対処するために、潜在空間生成世界モデルの使用を提案します。
世界モデルは、過去の状態と行動を与えられたエージェントの次の状態を予測できるニューラルネットワークです。
トレーニング中に世界モデルを活用することにより、運転ポリシーは、過剰な量のトレーニングデータを必要とせずに共変量シフトを効果的に軽減します。
エンドツーエンドのトレーニング中に、私たちのポリシーは、人間のデモで観察された状態と連携することにより、エラーから回復する方法を学び、実行時にトレーニング分布外の摂動から回復できるようにします。
さらに、マルチビューの相互参加と学習シーンクエリを採用する新しいトランスベースのPerception Encoderを紹介します。
定性的および定量的な結果を提示し、カーラシミュレーターでのクローズドループテストにおける以前の最先端の最新技術に関する大幅な改善を示し、カーラとナヴィディアのドライブSIMの両方で摂動を処理する能力を示しています。

要約(オリジナル)

We propose the use of latent space generative world models to address the covariate shift problem in autonomous driving. A world model is a neural network capable of predicting an agent’s next state given past states and actions. By leveraging a world model during training, the driving policy effectively mitigates covariate shift without requiring an excessive amount of training data. During end-to-end training, our policy learns how to recover from errors by aligning with states observed in human demonstrations, so that at runtime it can recover from perturbations outside the training distribution. Additionally, we introduce a novel transformer-based perception encoder that employs multi-view cross-attention and a learned scene query. We present qualitative and quantitative results, demonstrating significant improvements upon prior state of the art in closed-loop testing in the CARLA simulator, as well as showing the ability to handle perturbations in both CARLA and NVIDIA’s DRIVE Sim.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google