Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models

要約

自動運転における共変量シフト問題に対処するために、潜在空間生成世界モデルの使用を提案します。
ワールド モデルは、過去の状態とアクションを考慮してエージェントの次の状態を予測できるニューラル ネットワークです。
トレーニング中にワールド モデルを活用することにより、駆動ポリシーは過剰な量のトレーニング データを必要とせずに共変量シフトを効果的に緩和します。
エンドツーエンドのトレーニング中に、私たちのポリシーは人間のデモンストレーションで観察された状態に合わせてエラーから回復する方法を学習するため、実行時にトレーニング分布外の摂動から回復できます。
さらに、マルチビュークロスアテンションと学習されたシーンクエリを採用した新しいトランスフォーマーベースの知覚エンコーダーを紹介します。
定性的および定量的な結果を提示し、CARLA シミュレーターでの閉ループ テストにおける従来技術の大幅な改善を実証するとともに、CARLA と NVIDIA の DRIVE Sim の両方で摂動を処理できることを示します。

要約(オリジナル)

We propose the use of latent space generative world models to address the covariate shift problem in autonomous driving. A world model is a neural network capable of predicting an agent’s next state given past states and actions. By leveraging a world model during training, the driving policy effectively mitigates covariate shift without requiring an excessive amount of training data. During end-to-end training, our policy learns how to recover from errors by aligning with states observed in human demonstrations, so that at runtime it can recover from perturbations outside the training distribution. Additionally, we introduce a novel transformer-based perception encoder that employs multi-view cross-attention and a learned scene query. We present qualitative and quantitative results, demonstrating significant improvements upon prior state of the art in closed-loop testing in the CARLA simulator, as well as showing the ability to handle perturbations in both CARLA and NVIDIA’s DRIVE Sim.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google