Model-Based Imitation Learning for Urban Driving

要約

環境の正確なモデルとその中で動作する動的エージェントは、モーション プランニングを改善する大きな可能性を提供します。
世界のモデルと自動運転のポリシーを共同で学習するモデルベースの模倣学習アプローチ、MILE を紹介します。
私たちの方法は、3D ジオメトリを誘導バイアスとして活用し、専門家のデモンストレーションの高解像度ビデオから直接、非常にコンパクトな潜在空間を学習します。
私たちのモデルは、環境とのオンラインの相互作用なしに、都市部の運転データのオフライン コーパスでトレーニングされます。
MILE は、まったく新しい町や新しい気象条件に配備された場合、CARLA シミュレーターでの運転スコアが以前の最新技術より 35% 向上します。
私たちのモデルは、多様でもっともらしい状態と行動を予測でき、鳥瞰図のセマンティックセグメンテーションに解釈可能にデコードできます。
さらに、想像で完全に予測された計画から複雑な運転操作を実行できることを示しています。
私たちのアプローチは、都市の運転環境における静的シーン、動的シーン、自我行動をモデル化する最初のカメラのみの方法です。
コードとモデルの重みは、https://github.com/wayveai/mile で入手できます。

要約(オリジナル)

An accurate model of the environment and the dynamic agents acting in it offers great potential for improving motion planning. We present MILE: a Model-based Imitation LEarning approach to jointly learn a model of the world and a policy for autonomous driving. Our method leverages 3D geometry as an inductive bias and learns a highly compact latent space directly from high-resolution videos of expert demonstrations. Our model is trained on an offline corpus of urban driving data, without any online interaction with the environment. MILE improves upon prior state-of-the-art by 35% in driving score on the CARLA simulator when deployed in a completely new town and new weather conditions. Our model can predict diverse and plausible states and actions, that can be interpretably decoded to bird’s-eye view semantic segmentation. Further, we demonstrate that it can execute complex driving manoeuvres from plans entirely predicted in imagination. Our approach is the first camera-only method that models static scene, dynamic scene, and ego-behaviour in an urban driving environment. The code and model weights are available at https://github.com/wayveai/mile.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google