Model-Based Imitation Learning for Urban Driving

要約

環境とその中で行動する動的なエージェントの正確なモデルは、運動計画を改善するための大きな可能性を提供する。我々はMILE: a Model-based Imitation LEarning approach to jointly learn a model of the world and a policy for autonomous drivingを提案する。本手法は、3次元形状を帰納的バイアスとして利用し、専門家のデモンストレーションの高解像度動画から直接、非常にコンパクトな潜在空間を学習する。このモデルは、オフラインの都市走行データで学習され、環境とのオンラインインタラクションは一切ない。MILEは、CARLAシミュレータにおいて、全く新しい街と新しい天候の下で展開した場合、先行する最先端技術の運転スコアを31%向上させることができました。このモデルは、鳥瞰図的なセマンティックセグメンテーションに解釈可能な、多様でもっともらしい状態や行動を予測することができます。さらに、完全に想像で予測された計画から、複雑な運転操作を実行できることを実証する。本アプローチは、都市部の運転環境における静的シーン、動的シーン、自我行動をモデル化した初のカメラのみの手法である。コードとモデルの重みは https://github.com/wayveai/mile で公開されています。

要約(オリジナル)

An accurate model of the environment and the dynamic agents acting in it offers great potential for improving motion planning. We present MILE: a Model-based Imitation LEarning approach to jointly learn a model of the world and a policy for autonomous driving. Our method leverages 3D geometry as an inductive bias and learns a highly compact latent space directly from high-resolution videos of expert demonstrations. Our model is trained on an offline corpus of urban driving data, without any online interaction with the environment. MILE improves upon prior state-of-the-art by 31% in driving score on the CARLA simulator when deployed in a completely new town and new weather conditions. Our model can predict diverse and plausible states and actions, that can be interpretably decoded to bird’s-eye view semantic segmentation. Further, we demonstrate that it can execute complex driving manoeuvres from plans entirely predicted in imagination. Our approach is the first camera-only method that models static scene, dynamic scene, and ego-behaviour in an urban driving environment. The code and model weights are available at https://github.com/wayveai/mile.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL