End-to-end Autonomous Driving: Challenges and Frontiers

要約

自動運転コミュニティでは、検出や動作予測などの個別のタスクに集中するのではなく、生のセンサー入力を利用して車両の動作計画を生成する、エンドツーエンドのアルゴリズム フレームワークを採用するアプローチが急速に成長しているのを目の当たりにしています。
エンドツーエンド システムは、モジュラー パイプラインと比較して、認識と計画のための共同機能の最適化の恩恵を受けます。
この分野は、大規模なデータセットの利用可能性、閉ループ評価、および困難なシナリオで効果的に実行するための自動運転アルゴリズムのニーズの高まりにより繁栄してきました。
この調査では、エンドツーエンドの自動運転の動機、ロードマップ、方法論、課題、将来の傾向を網羅した 250 以上の論文の包括的な分析を提供します。
私たちは、特にマルチモダリティ、解釈可能性、因果関係の混乱、堅牢性、世界モデルなど、いくつかの重要な課題を掘り下げます。
さらに、基礎モデルと視覚的な事前トレーニングにおける現在の進歩と、これらの技術をエンドツーエンドの運転フレームワークに組み込む方法についても説明します。
将来の研究を促進するために、関連する文献やオープンソース プロジェクトへの最新リンクを含むアクティブなリポジトリを https://github.com/OpenDriveLab/End-to-end-Autonomous-Driving に維持しています。

要約(オリジナル)

The autonomous driving community has witnessed a rapid growth in approaches that embrace an end-to-end algorithm framework, utilizing raw sensor input to generate vehicle motion plans, instead of concentrating on individual tasks such as detection and motion prediction. End-to-end systems, in comparison to modular pipelines, benefit from joint feature optimization for perception and planning. This field has flourished due to the availability of large-scale datasets, closed-loop evaluation, and the increasing need for autonomous driving algorithms to perform effectively in challenging scenarios. In this survey, we provide a comprehensive analysis of more than 250 papers, covering the motivation, roadmap, methodology, challenges, and future trends in end-to-end autonomous driving. We delve into several critical challenges, including multi-modality, interpretability, causal confusion, robustness, and world models, amongst others. Additionally, we discuss current advancements in foundation models and visual pre-training, as well as how to incorporate these techniques within the end-to-end driving framework. To facilitate future research, we maintain an active repository that contains up-to-date links to relevant literature and open-source projects at https://github.com/OpenDriveLab/End-to-end-Autonomous-Driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google