Rethinking the Open-Loop Evaluation of End-to-End Autonomous Driving in nuScenes

要約

最新の自動運転システムは通常、認識、予測、計画という 3 つの主要なタスクに分割されます。
計画タスクには、内部の意図と外部環境の両方からの入力に基づいて自我車両の軌道を予測し、それに応じて車両を操作することが含まれます。
既存の作品のほとんどは、L2 エラーと、予測された軌道とグラウンド トゥルースの間の衝突率を使用して、nuScenes データセットでのパフォーマンスを評価します。
このペーパーでは、これらの既存の評価指標を再評価し、それらがさまざまな方法の優位性を正確に測定するかどうかを調査します。
具体的には、カメラ画像やカメラ画像などの知覚情報や予測情報を使用せずに、生のセンサーデータ (過去の軌道、速度など) を入力として受け取り、自車両の将来の軌道を直接出力する MLP ベースの方法を設計します。
ライダー。
驚くべきことに、このような単純な方法により、nuScenes データセット上で最先端のエンドツーエンドの計画パフォーマンスが実現され、平均 L2 エラーが約 30% 削減されます。
さらに詳細な分析を実施し、nuScenes データセットの計画タスクを成功させるために重要な要素について新しい洞察を提供します。
私たちの観察は、nuScenes におけるエンドツーエンドの自動運転の現在のオープンループ評価スキームを再考する必要があることも示しています。
コードは https://github.com/E2E-AD/AD-MLP で入手できます。

要約(オリジナル)

Modern autonomous driving systems are typically divided into three main tasks: perception, prediction, and planning. The planning task involves predicting the trajectory of the ego vehicle based on inputs from both internal intention and the external environment, and manipulating the vehicle accordingly. Most existing works evaluate their performance on the nuScenes dataset using the L2 error and collision rate between the predicted trajectories and the ground truth. In this paper, we reevaluate these existing evaluation metrics and explore whether they accurately measure the superiority of different methods. Specifically, we design an MLP-based method that takes raw sensor data (e.g., past trajectory, velocity, etc.) as input and directly outputs the future trajectory of the ego vehicle, without using any perception or prediction information such as camera images or LiDAR. Surprisingly, such a simple method achieves state-of-the-art end-to-end planning performance on the nuScenes dataset, reducing the average L2 error by about 30%. We further conduct in-depth analysis and provide new insights into the factors that are critical for the success of the planning task on nuScenes dataset. Our observation also indicates that we need to rethink the current open-loop evaluation scheme of end-to-end autonomous driving in nuScenes. Codes are available at https://github.com/E2E-AD/AD-MLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google