Divide and Merge: Motion and Semantic Learning in End-to-End Autonomous Driving

要約

環境とその変化を長期にわたって知覚することは、セマンティクスと動きという2つの基本的で不均一なタイプの情報に対応しています。
以前のエンドツーエンドの自律運転作業は、単一の機能ベクトル内の両方のタイプの情報を表しています。
ただし、予測や計画などのモーションタスクには、常に検出と追跡性能が損なわれます。これは、マルチタスク学習における負の転送として知られる現象です。
この問題に対処するために、ベイズフィルターと同様に、セマンティックとモーション学習を分離する新しい並列検出、追跡、および予測方法であるニューラルベイのモーションデコードを提案します。
具体的には、検出および追跡クエリと並行して動作する一連の学習モーションクエリを使用し、再帰的に更新された参照ポイントの統一されたセットを共有します。
さらに、セマンティックタスクの情報交換を強化するために、インタラクティブなセマンティックデコードを採用し、肯定的な転送を促進します。
Nuscenesデータセットの実験では、検出が5％、追跡が11％の改善が示されています。
私たちの方法は、計画モジュールを変更することなく、オープンループ計画評価で最先端の衝突率を達成します。

要約(オリジナル)

Perceiving the environment and its changes over time corresponds to two fundamental yet heterogeneous types of information: semantics and motion. Previous end-to-end autonomous driving works represent both types of information in a single feature vector. However, including motion tasks, such as prediction and planning, always impairs detection and tracking performance, a phenomenon known as negative transfer in multi-task learning. To address this issue, we propose Neural-Bayes motion decoding, a novel parallel detection, tracking, and prediction method separating semantic and motion learning, similar to the Bayes filter. Specifically, we employ a set of learned motion queries that operate in parallel with the detection and tracking queries, sharing a unified set of recursively updated reference points. Moreover, we employ interactive semantic decoding to enhance information exchange in semantic tasks, promoting positive transfer. Experiments on the nuScenes dataset show improvements of 5% in detection and 11% in tracking. Our method achieves state-of-the-art collision rates in open-loop planning evaluation without any modifications to the planning module.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google