Bridging Past and Future: End-to-End Autonomous Driving with Historical Prediction and Planning

要約

エンドツーエンドの自律運転は、微分可能なフレームワークのタスクを統合し、計画指向の最適化を可能にし、注目を集めます。
現在の方法は、密集した歴史的な鳥瞰図（BEV）機能を通じて、または検出から継承されたパラダイムに従って、まばらなメモリバンクを照会することにより、歴史的情報を集約します。
ただし、これらのパラダイムは、動きの計画で履歴情報を省略するか、複数の将来のタイムステップを予測または計画する必要があるマルチステップの性質と一致しないかのいずれかであると主張します。
未来の哲学に沿って、過去の継続であるBridgeadを提案します。Bridgeadは、将来の各時間ステップのクエリを区別するためのマルチステップクエリとして動きと計画のクエリを再定式化することを提案します。
この設計により、知覚と運動計画の両方を改善するタイムステップに基づいて、エンドツーエンドシステムの適切な部分にそれらを適用することにより、歴史的予測と計画の効果的な使用が可能になります。
具体的には、現在のフレームの履歴クエリは知覚と組み合わされ、将来のフレームのクエリはモーション計画と統合されています。
このようにして、私たちはすべての時間ステップで歴史的洞察を集約し、エンドツーエンドの自律運転パイプラインの全体的な一貫性と精度を高めることにより、過去と未来の間のギャップを埋めます。
オープンループと閉ループの両方の設定の両方でヌスセンデータセットに関する広範な実験は、Bridgeadが最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

End-to-end autonomous driving unifies tasks in a differentiable framework, enabling planning-oriented optimization and attracting growing attention. Current methods aggregate historical information either through dense historical bird’s-eye-view (BEV) features or by querying a sparse memory bank, following paradigms inherited from detection. However, we argue that these paradigms either omit historical information in motion planning or fail to align with its multi-step nature, which requires predicting or planning multiple future time steps. In line with the philosophy of future is a continuation of past, we propose BridgeAD, which reformulates motion and planning queries as multi-step queries to differentiate the queries for each future time step. This design enables the effective use of historical prediction and planning by applying them to the appropriate parts of the end-to-end system based on the time steps, which improves both perception and motion planning. Specifically, historical queries for the current frame are combined with perception, while queries for future frames are integrated with motion planning. In this way, we bridge the gap between past and future by aggregating historical insights at every time step, enhancing the overall coherence and accuracy of the end-to-end autonomous driving pipeline. Extensive experiments on the nuScenes dataset in both open-loop and closed-loop settings demonstrate that BridgeAD achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google