GPD-1: Generative Pre-training for Driving

要約

運転シナリオの進化をモデル化することは、自動運転システムの評価と意思決定にとって重要です。
既存の手法のほとんどは、マップ生成、動き予測、軌道計画などのシーン展開の一側面に焦点を当てています。
この論文では、追加の微調整を行わずにこれらすべてのタスクをまとめて達成するための統合された運転のための生成事前トレーニング (GPD-1) モデルを提案します。
各シーンをエゴ、エージェント、マップ トークンで表し、自動運転を統一されたトークン生成問題として定式化します。
自己回帰トランスフォーマー アーキテクチャを採用し、シーンレベルのアテンション マスクを使用してシーン内の双方向インタラクションを可能にします。
エゴ トークンとエージェント トークンについては、2D 位置と見出しの両方を効果的にエンコードするための階層型位置トークナイザーを提案します。
マップ トークンについては、マップ ベクトル量子化オートエンコーダーをトレーニングして、エゴ中心のセマンティック マップを個別のトークンに効率的に圧縮します。
私たちは大規模な nuPlan データセットで GPD-1 を事前トレーニングし、その有効性を評価するために広範な実験を実施しています。
当社の GPD-1 は、さまざまなプロンプトを使用して、シーン生成、交通シミュレーション、閉ループ シミュレーション、地図予測、動作計画などのさまざまなタスクを微調整することなく正常に一般化します。
コード: https://github.com/wzzheng/GPD。

要約(オリジナル)

Modeling the evolutions of driving scenarios is important for the evaluation and decision-making of autonomous driving systems. Most existing methods focus on one aspect of scene evolution such as map generation, motion prediction, and trajectory planning. In this paper, we propose a unified Generative Pre-training for Driving (GPD-1) model to accomplish all these tasks altogether without additional fine-tuning. We represent each scene with ego, agent, and map tokens and formulate autonomous driving as a unified token generation problem. We adopt the autoregressive transformer architecture and use a scene-level attention mask to enable intra-scene bi-directional interactions. For the ego and agent tokens, we propose a hierarchical positional tokenizer to effectively encode both 2D positions and headings. For the map tokens, we train a map vector-quantized autoencoder to efficiently compress ego-centric semantic maps into discrete tokens. We pre-train our GPD-1 on the large-scale nuPlan dataset and conduct extensive experiments to evaluate its effectiveness. With different prompts, our GPD-1 successfully generalizes to various tasks without finetuning, including scene generation, traffic simulation, closed-loop simulation, map prediction, and motion planning. Code: https://github.com/wzzheng/GPD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google