VDT-Auto: End-to-end Autonomous Driving with VLM-Guided Diffusion Transformers

要約

自律走行では、動的環境やコーナーケースが、自車両の意思決定のロバスト性に大きな課題をもたらす。これらの課題に対処するため、エンドツーエンドの自律走行パラダイムにおける状態-行動マッピングの表現から始め、我々は新しいパイプラインであるVDT-Autoを導入する。視覚言語モデル(VLM)の状態理解の進化を活用し、拡散トランスフォーマーベースのアクション生成を組み込んだ我々のVDT-Autoは、拡散プロセスの条件付けのために、幾何学的かつ文脈的に環境を解析する。幾何学的には、鳥瞰図（BEV）エンコーダを用いて、周囲の画像から特徴グリッドを抽出する。文脈的には、微調整されたVLMの構造化された出力を、テキスト埋め込みとノイジーパスに処理する。拡散処理の間、順方向処理に加えられるノイズは、微調整されたVLMのノイズパス出力からサンプリングされ、一方、抽出されたBEV特徴グリッドと埋め込まれたテキストは、拡散トランスフォーマーの逆方向処理の条件となる。我々のVDT-Autoは、nuScenesのオープンループ計画評価において、平均0.52mのL2エラーと平均21%の衝突率を達成した。さらに、実世界でのデモンストレーションにより、VDT-Autoの優れた汎用性が示された。コードとデータセットは合格後に公開される予定である。

要約(オリジナル)

In autonomous driving, dynamic environment and corner cases pose significant challenges to the robustness of ego vehicle’s decision-making. To address these challenges, commencing with the representation of state-action mapping in the end-to-end autonomous driving paradigm, we introduce a novel pipeline, VDT-Auto. Leveraging the advancement of the state understanding of Visual Language Model (VLM), incorporating with diffusion Transformer-based action generation, our VDT-Auto parses the environment geometrically and contextually for the conditioning of the diffusion process. Geometrically, we use a bird’s-eye view (BEV) encoder to extract feature grids from the surrounding images. Contextually, the structured output of our fine-tuned VLM is processed into textual embeddings and noisy paths. During our diffusion process, the added noise for the forward process is sampled from the noisy path output of the fine-tuned VLM, while the extracted BEV feature grids and embedded texts condition the reverse process of our diffusion Transformers. Our VDT-Auto achieved 0.52m on average L2 errors and 21% on average collision rate in the nuScenes open-loop planning evaluation. Moreover, the real-world demonstration exhibited prominent generalizability of our VDT-Auto. The code and dataset will be released after acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL