VDT-Auto: End-to-end Autonomous Driving with VLM-Guided Diffusion Transformers

要約

自律運転では、動的な環境とコーナーケースは、エゴ車両の意思決定の堅牢性に大きな課題をもたらします。
これらの課題に対処するために、エンドツーエンドの自律運転パラダイムでの状態アクションマッピングの表現から始まり、新しいパイプラインであるVDT-Autoを紹介します。
拡散トランスベースのアクション生成を組み込んだ視覚言語モデル（VLM）の状態理解の進歩を活用して、VDT-Autoは、拡散プロセスの条件付けのために幾何学的およびコンテキスト的に環境を解析します。
幾何学的には、鳥瞰図（BEV）エンコーダーを使用して、周囲の画像から特徴グリッドを抽出します。
コンテキストでは、微調整されたVLMの構造化された出力は、テキストの埋め込みと騒々しいパスに処理されます。
拡散プロセス中に、フォワードプロセスの追加ノイズは、微調整されたVLMの騒々しいパス出力からサンプリングされますが、抽出されたBEV機能グリッドと埋め込みテキストは、拡散トランスの逆プロセスを条件付けます。
私たちのVDT-Autoは、ヌスケンのオープンループ計画評価で平均L2エラーで0.52m、平均衝突率で21％を達成しました。
さらに、実際のデモンストレーションは、VDT-Autoの顕著な一般化可能性を示しました。
コードとデータセットは、受け入れた後にリリースされます。

要約(オリジナル)

In autonomous driving, dynamic environment and corner cases pose significant challenges to the robustness of ego vehicle’s decision-making. To address these challenges, commencing with the representation of state-action mapping in the end-to-end autonomous driving paradigm, we introduce a novel pipeline, VDT-Auto. Leveraging the advancement of the state understanding of Visual Language Model (VLM), incorporating with diffusion Transformer-based action generation, our VDT-Auto parses the environment geometrically and contextually for the conditioning of the diffusion process. Geometrically, we use a bird’s-eye view (BEV) encoder to extract feature grids from the surrounding images. Contextually, the structured output of our fine-tuned VLM is processed into textual embeddings and noisy paths. During our diffusion process, the added noise for the forward process is sampled from the noisy path output of the fine-tuned VLM, while the extracted BEV feature grids and embedded texts condition the reverse process of our diffusion Transformers. Our VDT-Auto achieved 0.52m on average L2 errors and 21% on average collision rate in the nuScenes open-loop planning evaluation. Moreover, the real-world demonstration exhibited prominent generalizability of our VDT-Auto. The code and dataset will be released after acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google