DriveLM: Driving with Graph Visual Question Answering

要約

私たちは、Web スケールのデータでトレーニングされたビジョン言語モデル (VLM) をエンドツーエンドの駆動システムに統合して一般化を促進し、人間のユーザーとの対話性を可能にする方法を研究しています。
最近のアプローチでは、VLM は 1 ラウンドの視覚的質問応答 (VQA) を通じて運転に適応しますが、人間のドライバーは複数のステップで判断を検討します。
人間は、主要なオブジェクトの位置特定から始めて、アクションを実行する前にオブジェクトの相互作用を推定します。
重要な洞察は、知覚、予測、質問と回答のペアの計画を通じてグラフ構造の推論をモデル化する、提案されたタスク Graph VQA を使用すると、人間の推論プロセスを模倣する適切な代理タスクを取得できるということです。
nuScenes と CARLA に基づいて構築されたデータセット (DriveLM-Data) をインスタンス化し、Graph VQA とエンドツーエンドの運転を共同で実行するための VLM ベースのベースライン アプローチ (DriveLM-Agent) を提案します。
実験では、Graph VQA が運転シーンについて推論するためのシンプルで原則に基づいたフレームワークを提供し、DriveLM-Data がこのタスクに対する挑戦的なベンチマークを提供することを実証しました。
当社の DriveLM-Agent ベースラインは、最先端の運転専用アーキテクチャと比較して、競争力のあるエンドツーエンドの自動運転を実行します。
特に、その利点は、目に見えない物体またはセンサー構成でゼロショットで評価される場合に顕著になります。
この研究が、VLM を自動運転に適用する方法に新たな光を当てる出発点となることを願っています。
将来の研究を促進するために、すべてのコード、データ、モデルは一般公開されています。

要約(オリジナル)

We study how vision-language models (VLMs) trained on web-scale data can be integrated into end-to-end driving systems to boost generalization and enable interactivity with human users. While recent approaches adapt VLMs to driving via single-round visual question answering (VQA), human drivers reason about decisions in multiple steps. Starting from the localization of key objects, humans estimate object interactions before taking actions. The key insight is that with our proposed task, Graph VQA, where we model graph-structured reasoning through perception, prediction and planning question-answer pairs, we obtain a suitable proxy task to mimic the human reasoning process. We instantiate datasets (DriveLM-Data) built upon nuScenes and CARLA, and propose a VLM-based baseline approach (DriveLM-Agent) for jointly performing Graph VQA and end-to-end driving. The experiments demonstrate that Graph VQA provides a simple, principled framework for reasoning about a driving scene, and DriveLM-Data provides a challenging benchmark for this task. Our DriveLM-Agent baseline performs end-to-end autonomous driving competitively in comparison to state-of-the-art driving-specific architectures. Notably, its benefits are pronounced when it is evaluated zero-shot on unseen objects or sensor configurations. We hope this work can be the starting point to shed new light on how to apply VLMs for autonomous driving. To facilitate future research, all code, data, and models are available to the public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google