V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multi-Modal Large Language Models

要約

現在の自律運転車両は、主に個々のセンサーに依存して、周囲のシーンを理解し、将来の軌跡を計画します。
この問題に対処するために、車両から車両（V2V）通信を介した協同的認識方法が提案されていますが、検出と追跡に焦点を当てる傾向がありました。
これらのアプローチが全体的な協同組合の計画パフォーマンスにどのように貢献するかは、まだ依然として標準未満です。
大規模な言語モデル（LLMS）を使用して自律駆動システムを構築する最近の進捗状況に触発された私たちは、LLMを協力的な自律運転に統合する新しい問題設定を提案し、車両から車両から車両への質問回答（V2V-QA）データセットと
ベンチマーク。
また、LLMを使用して複数の接続された自律車両（Cavs）から知覚情報を融合し、運転関連の質問に応答するベースラインメソッドの車両間大型言語モデル（V2V-LLM）を提案します。
計画。
実験結果は、提案されているV2V-LLMが、協力的な自律運転のさまざまなタスクを実行するための有望な統一モデルアーキテクチャになり、異なる核融合アプローチを使用する他のベースライン方法よりも優れていることを示しています。
また、私たちの仕事は、将来の自律駆動システムの安全性を改善できる新しい研究の方向性も生み出しています。
当社のプロジェクトWebサイト：https：//eddyhkchiu.github.io/v2vllm.github.io/。

要約(オリジナル)

Current autonomous driving vehicles rely mainly on their individual sensors to understand surrounding scenes and plan for future trajectories, which can be unreliable when the sensors are malfunctioning or occluded. To address this problem, cooperative perception methods via vehicle-to-vehicle (V2V) communication have been proposed, but they have tended to focus on detection and tracking. How those approaches contribute to overall cooperative planning performance is still under-explored. Inspired by recent progress using Large Language Models (LLMs) to build autonomous driving systems, we propose a novel problem setting that integrates an LLM into cooperative autonomous driving, with the proposed Vehicle-to-Vehicle Question-Answering (V2V-QA) dataset and benchmark. We also propose our baseline method Vehicle-to-Vehicle Large Language Model (V2V-LLM), which uses an LLM to fuse perception information from multiple connected autonomous vehicles (CAVs) and answer driving-related questions: grounding, notable object identification, and planning. Experimental results show that our proposed V2V-LLM can be a promising unified model architecture for performing various tasks in cooperative autonomous driving, and outperforms other baseline methods that use different fusion approaches. Our work also creates a new research direction that can improve the safety of future autonomous driving systems. Our project website: https://eddyhkchiu.github.io/v2vllm.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google