ReasonDrive: Efficient Visual Question Answering for Autonomous Vehicles with Reasoning-Enhanced Small Vision-Language Models

要約

ビジョン言語モデル（VLM）は、自律運転の可能性を示していますが、多くの場合、安全に重要な透明な推論能力がありません。
微調整中の推論を明示的にモデリングすることで、運転決定タスクのVLMパフォーマンスが向上するかどうかを調査します。
GPT-4Oを使用して、カテゴリ固有のプロンプト戦略を備えたドリベルベンチマークからシナリオを駆動するための構造化された推論チェーンを生成します。
推論に基づいた微調整、回答のみの微調整、および複数の小さなVLMファミリー（Llama 3.2、Llava 1.5、およびQwen 2.5VL）にわたってベースライン命令チューニングモデルを比較します。
我々の結果は、推論に基づいた微調整が一貫して代替案よりも優れていることを示しており、llama3.2-11b-reasonが最高のパフォーマンスを達成しています。
推論で微調整されたモデルは、精度とテキスト生成の品質の大幅な改善を示し、明示的な推論が意思決定のための内部表現を強化することを示唆しています。
これらの調査結果は、安全性が批判的なドメインにおける透明な決定プロセスの重要性を強調し、より解釈可能な自律駆動システムを開発するための有望な方向性を提供します。

要約(オリジナル)

Vision-language models (VLMs) show promise for autonomous driving but often lack transparent reasoning capabilities that are critical for safety. We investigate whether explicitly modeling reasoning during fine-tuning enhances VLM performance on driving decision tasks. Using GPT-4o, we generate structured reasoning chains for driving scenarios from the DriveLM benchmark with category-specific prompting strategies. We compare reasoning-based fine-tuning, answer-only fine-tuning, and baseline instruction-tuned models across multiple small VLM families (Llama 3.2, Llava 1.5, and Qwen 2.5VL). Our results demonstrate that reasoning-based fine-tuning consistently outperforms alternatives, with Llama3.2-11B-reason achieving the highest performance. Models fine-tuned with reasoning show substantial improvements in accuracy and text generation quality, suggesting explicit reasoning enhances internal representations for driving decisions. These findings highlight the importance of transparent decision processes in safety-critical domains and offer a promising direction for developing more interpretable autonomous driving systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google