LingoQA: Video Question Answering for Autonomous Driving

要約

自動運転は、意思決定プロセスにおける説明可能性の欠如により、長い間、一般の人々に受け入れられるという課題に直面してきました。
自然言語によるビデオ質問応答 (QA) は、このギャップを埋める機会を提供します。
それにもかかわらず、包括的なベンチマークがないため、ビデオ QA モデルのパフォーマンスを評価することは特に困難であることが判明しています。
このギャップを埋めるために、自動運転ビデオ QA に特化したベンチマークである LingoQA を紹介します。
LingoQA のトレーニング可能なメトリクスは、人間による評価とのスピアマン相関係数が 0.95 であることを示しています。
この論文とともにリリースした、419,000 個のサンプルで構成されるロンドン中心部のビデオ QA データセットを紹介します。
私たちはベースラインの視覚言語モデルを確立し、そのパフォーマンスを理解するために広範なアブレーション研究を実施します。

要約(オリジナル)

Autonomous driving has long faced a challenge with public acceptance due to the lack of explainability in the decision-making process. Video question-answering (QA) in natural language provides the opportunity for bridging this gap. Nonetheless, evaluating the performance of Video QA models has proved particularly tough due to the absence of comprehensive benchmarks. To fill this gap, we introduce LingoQA, a benchmark specifically for autonomous driving Video QA. The LingoQA trainable metric demonstrates a 0.95 Spearman correlation coefficient with human evaluations. We introduce a Video QA dataset of central London consisting of 419k samples that we release with the paper. We establish a baseline vision-language model and run extensive ablation studies to understand its performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google