KNVQA: A Benchmark for evaluation knowledge-based VQA

要約

マルチモーダル分野では、視覚および言語システムにおける強力な認識能力と推論能力により、ラージ ビジョン言語モデル (LVLM) が大幅に進歩しました。
ただし、LVLM は依然として、物体の幻覚と事実の正確さという 2 つの重大な問題に悩まされており、さまざまなシナリオでの LVLM の実用性が制限されています。
さらに、以前の評価方法は、言語内容の理解と推論に重点を置いていますが、マルチモーダルな相互作用の包括的な評価が欠けており、その結果、潜在的な制限が生じます。
この目的を達成するために、マルチモーダル LVLM の事実を反映する知識ベースの VQA タスク評価に特化した新しい KNVQA-Eval を提案します。
評価の堅牢性と拡張性を確保するために、人間の判断と知覚を組み込んで新しい KNVQA データセットを開発し、知識ベース VQA で AI が生成した回答と比較して標準回答の精度を評価することを目的としています。
この研究では、信頼できる人間による注釈を使用して LVLM のコンテキスト情報を包括的に評価するだけでなく、現在の手法のきめ細かい機能をさらに分析して、その後の LVLM ベースの推定量の最適化のための潜在的な手段を明らかにします。
私たちが提案する VQA-Eval と対応するデータセット KNVQA は、低コスト、プライバシー保護、再現性という利点を備えた自動評価ツールの開発を促進します。
私たちのコードは公開され次第公開されます。

要約(オリジナル)

Within the multimodal field, large vision-language models (LVLMs) have made significant progress due to their strong perception and reasoning capabilities in the visual and language systems. However, LVLMs are still plagued by the two critical issues of object hallucination and factual accuracy, which limit the practicality of LVLMs in different scenarios. Furthermore, previous evaluation methods focus more on the comprehension and reasoning of language content but lack a comprehensive evaluation of multimodal interactions, thereby resulting in potential limitations. To this end, we propose a novel KNVQA-Eval, which is devoted to knowledge-based VQA task evaluation to reflect the factuality of multimodal LVLMs. To ensure the robustness and scalability of the evaluation, we develop a new KNVQA dataset by incorporating human judgment and perception, aiming to evaluate the accuracy of standard answers relative to AI-generated answers in knowledge-based VQA. This work not only comprehensively evaluates the contextual information of LVLMs using reliable human annotations, but also further analyzes the fine-grained capabilities of current methods to reveal potential avenues for subsequent optimization of LVLMs-based estimators. Our proposed VQA-Eval and corresponding dataset KNVQA will facilitate the development of automatic evaluation tools with the advantages of low cost, privacy protection, and reproducibility. Our code will be released upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google