HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language Models

要約

画像コンテキスト推論の評価のために設計された包括的なベンチマークである HallusionBench を紹介します。
このベンチマークは、視覚データの微妙な理解と解釈を強調することにより、GPT-4V(Vision)、Gemini Pro Vision、Claude 3、LLaVA-1.5 などの高度な大規模視覚言語モデル (LVLM) に重大な課題を提示します。
このベンチマークは 346 枚の画像と 1129 の質問で構成されており、すべて人間の専門家によって細心の注意を払って作成されています。
対照群を確立するために設計されたこれらの視覚的な質問に新しい構造を導入します。
この構造により、モデルの応答傾向、論理的一貫性、さまざまな故障モードを定量的に分析することができます。
HallusionBench での評価では、15 の異なるモデルをベンチマークし、最先端の GPT-4V によって 31.42% の質問ペアの精度が達成されたことが強調されました。
特に、他のすべての評価モデルの精度は 16% 未満です。
さらに、私たちの分析は、言語幻覚や錯視など、観察された障害モードを浮き彫りにするだけでなく、これらの落とし穴についての理解を深めます。
HallusionBench 内の包括的なケーススタディは、LVLM における幻覚と錯覚の課題に光を当てています。
これらの洞察に基づいて、将来の改善に向けた潜在的な道筋を提案します。
ベンチマークとコードベースには、https://github.com/tianyi-lab/HallusionBench からアクセスできます。

要約(オリジナル)

We introduce HallusionBench, a comprehensive benchmark designed for the evaluation of image-context reasoning. This benchmark presents significant challenges to advanced large visual-language models (LVLMs), such as GPT-4V(Vision), Gemini Pro Vision, Claude 3, and LLaVA-1.5, by emphasizing nuanced understanding and interpretation of visual data. The benchmark comprises 346 images paired with 1129 questions, all meticulously crafted by human experts. We introduce a novel structure for these visual questions designed to establish control groups. This structure enables us to conduct a quantitative analysis of the models’ response tendencies, logical consistency, and various failure modes. In our evaluation on HallusionBench, we benchmarked 15 different models, highlighting a 31.42% question-pair accuracy achieved by the state-of-the-art GPT-4V. Notably, all other evaluated models achieve accuracy below 16%. Moreover, our analysis not only highlights the observed failure modes, including language hallucination and visual illusion, but also deepens an understanding of these pitfalls. Our comprehensive case studies within HallusionBench shed light on the challenges of hallucination and illusion in LVLMs. Based on these insights, we suggest potential pathways for their future improvement. The benchmark and codebase can be accessed at https://github.com/tianyi-lab/HallusionBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google