Reference-free Hallucination Detection for Large Vision-Language Models

要約

ラージ ビジョン言語モデル (LVLM) は、近年大幅な進歩を遂げました。
LVLM は言語理解、質問応答、視覚入力の会話において優れた能力を示しますが、幻覚を引き起こす傾向があります。
LVLM の幻覚を評価するためにいくつかの方法が提案されていますが、ほとんどは参照ベースであり、外部ツールに依存しているため、実際の適用は複雑です。
代替方法の実現可能性を評価するには、外部ツールに依存しないリファレンスフリーのアプローチが幻覚を効率的に検出できるかどうかを理解することが重要です。
したがって、我々は、LVLM における幻覚の検出におけるさまざまなリファレンスフリーのソリューションの有効性を実証するための探索的研究を開始します。
特に、2 つの異なるタスクにわたる 4 つの代表的な LVLM について、不確実性ベース、一貫性ベース、教師あり不確実性定量化手法という 3 種類の手法について広範な研究を実施しています。
経験的結果は、参照フリーのアプローチが LVLM の非事実応答を効果的に検出でき、教師あり不確かさ定量化手法が他の手法よりも優れており、さまざまな設定にわたって最高のパフォーマンスを達成できることを示しています。

要約(オリジナル)

Large vision-language models (LVLMs) have made significant progress in recent years. While LVLMs exhibit excellent ability in language understanding, question answering, and conversations of visual inputs, they are prone to producing hallucinations. While several methods are proposed to evaluate the hallucinations in LVLMs, most are reference-based and depend on external tools, which complicates their practical application. To assess the viability of alternative methods, it is critical to understand whether the reference-free approaches, which do not rely on any external tools, can efficiently detect hallucinations. Therefore, we initiate an exploratory study to demonstrate the effectiveness of different reference-free solutions in detecting hallucinations in LVLMs. In particular, we conduct an extensive study on three kinds of techniques: uncertainty-based, consistency-based, and supervised uncertainty quantification methods on four representative LVLMs across two different tasks. The empirical results show that the reference-free approaches are capable of effectively detecting non-factual responses in LVLMs, with the supervised uncertainty quantification method outperforming the others, achieving the best performance across different settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google