THRONE: An Object-based Hallucination Benchmark for the Free-form Generations of Large Vision-Language Models

要約

大規模視覚言語モデル (LVLM) における幻覚の軽減は依然として未解決の問題です。
最近のベンチマークでは、自由回答式の幻覚（我々が「タイプ I 幻覚」と呼んでいる）には対処していません。
代わりに、彼らは非常に特殊な質問形式、通常は特定の物体または属性に関する多肢選択式の回答に応答する幻覚に焦点を当てており、これを「タイプ II 幻覚」と呼んでいます。
さらに、このようなベンチマークでは、変更される可能性のあるモデルへの外部 API 呼び出しが必要になることがよくあります。
実際には、タイプ II の幻覚の減少がタイプ I の幻覚の減少につながるのではなく、むしろ 2 つの形態の幻覚がしばしば逆相関していることが観察されています。
これに対処するために、LVLM の自由形式出力におけるタイプ I 幻覚を定量的に評価するための新しいオブジェクトベースの自動フレームワークである THRONE を提案します。
私たちは公共言語モデル (LM) を使用して、LVLM 応答内の幻覚を特定し、有益な指標を計算します。
公開データセットを使用して最近の LVLM の大規模な選択を評価することにより、既存の指標の改善が I 型幻覚の減少につながらないこと、および I 型幻覚を測定するための確立されたベンチマークが不完全であることを示します。
最後に、強力なベースラインとして、タイプ I およびタイプ II の幻覚を軽減するためのシンプルで効果的なデータ拡張方法を提供します。

要約(オリジナル)

Mitigating hallucinations in large vision-language models (LVLMs) remains an open problem. Recent benchmarks do not address hallucinations in open-ended free-form responses, which we term ‘Type I hallucinations’. Instead, they focus on hallucinations responding to very specific question formats — typically a multiple-choice response regarding a particular object or attribute — which we term ‘Type II hallucinations’. Additionally, such benchmarks often require external API calls to models which are subject to change. In practice, we observe that a reduction in Type II hallucinations does not lead to a reduction in Type I hallucinations but rather that the two forms of hallucinations are often anti-correlated. To address this, we propose THRONE, a novel object-based automatic framework for quantitatively evaluating Type I hallucinations in LVLM free-form outputs. We use public language models (LMs) to identify hallucinations in LVLM responses and compute informative metrics. By evaluating a large selection of recent LVLMs using public datasets, we show that an improvement in existing metrics do not lead to a reduction in Type I hallucinations, and that established benchmarks for measuring Type I hallucinations are incomplete. Finally, we provide a simple and effective data augmentation method to reduce Type I and Type II hallucinations as a strong baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google