THRONE: An Object-based Hallucination Benchmark for the Free-form Generations of Large Vision-Language Models

要約

大規模視覚言語モデル（LVLM）における幻覚の軽減は、依然として未解決の問題である。最近のベンチマークでは、自由形式の回答における幻覚は扱われていない。その代わりに、非常に具体的な質問形式–典型的には、特定の物体や属性に関する多肢選択式回答–に反応する幻覚に焦点が当てられており、私たちはこれを「タイプIIの幻覚」と呼んでいる。さらに、このようなベンチマークは、しばしば、変更される可能性のあるモデルへの外部APIコールを必要とする。実際には、タイプⅡの幻覚の減少がタイプⅠの幻覚の減少につながるのではなく、2つの幻覚がしばしば反相関していることが観察される。この問題に対処するため、我々は、LVLM自由形式出力におけるタイプI幻覚を定量的に評価するための、新しいオブジェクトベースの自動フレームワークであるTHRONEを提案する。公開言語モデル（LM）を用いて、LVLM応答中の幻覚を識別し、有益な評価指標を計算する。公開データセットを用いて最近のLVLMの大規模な選択を評価することにより、既存の測定基準の改善はタイプI幻覚の減少につながらないこと、およびタイプI幻覚を測定するための確立されたベンチマークは不完全であることを示す。最後に、強力なベースラインとして、タイプIとタイプIIの幻覚を減らすためのシンプルで効果的なデータ増強法を提供する。コードは現在https://github.com/amazon-science/THRONE 。

要約(オリジナル)

Mitigating hallucinations in large vision-language models (LVLMs) remains an open problem. Recent benchmarks do not address hallucinations in open-ended free-form responses, which we term ‘Type I hallucinations’. Instead, they focus on hallucinations responding to very specific question formats — typically a multiple-choice response regarding a particular object or attribute — which we term ‘Type II hallucinations’. Additionally, such benchmarks often require external API calls to models which are subject to change. In practice, we observe that a reduction in Type II hallucinations does not lead to a reduction in Type I hallucinations but rather that the two forms of hallucinations are often anti-correlated. To address this, we propose THRONE, a novel object-based automatic framework for quantitatively evaluating Type I hallucinations in LVLM free-form outputs. We use public language models (LMs) to identify hallucinations in LVLM responses and compute informative metrics. By evaluating a large selection of recent LVLMs using public datasets, we show that an improvement in existing metrics do not lead to a reduction in Type I hallucinations, and that established benchmarks for measuring Type I hallucinations are incomplete. Finally, we provide a simple and effective data augmentation method to reduce Type I and Type II hallucinations as a strong baseline. Code is now available at https://github.com/amazon-science/THRONE .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL