Evaluation and Analysis of Hallucination in Large Vision-Language Models

要約

Large Vision-Language Model (LVLM) は最近目覚ましい成功を収めています。
ただし、LVLM は依然として幻覚の問題に悩まされており、多くのシナリオで実用性が制限されます。
幻覚とは、視覚入力には存在しない LVLM の反応情報を指し、重大な結果をもたらす潜在的なリスクを引き起こします。
LVLM における幻覚評価を研究する研究は限られています。
本稿では、LLM ベースの幻覚評価フレームワークである大規模言語モデルに基づく幻覚評価 (HaELM) を提案します。
HaELM は、ChatGPT に匹敵する約 95% のパフォーマンスを達成し、低コスト、再現性、プライバシー保護、ローカル展開などの追加の利点を備えています。
HaELM を活用して、現在の LVLM における幻覚を評価します。
さらに、LVLM の幻覚に寄与する要因を分析し、幻覚の問題を軽減するために役立つ提案を提供します。
私たちの訓練データと人間の注釈幻覚データは近々公開される予定です。

要約(オリジナル)

Large Vision-Language Models (LVLMs) have recently achieved remarkable success. However, LVLMs are still plagued by the hallucination problem, which limits the practicality in many scenarios. Hallucination refers to the information of LVLMs’ responses that does not exist in the visual input, which poses potential risks of substantial consequences. There has been limited work studying hallucination evaluation in LVLMs. In this paper, we propose Hallucination Evaluation based on Large Language Models (HaELM), an LLM-based hallucination evaluation framework. HaELM achieves an approximate 95% performance comparable to ChatGPT and has additional advantages including low cost, reproducibility, privacy preservation and local deployment. Leveraging the HaELM, we evaluate the hallucination in current LVLMs. Furthermore, we analyze the factors contributing to hallucination in LVLMs and offer helpful suggestions to mitigate the hallucination problem. Our training data and human annotation hallucination data will be made public soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google