Visual Hallucinations of Multi-modal Large Language Models

要約

幻視 (VH) とは、マルチモーダル LLM (MLLM) が視覚的な質問応答において画像について誤った詳細を想像することを意味します。
既存の研究では、VH インスタンスは既存の画像データセット内でのみ検出されており、そのような VH インスタンスの多様性が限られているため、VH の下での MLLM のパフォーマンスについての偏った理解が生じています。
この研究では、さまざまな VH インスタンスのセットを生成するための VHTest と呼ばれるツールを提案します。
具体的には、VHTest は既存の画像データセット (COCO など) でいくつかの初期 VH インスタンスを見つけ、各 VH モードのテキスト説明を生成し、テキストから画像への生成モデル (DALL-E-3 など) を使用して VH 画像を生成します。
テキストの説明に基づいて。
VHTest を使用して、8 つの VH モードで 1,200 の VH インスタンスを含むベンチマーク データセットを収集します。
GPT-4V、LLaVA-1.5、MiniGPT-v2 などの既存の MLLM は、ベンチマークのインスタンスの大部分で幻覚を起こすことがわかりました。
さらに、ベンチマーク データセットを使用して MLLM を微調整すると、他のベンチマークでのパフォーマンスを犠牲にすることなく、幻覚の可能性が低減されることがわかりました。
私たちのベンチマークは https://github.com/wenhuang2000/VHTest から公開されています。

要約(オリジナル)

Visual hallucination (VH) means that a multi-modal LLM (MLLM) imagines incorrect details about an image in visual question answering. Existing studies find VH instances only in existing image datasets, which results in biased understanding of MLLMs’ performance under VH due to limited diversity of such VH instances. In this work, we propose a tool called VHTest to generate a diverse set of VH instances. Specifically, VHTest finds some initial VH instances in existing image datasets (e.g., COCO), generates a text description for each VH mode, and uses a text-to-image generative model (e.g., DALL-E-3) to generate VH images based on the text descriptions. We collect a benchmark dataset with 1,200 VH instances in 8 VH modes using VHTest. We find that existing MLLMs such as GPT-4V, LLaVA-1.5, and MiniGPT-v2 hallucinate for a large fraction of the instances in our benchmark. Moreover, we find that fine-tuning an MLLM using our benchmark dataset reduces its likelihood to hallucinate without sacrificing its performance on other benchmarks. Our benchmarks are publicly available: https://github.com/wenhuang2000/VHTest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google