Holistic Analysis of Hallucination in GPT-4V(ision): Bias and Interference Challenges

要約

GPT-4V(ision)は視覚情報とテキスト情報を同時にモデル化することができるが、その幻覚挙動は体系的に評価されていない。このギャップを埋めるために、我々は新しいベンチマーク、すなわちBias and Interference Challenges in Visual Language Models (Bingo)を導入する。このベンチマークは、視覚言語モデルにおける2つの一般的な幻覚のタイプ、すなわちバイアスと干渉を評価し、光を当てるように設計されている。ここで、バイアスとは、おそらく学習データの不均衡が原因で、モデルが特定のタイプの応答を幻覚する傾向を指します。干渉は、テキストプロンプトの言い回しや入力画像の提示方法によってGPT-4V(ision)の判断が乱されるシナリオに関係する。GPT-4V(ision)は、他の国の画像や他の言語のテキストを含む画像と比較して、西洋の画像や英語のテキストを含む画像の解釈において優れている。さらに、GPT-4V(ision)は誘導尋問に弱く、複数の画像を一緒に解釈するとしばしば混乱する。自己訂正や思考連鎖推論などの一般的な緩和アプローチは、これらの課題を解決するのに有効ではない。また、LLaVAやバルドでも同様のバイアスや干渉の脆弱性が確認された。我々の結果は、GPT-4V(ision)と最先端の視覚言語モデルにおける幻覚の課題を特徴付け、新たな解決策の必要性を浮き彫りにした。Bingoベンチマークはhttps://github.com/gzcch/Bingo。

要約(オリジナル)

While GPT-4V(ision) impressively models both visual and textual information simultaneously, it’s hallucination behavior has not been systematically assessed. To bridge this gap, we introduce a new benchmark, namely, the Bias and Interference Challenges in Visual Language Models (Bingo). This benchmark is designed to evaluate and shed light on the two common types of hallucinations in visual language models: bias and interference. Here, bias refers to the model’s tendency to hallucinate certain types of responses, possibly due to imbalance in its training data. Interference pertains to scenarios where the judgment of GPT-4V(ision) can be disrupted due to how the text prompt is phrased or how the input image is presented. We identify a notable regional bias, whereby GPT-4V(ision) is better at interpreting Western images or images with English writing compared to images from other countries or containing text in other languages. Moreover, GPT-4V(ision) is vulnerable to leading questions and is often confused when interpreting multiple images together. Popular mitigation approaches, such as self-correction and chain-of-thought reasoning, are not effective in resolving these challenges. We also identified similar biases and interference vulnerabilities with LLaVA and Bard. Our results characterize the hallucination challenges in GPT-4V(ision) and state-of-the-art visual-language models, and highlight the need for new solutions. The Bingo benchmark is available at https://github.com/gzcch/Bingo.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL