Nullu: Mitigating Object Hallucinations in Large Vision-Language Models via HalluSpace Projection

要約

最近の研究では、大きな視覚言語モデル（LVLM）がしばしばオブジェクトの幻覚（OH）の問題に悩まされることが示されています。
この問題を軽減するために、このペーパーではHalluspaceと呼ばれる安全でないサブスペースに基づいて、モデルの重みを編集する効率的な方法を紹介します。
視覚コンテンツを入力として添付した真実と幻覚のテキストプロンプトを使用すると、幻覚の埋め込み機能を抽出し、LVLMSの真実の表現を削除することにより、幻覚を識別できます。
モデルの重みを直交することにより、入力機能が殿下のヌル空間に投影され、OHを削減します。
Halluspacesは一般に、以前の研究でOHの本質的な原因として示されているLVLMを構築するために適用された大規模な言語モデル（LLM）の以前の情報が含まれていることを明らかにします。
したがって、NULLスペース投影により、LLMSのプライアーが抑制されて幻覚の特徴が除外され、文脈的に正確な出力が得られます。
実験では、私たちの方法は、追加の推論コストなしで異なるLVLMファミリ全体でOHを効果的に軽減し、一般的なLVLMベンチマークで強力なパフォーマンスを示すことができることを示しています。
コードはhttps://github.com/ziwei-zheng/nulluでリリースされます。

要約(オリジナル)

Recent studies have shown that large vision-language models (LVLMs) often suffer from the issue of object hallucinations (OH). To mitigate this issue, we introduce an efficient method that edits the model weights based on an unsafe subspace, which we call HalluSpace in this paper. With truthful and hallucinated text prompts accompanying the visual content as inputs, the HalluSpace can be identified by extracting the hallucinated embedding features and removing the truthful representations in LVLMs. By orthogonalizing the model weights, input features will be projected into the Null space of the HalluSpace to reduce OH, based on which we name our method Nullu. We reveal that HalluSpaces generally contain prior information in the large language models (LLMs) applied to build LVLMs, which have been shown as essential causes of OH in previous studies. Therefore, null space projection suppresses the LLMs’ priors to filter out the hallucinated features, resulting in contextually accurate outputs. Experiments show that our method can effectively mitigate OH across different LVLM families without extra inference costs and also show strong performance in general LVLM benchmarks. Code is released at https://github.com/Ziwei-Zheng/Nullu.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google