Interpreting and Editing Vision-Language Representations to Mitigate Hallucinations

要約

我々は、視覚言語モデル(VLM)の内部表現を調査し、モデルサイズとトレーニングの進歩にもかかわらず、根強い課題である幻覚に対処する。VLMの内部画像表現を言語語彙に投影し、幻覚物体よりも現実物体に対する出力確率が高いことを確認する。さらに、これらの出力確率を用いて、現実の物体を空間的に定位させる。このアプローチを基に、幻覚物体特徴に対して画像特徴を線形に直交させることで幻覚を除去する知識消去アルゴリズムを導入する。COCO2014データセットにおいて、モデルの潜在表現に的を絞った編集を行うことで、性能を維持したまま幻覚を最大25.7%削減できることを示す。この結果は、VLMの潜在表現をより深く理解することで、信頼性が向上し、ゼロショットセグメンテーションのような新しい機能が可能になることを示している。

要約(オリジナル)

We investigate the internal representations of vision-language models (VLMs) to address hallucinations, a persistent challenge despite advances in model size and training. We project VLMs’ internal image representations to their language vocabulary and observe more confident output probabilities on real objects than hallucinated objects. We additionally use these output probabilities to spatially localize real objects. Building on this approach, we introduce a knowledge erasure algorithm that removes hallucinations by linearly orthogonalizing image features with respect to hallucinated object features. We show that targeted edits to a model’s latent representations can reduce hallucinations by up to 25.7% on the COCO2014 dataset while preserving performance. Our findings demonstrate how a deeper understanding of VLMs’ latent representations can enhance reliability and enable novel capabilities, such as zero-shot segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL