ASCD: Attention-Steerable Contrastive Decoding for Reducing Hallucination in MLLM

要約

マルチモーダル大手言語モデル（MLLM）はしばしば幻覚に苦しんでいます。
それらは部分的なキューを過度に依存し、誤った応答を生成します。
最近、視覚的なコントラストデコード（VCD）や命令の対照的デコード（ICD）などの方法が、元の出力に対する摂動または負の前の入力からの予測を対比することにより、幻覚を軽減するために提案されています。
この作業では、VCDやICDなどの方法がモデルの内部注意力学に根本的に影響することを明らかにします。
この観察結果は、それらの有効性が、表面レベルの変更だけでなく、ロジットへの単に発生するのではなく、注意分布のより深い変化に起因する可能性があることを示唆しています。
この洞察に触発されて、私たちは、モデルの注意メカニズムに直接介入するために、幻覚を緩和するためのより原則的なアプローチを提供する注意のステアラブルなコントラストデコードフレームワークを提案します。
複数のMLLMアーキテクチャと多様なデコード方法にわたる実験は、このアプローチが幻覚を大幅に削減し、Pope、椅子、MMHALベンチなどのベンチマークのパフォーマンスを向上させ、同時に標準のVQAベンチマークのパフォーマンスを向上させることを示しています。

要約(オリジナル)

Multimodal Large Language Model (MLLM) often suffer from hallucinations. They over-rely on partial cues and generate incorrect responses. Recently, methods like Visual Contrastive Decoding (VCD) and Instruction Contrastive Decoding (ICD) have been proposed to mitigate hallucinations by contrasting predictions from perturbed or negatively prefixed inputs against original outputs. In this work, we uncover that methods like VCD and ICD fundamentally influence internal attention dynamics of the model. This observation suggests that their effectiveness may not stem merely from surface-level modifications to logits but from deeper shifts in attention distribution. Inspired by this insight, we propose an attention-steerable contrastive decoding framework that directly intervenes in attention mechanisms of the model to offer a more principled approach to mitigating hallucinations. Our experiments across multiple MLLM architectures and diverse decoding methods demonstrate that our approach significantly reduces hallucinations and improves the performance on benchmarks such as POPE, CHAIR, and MMHal-Bench, while simultaneously enhancing performance on standard VQA benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google