Attribution Analysis Meets Model Editing: Advancing Knowledge Correction in Vision Language Models with VisEdit

要約

モデル編集は、コストのかかる再トレーニングを行わずに、大規模なモデル内の古い知識や誤った知識を修正することを目的としています。
最近の研究では、プロンプト内の被験者の最終トークンの中間層表現が事実の予測に強い影響を与えることが発見され、この観察に基づいて大規模言語モデル (LLM) 編集技術が開発されました。
ただし、Vision-LLM (VLLM) の場合、視覚表現がデコーダ専用言語モデルからの予測にどのような影響を与えるかは、ほとんど解明されていないままです。
私たちの知る限り、VLLM のモデル編集は文献で広く研究されていません。
この研究では、寄与配分とノイズ摂動法を使用して、トークン予測に対する視覚的表現の寄与を測定します。
アトリビューション分析により、プロンプトとの関連性が高い中層から後半のレイヤーの視覚的表現が予測に大きく寄与していることがわかりました。
これらの洞察に基づいて、編集プロンプトにとって重要な領域の中間視覚表現を編集することで知識を効果的に修正する、VLLM 用の新しいモデル エディターである VisEdit を提案します。
複数の VLLM バックボーンとパブリック VLLM 編集ベンチマーク データセットを使用して VisEdit を評価しました。
この結果は、LLM 用の既存の最先端エディターから適応された強力なベースラインよりも VisEdit が優れていることを示しています。

要約(オリジナル)

Model editing aims to correct outdated or erroneous knowledge in large models without costly retraining. Recent research discovered that the mid-layer representation of the subject’s final token in a prompt has a strong influence on factual predictions, and developed Large Language Model (LLM) editing techniques based on this observation. However, for Vision-LLMs (VLLMs), how visual representations impact the predictions from a decoder-only language model remains largely unexplored. To the best of our knowledge, model editing for VLLMs has not been extensively studied in the literature. In this work, we employ the contribution allocation and noise perturbation methods to measure the contributions of visual representations for token predictions. Our attribution analysis shows that visual representations in mid-to-later layers that are highly relevant to the prompt contribute significantly to predictions. Based on these insights, we propose VisEdit, a novel model editor for VLLMs that effectively corrects knowledge by editing intermediate visual representations in regions important to the edit prompt. We evaluated VisEdit using multiple VLLM backbones and public VLLM editing benchmark datasets. The results show the superiority of VisEdit over the strong baselines adapted from existing state-of-the-art editors for LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google