Attribution Analysis Meets Model Editing: Advancing Knowledge Correction in Vision Language Models with VisEdit

要約

モデル編集は、大規模なモデルにおいて、コストのかかる再トレーニングを行うことなく、古くなった知識や誤った知識を修正することを目的としている。最近の研究では、プロンプトにおける被験者の最終トークンの中間層表現が事実予測に強い影響を与えることが発見され、この観察に基づいて大規模言語モデル（LLM）編集技術が開発された。しかし、Vision-LLM(VLLM)においては、視覚表現がデコーダのみの言語モデルからの予測にどのような影響を与えるかは、ほとんど未解明のままである。我々の知る限り、VLLMのモデル編集は文献で広く研究されていない。本研究では、トークン予測に対する視覚表現の寄与を測定するために、寄与配分法とノイズ摂動法を用いる。その結果、プロンプトと関連性の高い中間層から後層の視覚表現が予測に大きく寄与していることがわかった。これらの知見に基づき、編集プロンプトに重要な領域の中間的な視覚表現を編集することで知識を効果的に修正する、VLLMのための新しいモデルエディタであるVisEditを提案する。複数のVLLMバックボーンと公開VLLM編集ベンチマークデータセットを用いてVisEditを評価した。その結果、VisEditは、既存のLLM用最先端エディタから採用された強力なベースラインよりも優れていることが示された。

要約(オリジナル)

Model editing aims to correct outdated or erroneous knowledge in large models without costly retraining. Recent research discovered that the mid-layer representation of the subject’s final token in a prompt has a strong influence on factual predictions, and developed Large Language Model (LLM) editing techniques based on this observation. However, for Vision-LLMs (VLLMs), how visual representations impact the predictions from a decoder-only language model remains largely unexplored. To the best of our knowledge, model editing for VLLMs has not been extensively studied in the literature. In this work, we employ the contribution allocation and noise perturbation methods to measure the contributions of visual representations for token predictions. Our attribution analysis shows that visual representations in mid-to-later layers that are highly relevant to the prompt contribute significantly to predictions. Based on these insights, we propose VisEdit, a novel model editor for VLLMs that effectively corrects knowledge by editing intermediate visual representations in regions important to the edit prompt. We evaluated VisEdit using multiple VLLM backbones and public VLLM editing benchmark datasets. The results show the superiority of VisEdit over the strong baselines adapted from existing state-of-the-art editors for LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL