BalancEdit: Dynamically Balancing the Generality-Locality Trade-off in Multi-modal Model Editing

要約

大規模なマルチモーダルモデルは、時間の経過とともに事実が変化し、以前に学習した情報が古くなるため、必然的に減衰する。ファインチューニングのような伝統的なアプローチは、そのサイズと複雑さのために、これらのモデルを更新するためにはしばしば非現実的である。その代わりに、モデル内の知識を直接編集することが、より実行可能な解決策となる。しかし、現在のモデル編集技術は、通常、異なるファクトの固有の影響範囲を見落としており、一般性と局所性の両面でモデルの性能を低下させている。この問題に対処するため、マルチモーダルモデル編集における一般性と局所性のトレードオフの概念を導入する。このトレードオフを効果的に評価するために、OKEDITという新しいモデル編集データセットを開発する。この基礎の上に、我々はBalancEditを提案する。BalancEditは、一般性と局所性の最適なバランスを動的に達成する、バランスモデル編集のための新しい手法である。BalancEditは、各事実の影響範囲を正確に決定するために、各事実に対して肯定的なサンプルと否定的なサンプルの両方を生成するユニークなメカニズムを利用し、基礎となるモデルの重みを変更することなく、離散的で局所的な編集のコードブックを用いて、これらの洞察をモデルの潜在空間に組み込む。我々の知る限り、これはマルチモーダルモデル編集における一般性と局所性のトレードオフに明示的に対処した最初のアプローチである。我々の包括的な結果は、BalancEditの有効性を確認するものであり、ロバストな編集機能を維持しながら、最小限のトレードオフを実証している。我々のコードとデータセットは公開される予定である。

要約(オリジナル)

Large multi-modal models inevitably decay over time as facts change and previously learned information becomes outdated. Traditional approaches such as fine-tuning are often impractical for updating these models due to their size and complexity. Instead, direct knowledge editing within the models presents a more viable solution. Current model editing techniques, however, typically overlook the unique influence ranges of different facts, leading to compromised model performance in terms of both generality and locality. To address this issue, we introduce the concept of the generality-locality trade-off in multi-modal model editing. We develop a new model editing dataset named OKEDIT, specifically designed to effectively evaluate this trade-off. Building on this foundation, we propose BalancEdit, a novel method for balanced model editing that dynamically achieves an optimal balance between generality and locality. BalancEdit utilizes a unique mechanism that generates both positive and negative samples for each fact to accurately determine its influence scope and incorporates these insights into the model’s latent space using a discrete, localized codebook of edits, without modifying the underlying model weights. To our knowledge, this is the first approach explicitly addressing the generality-locality trade-off in multi-modal model editing. Our comprehensive results confirm the effectiveness of BalancEdit, demonstrating minimal trade-offs while maintaining robust editing capabilities. Our code and dataset will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL