MEMoE: Enhancing Model Editing with Mixture of Experts Adaptors

要約

モデル編集は、他の入力に悪影響を及ぼさないようにしながら、目的の範囲内で大規模言語モデル (LLM) の動作を効率的に変更することを目的としています。
近年、さまざまなモデル編集手法が提案されています。
ただし、これらの方法は全体的なパフォーマンスが低いか、一般化と局所性のバランスを取るのに苦労します。
ナレッジ アンカー ルーティング戦略を備えた Mixture of Experts (MoE) アーキテクチャを利用するモデル編集アダプターである MOMoE を提案します。
MOMoE は、バイパス MoE 構造を使用してナレッジを更新し、元のパラメータを変更せずに維持して、LLM の一般的な機能を保持します。
また、知識アンカー ルーティングにより、同様の知識を必要とする入力が同じ専門家に確実にルーティングされるため、更新された知識の一般化が強化されます。
実験結果は、バッチ編集タスクと逐次バッチ編集タスクの両方に対する私たちのアプローチの優位性を示しており、一般化と局所性の間の優れたバランスとともに、優れた全体的なパフォーマンスを示しています。
私たちのコードが利用可能になります。

要約(オリジナル)

Model editing aims to efficiently alter the behavior of Large Language Models (LLMs) within a desired scope, while ensuring no adverse impact on other inputs. Recent years have witnessed various model editing methods been proposed. However, these methods either exhibit poor overall performance or struggle to strike a balance between generalization and locality. We propose MOMoE, a model editing adapter utilizing a Mixture of Experts (MoE) architecture with a knowledge anchor routing strategy. MOMoE updates knowledge using a bypass MoE structure, keeping the original parameters unchanged to preserve the general ability of LLMs. And, the knowledge anchor routing ensures that inputs requiring similar knowledge are routed to the same expert, thereby enhancing the generalization of the updated knowledge. Experimental results show the superiority of our approach over both batch editing and sequential batch editing tasks, exhibiting exceptional overall performance alongside outstanding balance between generalization and locality. Our code will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google