A Unified Framework for Model Editing

要約

私たちは、2 つの主要な「検索して編集」モデル編集手法である ROME と MEMIT を 1 つの概念的な傘の下にまとめ、保存記憶目標と呼ぶ同じ目標に向けて最適化する統一フレームワークを導入します。
ROME は等価制約を使用して一度に 1 つの編集を実行しますが、MEMIT はバッチ編集を可能にするより柔軟な最小二乗制約を採用しています。
保存記憶目標に続いて、トランスフォーマーまたは EMMET 用の等価制約付き大量モデル編集アルゴリズムを紹介します。これは、保存記憶目標の等価制約付きバージョンの閉形式ソリューションを使用する新しいバッチ式メモリ編集アルゴリズムです。
EMMET は ROME のバッチ版であり、複数のディメンションにわたって MEMIT と非常によく似たパフォーマンスで、最大 10,000 のバッチサイズまでのバッチ編集を実行できます。
EMMET を使用すると、「検索と編集」アルゴリズム内で統合して対称性を実現し、両方の目的を使用したバッチ編集を可能にします。

要約(オリジナル)

We introduce a unifying framework that brings two leading ‘locate-and-edit’ model editing techniques — ROME and MEMIT — under a single conceptual umbrella, optimizing for the same goal, which we call the preservation-memorization objective. ROME uses an equality constraint to perform one edit at a time, whereas MEMIT employs a more flexible least-square constraint that allows for batched edits. Following the preservation-memorization objective, we present Equality-constrained Mass Model Editing algorithm for Transformers or EMMET, a new batched memory-editing algorithm that uses a closed-form solution for the equality-constrained version of the preservation-memorization objective. EMMET is a batched-version of ROME and is able to perform batched-edits up to a batch-size of 10,000 with very similar performance to MEMIT across multiple dimensions. With EMMET, we unify and achieve symmetry within the ‘locate-and-edit’ algorithms, allowing batched-editing using both objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google