A Unified Framework for Model Editing

要約

ROME と MEMIT は 2 つの異なるモデル編集アルゴリズムであると考えられていますが、それらの主な違いはバッチ編集を実行できることです。
この論文では、これら 2 つのアルゴリズムを 1 つの概念的な傘の下で統合し、保存記憶目標と呼ばれる同じ目標に向けて最適化します。
ROME は等式制約を使用してこの目的を最適化し、一度に 1 つの編集を実行します。一方、MEMIT はバッチ編集を可能にするより柔軟な最小二乗制約を採用します。
ROME を一般化し、EMMET の形式で等価制約を伴うバッチ編集を可能にします。EMMET は、トランスフォーマー用の等価制約付き大量モデル編集アルゴリズムであり、新しいバッチ メモリ編集アルゴリズムです。
EMMET は、複数のディメンションにわたって MEMIT と非常に似たパフォーマンスで、最大 10,000 のバッチサイズのバッチ編集を実行できます。
EMMET の導入により、ROME と MEMIT が真に統合され、最適化の目的、機能 (単一およびバッチ編集)、モデル編集のパフォーマンスと制限の点で両方のアルゴリズムが同等であることがわかります。

要約(オリジナル)

ROME and MEMIT are largely believed to be two different model editing algorithms, with the major difference between them being the ability to perform batched edits. In this paper, we unify these two algorithms under a single conceptual umbrella, optimizing for the same goal, which we call the preservation-memorization objective. ROME uses an equality constraint to optimize this objective to perform one edit at a time, whereas MEMIT employs a more flexible least-square constraint that allows for batched edits. We generalize ROME and enable batched editing with equality constraint in the form of EMMET – an Equality-constrained Mass Model Editing algorithm for Transformers, a new batched memory-editing algorithm. EMMET can perform batched-edits up to a batch-size of 10,000, with very similar performance to MEMIT across multiple dimensions. With the introduction of EMMET, we truly unify ROME and MEMIT and show that both algorithms are equivalent in terms of their optimization objective, their abilities (singular and batched editing), their model editing performance and their limitations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google