Rebuilding ROME : Resolving Model Collapse during Sequential Model Editing

要約

人気のモデル編集方法である Rank-One Model Editing (ROME) を使用した最近の研究では、アルゴリズムがモデルを破壊することなく編集できないという特定の事実があることが判明しました。
このような編集は、以前は編集の無効化と呼ばれていました。
これらの編集を無効にすると、モデルが即座に崩壊し、逐次編集のための ROME の使用が制限されます。
この論文では、編集の無効化が ROME の実装における不規則性の結果であることを示します。
この論文では、より安定した実装 ROME を提供します。これを r-ROME と呼び、r-ROME で大規模な逐次編集を行うときにモデルの崩壊が観察されなくなり、同時にモデル編集の一般化と局所性がさらに向上することを示します。
ROME のオリジナルの実装。
また、編集を無効にする理由についての詳細な数学的説明も提供します。

要約(オリジナル)

Recent work using Rank-One Model Editing (ROME), a popular model editing method, has shown that there are certain facts that the algorithm is unable to edit without breaking the model. Such edits have previously been called disabling edits. These disabling edits cause immediate model collapse and limits the use of ROME for sequential editing. In this paper, we show that disabling edits are an artifact of irregularities in the implementation of ROME. With this paper, we provide a more stable implementation ROME, which we call r-ROME and show that model collapse is no longer observed when making large scale sequential edits with r-ROME, while further improving generalization and locality of model editing compared to the original implementation of ROME. We also provide a detailed mathematical explanation of the reason behind disabling edits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google