Model Editing at Scale leads to Gradual and Catastrophic Forgetting

要約

大規模な言語モデルの知識の編集は、事前トレーニング中に誤って学習した事実を修正したり、増え続ける新しい事実のリストでモデルを更新したりできる魅力的な機能です。
既存のモデル編集手法は有望であることが示されていますが、通常は 1 回または数回の編集における信頼性、特異性、一般化のメトリクスを使用して評価されます。
私たちは、モデル編集が実用性を持つためには、同じモデルに対して複数の編集を行うことができなければならないと主張します。
これを念頭に置いて、ROME と MEMIT という 2 つの最先端の方法に焦点を当てて、現在のモデル編集方法を大規模に評価します。
モデルが複数のファクトを使用して連続的に編集されると、以前に編集されたファクトと下流のタスクを実行する機能が継続的に忘れられることがわかりました。
この物忘れは 2 つの段階で起こります。最初は徐々にではあるが進行性の忘却段階と、それに続く突然のまたは壊滅的な忘却段階です。
漸進的な忘却と壊滅的な忘却はどちらも、大規模なモデル編集方法の有用性を制限します。前者はモデルに複数の編集が行われるため、モデル編集の効果が低下しますが、後者はそのようなモデル編集方法の拡張性を制限します。
私たちの分析では、ROME と MEMIT の大規模な他の重要な制限も浮き彫りにしています。
私たちは、スケーラビリティを考慮したモデル編集手法の開発と評価を推進しています。

要約(オリジナル)

Editing knowledge in large language models is an attractive capability to have which allows us to correct incorrectly learnt facts during pre-training, as well as update the model with an ever-growing list of new facts. While existing model editing techniques have shown promise, they are usually evaluated using metrics for reliability, specificity and generalization over one or few edits. We argue that for model editing to have practical utility, we must be able to make multiple edits to the same model. With this in mind, we evaluate the current model editing methods at scale, focusing on two state of the art methods: ROME and MEMIT. We find that as the model is edited sequentially with multiple facts, it continually forgets previously edited facts and the ability to perform downstream tasks. This forgetting happens in two phases — an initial gradual but progressive forgetting phase followed by abrupt or catastrophic forgetting phase. Both gradual and catastrophic forgetting limit the usefulness of model editing methods at scale — the former making model editing less effective as multiple edits are made to the model while the latter caps the scalability of such model editing methods. Our analysis also highlights other key limitations of ROME and MEMIT at scale. With our work, we push for the development and evaluation of model editing methods keeping scalability in mind.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google