Lifelong Knowledge Editing requires Better Regularization

要約

知識の編集は、大規模な言語モデルの事実性を改善する有望な方法ですが、最近の研究では、順次編集中に重要なモデルの分解が示されています。
この論文では、人気のあるLocate-Then-Editメソッドを2段階の微調整プロセスとして形式化し、この劣化の根本原因を正確に特定できるようにします。
（1）内部活性化の過剰最適化と（2）編集されたマトリックスの連続的な成長により、モデルの分解が発生することを示します。
これらの問題を軽減するために、2つの正規化手法を紹介します。（1）最も推定可能な早期停止（MPES）と（2）明示的なFrobenius Norm-Constraintを紹介します。
編集プロセスのキーポイントでこれらのシンプルで効果的な正則化手法を適用すると、モデルの劣化を大幅に軽減できることを実証します。
これらの正規化方法を組み合わせることで、編集時間を42〜61％削減しながら、ロケートツェンエディットメソッドを10,000の編集にスケーリングすることができます。
これらの結果は、ターゲットを絞った正則化が生涯にわたる知識編集に不可欠であることを示しています。

要約(オリジナル)

Knowledge editing is a promising way to improve factuality in large language models, but recent studies have shown significant model degradation during sequential editing. In this paper, we formalize the popular locate-then-edit methods as a two-step fine-tuning process, allowing us to precisely identify the root cause of this degradation. We show that model degradation occurs due to (1) over-optimization of internal activations and (2) continuous norm-growth of edited matrices. To mitigate these issues, we introduce two regularization techniques: (1) Most-Probable Early Stopping (MPES) and (2) explicit Frobenius norm-constraint. We demonstrate that applying these simple yet effective regularization techniques at key points in the editing process can substantially mitigate model degradation. Combining these regularization methods enables scaling locate-then-edit methods to 10,000 edits while reducing editing time by 42-61%. These results show that targeted regularization is essential for lifelong knowledge editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google