Mass-Editing Memory with Attention in Transformers: A cross-lingual exploration of knowledge

要約

最近の研究では、大規模な言語モデルにおいて事実知識を更新・修正する方法が検討されており、多くの場合、特定の多層パーセプトロンブロックに焦点が当てられている。本研究では、既存の知識編集手法の有効性を言語横断的に検証し、このプロセスにおける注意メカニズムの役割を掘り下げることで、この研究を発展させる。得られた知見から、我々は、最小限のパラメータ修正で全てのメトリクスにおいて大幅な改善を達成する手法である、トランスフォーマーにおける注意を伴う大量記憶編集（Mass-Editing Memory with Attention in Transformers: MEMAT）を提案する。MEMATは、大きさのメトリクスで10％の顕著な向上を実現し、学習データに含まれていない言語にも恩恵をもたらし、また、高い移植性を示している。我々のコードとデータはhttps://github.com/dtamayo-nlp/MEMAT。

要約(オリジナル)

Recent research has explored methods for updating and modifying factual knowledge in large language models, often focusing on specific multi-layer perceptron blocks. This study expands on this work by examining the effectiveness of existing knowledge editing methods across languages and delving into the role of attention mechanisms in this process. Drawing from the insights gained, we propose Mass-Editing Memory with Attention in Transformers (MEMAT), a method that achieves significant improvements in all metrics while requiring minimal parameter modifications. MEMAT delivers a remarkable 10% increase in magnitude metrics, benefits languages not included in the training data and also demonstrates a high degree of portability. Our code and data are at https://github.com/dtamayo-nlp/MEMAT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL