Mass-Editing Memory in a Transformer

要約

最近の研究では、古い情報を置き換えたり、専門知識を追加したりするために、大規模な言語モデルを新しい記憶で更新することが期待できることが示されています。
ただし、この作業は主に、単一の関連付けの更新に限定されます。
私たちは、多くのメモリを持つ言語モデルを直接更新する方法である MEMIT を開発し、GPT-J (6B) と GPT-NeoX (20B) の関連付けを数千個までスケールアップできることを実験的に実証し、以前の研究を桁違いに上回りました。
私たちのコードとデータは https://memit.baulab.info にあります。

要約(オリジナル)

Recent work has shown exciting promise in updating large language models with new memories, so as to replace obsolete information or add specialized knowledge. However, this line of work is predominantly limited to updating single associations. We develop MEMIT, a method for directly updating a language model with many memories, demonstrating experimentally that it can scale up to thousands of associations for GPT-J (6B) and GPT-NeoX (20B), exceeding prior work by orders of magnitude. Our code and data are at https://memit.baulab.info.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google