Empirical Study on Updating Key-Value Memories in Transformer Feed-forward Layers

要約

変圧器のフィードフォワード ネットワーク (FFN) は、抽象的な高レベルの知識を復元するためのキーと値のニューラル メモリのグループとして認識されます。
この研究では、キー (FFNs 層の第 1 層) または値 (FFNs 層の第 2 層) の更新に関する実証的なアブレーション研究を実施します。
私たちは、FFN をさらに理解するための洞察を引き出すために、大規模な言語モデルのさまざまな知識編集および微調整タスクにおいてこれら 2 つの方法を比較します。
コードは $\href{https://github.com/qiuzh20/Tuning-keys-v.s.-values}{this\,repo}$ で入手できます。

要約(オリジナル)

The feed-forward networks (FFNs) in transformers are recognized as a group of key-value neural memories to restore abstract high-level knowledge. In this work, we conduct an empirical ablation study on updating keys (the 1st layer in the FFNs layer) or values (the 2nd layer in the FFNs layer). We compare those two methods in various knowledge editing and fine-tuning tasks of large language models to draw insights to understand FFNs further. Code is available at $\href{https://github.com/qiuzh20/Tuning-keys-v.s.-values}{this\,repo}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google