Scalable Model Editing via Customized Expert Networks

要約

大規模な言語モデルにおける幻覚や古い知識の問題に対処することは、それらを信頼性の高いアプリケーションに適用するために重要です。
モデル編集は、これらの課題を費用対効果の高い方法で軽減するための有望な手段を提供します。
ただし、既存の方法では、一般化が不十分であったり、編集されていないサンプルに対する意図しない影響が発生したりすることがよくあります。
これらの制限を克服するために、私たちは、カスタマイズされたエキスパート ネットワーク (SCEN) を介したスケーラブル モデル編集という新しいアプローチを導入します。これは 2 段階の連続トレーニング パラダイムです。
具体的には、第 1 段階では、更新が必要な知識ごとに軽量のエキスパート ネットワークを個別にトレーニングします。
その後、各エキスパートに対応するインデックス付けニューロンをトレーニングして、そのエキスパートの活性化状態を制御します。
私たちは、高度なオープンソース LLM、Llama2 を調整することにより、ZsRE および Hallucination ベンチマークに関する一連の実験を実施し、現在の主流の方法と比較して最先端の結果を達成しました。
私たちのコードは https://github.com/TAL-auroraX/SCEN で入手できます。

要約(オリジナル)

Addressing the issues of hallucinations and outdated knowledge in large language models is critical for their reliable application. Model Editing presents a promising avenue for mitigating these challenges in a cost-effective manner. However, existing methods often suffer from unsatisfactory generalization and unintended effects on non-edited samples. To overcome these limitations, we introduce a novel approach: Scalable Model Editing via Customized Expert Networks (SCEN), which is a two-stage continuous training paradigm. Specifically, in the first stage, we train lightweight expert networks individually for each piece of knowledge that needs to be updated. Subsequently, we train a corresponding indexing neuron for each expert to control the activation state of that expert. We conducted a series of experiments on the ZsRE and Hallucination benchmarks by tuning the advanced open-source LLM, Llama2, achieving state-of-the-art results compared to current mainstream methods. Our code is available at https://github.com/TAL-auroraX/SCEN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google