Mitigating Negative Interference in Multilingual Sequential Knowledge Editing through Null-Space Constraints

要約

大規模な言語モデル（LLMS）の多言語知識を効率的に更新する一方で、言語間で一貫した事実上の表現を維持しながら、長年にわたる未解決の課題のままです。
各言語の個別の編集システムを展開することは実行可能に思えるかもしれませんが、このアプローチには複数のモデルを管理する必要があるため、かなりのコストがかかります。
より効率的なソリューションには、すべての言語にわたる知識の更新を統一されたモデルに統合することが含まれます。
ただし、言語間で連続した編集を実行すると、破壊的なパラメーター干渉につながり、多言語の一般化と注入された知識の正確性が大幅に低下します。
この課題に対処するために、言語固有の知識の更新を正確に分離するように設計された新しいヌル空間制約のあるフレームワークであるLangeditを提案します。
Langeditのコアイノベーションは、各言語のパラメーターの更新を、以前の更新されたサブスペースの直交補体に投影する能力にあります。
このアプローチは、多言語の一般化能力を維持しながら、数学的に更新の独立性を保証します。
3つのモデルアーキテクチャ、6つの言語、4つのダウンストリームタスクで包括的な評価を実施し、Langeditがパラメーター干渉を効果的に緩和し、既存の最先端の編集方法を上回ることを実証します。
私たちの結果は、LLMSで効率的かつ正確な多言語の知識の更新を可能にする可能性を強調しています。
このコードは、https：//github.com/vrcmf/langedit.gitで入手できます。

要約(オリジナル)

Efficiently updating multilingual knowledge in large language models (LLMs), while preserving consistent factual representations across languages, remains a long-standing and unresolved challenge. While deploying separate editing systems for each language might seem viable, this approach incurs substantial costs due to the need to manage multiple models. A more efficient solution involves integrating knowledge updates across all languages into a unified model. However, performing sequential edits across languages often leads to destructive parameter interference, significantly degrading multilingual generalization and the accuracy of injected knowledge. To address this challenge, we propose LangEdit, a novel null-space constrained framework designed to precisely isolate language-specific knowledge updates. The core innovation of LangEdit lies in its ability to project parameter updates for each language onto the orthogonal complement of previous updated subspaces. This approach mathematically guarantees update independence while preserving multilingual generalization capabilities. We conduct a comprehensive evaluation across three model architectures, six languages, and four downstream tasks, demonstrating that LangEdit effectively mitigates parameter interference and outperforms existing state-of-the-art editing methods. Our results highlight its potential for enabling efficient and accurate multilingual knowledge updates in LLMs. The code is available at https://github.com/VRCMF/LangEdit.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google