Edit Once, Update Everywhere: A Simple Framework for Cross-Lingual Knowledge Synchronization in LLMs

要約

知識編集により、完全な再訓練を必要とせずに、新しい情報または修正への大規模な言語モデル（LLM）を効率的に適応させることができます。
ただし、以前の方法は通常、単一言語の編集または基本的な多言語編集のいずれかに焦点を当てており、真の言語的知識の同期を達成できません。
これに対処するために、支配的な言語から他の言語に効果的に知識を伝播するように設計された、シンプルで実用的な最先端（SOTA）レシピ民主主義編集（X-KDE）を提示します。
X-KDEは2つの段階で構成されています。（i）横断版の指示チューニング（XE-IT）。これは、無関係な情報を保存しながらスコープ内の知識を変更するためにキュレーションされた並列データセットでモデルを微調整し、（ii）ターゲット
-Language Preference Optimization（TL-PO）。これは、高度な最適化手法を適用して、言語間の一貫性を確保し、更新の転送を促進します。
さらに、言語間での知識移転を強化するために特別に設計された高品質で言語間データセットを提供します。
BI-ZSREおよびMZSREベンチマークに関する広範な実験は、X-KDEが横断的パフォーマンスを大幅に向上させ、平均改善を +8.19％に達成し、単一言語の設定では高い精度を維持することを示しています。

要約(オリジナル)

Knowledge editing allows for efficient adaptation of large language models (LLMs) to new information or corrections without requiring full retraining. However, prior methods typically focus on either single-language editing or basic multilingual editing, failing to achieve true cross-linguistic knowledge synchronization. To address this, we present a simple and practical state-of-the-art (SOTA) recipe Cross-Lingual Knowledge Democracy Edit (X-KDE), designed to propagate knowledge from a dominant language to other languages effectively. Our X-KDE comprises two stages: (i) Cross-lingual Edition Instruction Tuning (XE-IT), which fine-tunes the model on a curated parallel dataset to modify in-scope knowledge while preserving unrelated information, and (ii) Target-language Preference Optimization (TL-PO), which applies advanced optimization techniques to ensure consistency across languages, fostering the transfer of updates. Additionally, we contribute a high-quality, cross-lingual dataset, specifically designed to enhance knowledge transfer across languages. Extensive experiments on the Bi-ZsRE and MzsRE benchmarks show that X-KDE significantly enhances cross-lingual performance, achieving an average improvement of +8.19%, while maintaining high accuracy in monolingual settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google