BMIKE-53: Investigating Cross-Lingual Knowledge Editing with In-Context Learning

要約

大規模言語モデル (LLM) は広範なパラメトリック知識を持っていますが、再トレーニングは非常に高価であり、クローズドソース モデルでは実行不可能であるため、この知識を新しい情報で更新するのは困難です。
ナレッジ編集 (KE) は、全体的なパフォーマンスを損なうことなく LLM の知識を更新するための実行可能なソリューションとして浮上しました。
インコンテキスト学習 (ICL) からインスピレーションを得たオンザフライ KE メソッドは、大きな可能性を示しており、LLM をブラック ボックスとして扱うことができます。
これまで、KE は主に英語の文脈で採用されていましたが、現在の英語中心の LLM における言語を超えた KE の可能性は十分に検討されていませんでした。
この方向での研究をさらに促進するために、3 つの KE タスク タイプにわたる 53 の多様な言語でクロスリンガル KE を評価するための BMIKE-53 ベンチマークを導入します。
また、多言語インコンテキスト知識編集 (MIKE) と呼ばれる勾配のない KE 手法を提案し、BMIKE-53 で評価します。
私たちの評価は、信頼性、一般性、局所性、移植性の観点から言語を越えた知識の伝達に焦点を当てており、言語を越えた KE における将来の研究のための貴重な洞察と枠組みを提供します。
私たちのコードとデータは、https://anonymous.4open.science/r/MIKE の匿名リポジトリを介して公的にアクセスできます。

要約(オリジナル)

Large language models (LLMs) possess extensive parametric knowledge, but this knowledge is difficult to update with new information because retraining is very expensive and infeasible for closed-source models. Knowledge editing (KE) has emerged as a viable solution for updating the knowledge of LLMs without compromising their overall performance. On-the-fly KE methods, inspired by in-context learning (ICL), have shown great promise and allow LLMs to be treated as black boxes. In the past, KE was primarily employed in English contexts, whereas the potential for cross-lingual KE in current English-centric LLMs has not been fully explored. To foster more research in this direction, we introduce the BMIKE-53 benchmark for evaluating cross-lingual KE on 53 diverse languages across three KE task types. We also propose a gradient-free KE method called Multilingual In-context Knowledge Editing (MIKE) and evaluate it on BMIKE-53. Our evaluation focuses on cross-lingual knowledge transfer in terms of reliability, generality, locality, and portability, offering valuable insights and a framework for future research in cross-lingual KE. Our code and data are publicly accessible via the anonymous repository at https://anonymous.4open.science/r/MIKE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google