Cross-lingual Editing in Multilingual Language Models

要約

大規模言語モデル (LLM) のトレーニングには大量のデータと計算リソースが必要であり、古くなった LLM の更新には多大な労力とリソースが必要です。
再トレーニングせずにモデル出力を効率的に更新するモデル編集手法 (MET) が多数登場していますが、知識がさまざまな言語で保存される多言語 LLM におけるその有効性は、依然として未開発の研究領域です。
この研究論文では、言語間モデル編集 (\textbf{XME}) パラダイムを紹介します。このパラダイムでは、ファクトが 1 つの言語で編集され、その後の更新の伝播が他の言語間で観察されます。
XME パラダイムを調査するために、\textit{ラテン語} (英語、フランス語、スペイン語) と \textit{インド語} (ヒンディー語、グジャラート語、ベンガル語) の 2 つの筆記スクリプトを使用して、BLOOM、mBERT、XLM-RoBERTa を使用した実験を実施しました。
）。
結果は、主に関係する言語が 2 つの異なるスクリプト ファミリに属している場合に、XME 設定下での最先端の MET の顕著なパフォーマンス制限を明らかにしました。
これらの発見は、これらの課題に対処するための XME 技術のさらなる研究と開発の必要性を浮き彫りにしています。
より包括的な情報については、この研究で使用されたデータセットと関連コードが次の URL\url{https://github.com/lingo-iitgn/XME} で公開されています。

要約(オリジナル)

The training of large language models (LLMs) necessitates substantial data and computational resources, and updating outdated LLMs entails significant efforts and resources. While numerous model editing techniques (METs) have emerged to efficiently update model outputs without retraining, their effectiveness in multilingual LLMs, where knowledge is stored in diverse languages, remains an underexplored research area. This research paper introduces the cross-lingual model editing (\textbf{XME}) paradigm, wherein a fact is edited in one language, and the subsequent update propagation is observed across other languages. To investigate the XME paradigm, we conducted experiments using BLOOM, mBERT, and XLM-RoBERTa using the two writing scripts: \textit{Latin} (English, French, and Spanish) and \textit{Indic} (Hindi, Gujarati, and Bengali). The results reveal notable performance limitations of state-of-the-art METs under the XME setting, mainly when the languages involved belong to two distinct script families. These findings highlight the need for further research and development of XME techniques to address these challenges. For more comprehensive information, the dataset used in this research and the associated code are publicly available at the following URL\url{https://github.com/lingo-iitgn/XME}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google