Language Anisotropic Cross-Lingual Model Editing

要約

多言語の事前トレーニング済み言語モデルは、タスク固有の能力を学習したり、複数の言語にわたる事実を記憶したりできますが、特定の入力に対して望ましくない予測を行うことは避けられません。
同様の観察のもと、モデル編集は、モデルの生の動作を維持しながら、特定の入力を対象としたモデルを事後調整することを目的としています。
しかし、既存の研究では、単一言語のシナリオのみが研究されており、複数の言語間で同時に編集を実行するための言語間の転送可能性が欠けています。
この作業では、言語を超えたモデル編集に焦点を当てます。
まず、ある言語での編集が他の言語に反映される、言語間モデル編集タスクと対応するメトリクスを定義します。
次に、並列コーパスを使用して、単一言語モデル編集アプローチを言語間シナリオに自然に適応させるフレームワークを提案します。
さらに、言語ごとにパラメータの異なるサブセットを増幅することで言語間編集を改善する、言語異方性編集を提案します。
新しく定義された言語間モデル編集タスクに関して、編集を複数の言語に伝播する際の単言語ベースラインの失敗と、提案された言語異方性モデル編集の有効性を経験的に示します。
私たちのコードは https://github.com/franklear/LiME で公開されています。

要約(オリジナル)

Multilingual pre-trained language models can learn task-specific abilities or memorize facts across multiple languages but inevitably make undesired predictions with specific inputs. Under similar observation, model editing aims to post-hoc calibrate a model targeted to specific inputs with keeping the model’s raw behavior. However, existing work only studies the monolingual scenario, which lacks the cross-lingual transferability to perform editing simultaneously across languages. In this work, we focus on cross-lingual model editing. Firstly, we define the cross-lingual model editing task and corresponding metrics, where an edit in one language propagates to the others. Next, we propose a framework to naturally adapt monolingual model editing approaches to the cross-lingual scenario using parallel corpus. Further, we propose language anisotropic editing to improve cross-lingual editing by amplifying different subsets of parameters for each language. On the newly defined cross-lingual model editing task, we empirically demonstrate the failure of monolingual baselines in propagating the edit to multiple languages and the effectiveness of the proposed language anisotropic model editing. Our code is publicly available at https://github.com/franklear/LiME.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google