Boosting Cross-lingual Transferability in Multilingual Models via In-Context Learning

要約

既存の言語間転送 (CLT) を促す方法は、ソース言語の単一言語のデモンストレーション例のみを対象としています。
この論文では、ソース言語とターゲット言語の両方を活用してデモンストレーション例を構築する、新しい言語間転送促進方法である In-CLT を提案します。
質疑応答業務を中心に多言語ベンチマークを総合的に評価します。
実験結果は、In-CLT プロンプトが多言語モデルの言語間伝達性を向上させるだけでなく、目に見えない顕著な言語一般化能力も実証することを示しています。
特に、CLT 内プロンプトは、以前の異言語間伝達アプローチと比較して、モデルのパフォーマンスを平均 10 ～ 20\% ポイント向上させます。
また、他の多言語ベンチマークでも、特に推論タスクで驚くべきパフォーマンスの向上が見られます。
さらに、語彙の類似性と訓練前のコーパスとの関係を、言語間伝達ギャップの観点から調査します。

要約(オリジナル)

Existing cross-lingual transfer (CLT) prompting methods are only concerned with monolingual demonstration examples in the source language. In this paper, we propose In-CLT, a novel cross-lingual transfer prompting method that leverages both source and target languages to construct the demonstration examples. We conduct comprehensive evaluations on multilingual benchmarks, focusing on question answering tasks. Experiment results show that In-CLT prompt not only improves multilingual models’ cross-lingual transferability, but also demonstrates remarkable unseen language generalization ability. In-CLT prompting, in particular, improves model performance by 10 to 20\% points on average when compared to prior cross-lingual transfer approaches. We also observe the surprising performance gain on the other multilingual benchmarks, especially in reasoning tasks. Furthermore, we investigate the relationship between lexical similarity and pre-training corpora in terms of the cross-lingual transfer gap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google