Multilinguality Does not Make Sense: Investigating Factors Behind Zero-Shot Transfer in Sense-Aware Tasks

要約

クロスリンガル転送により、モデルはトレーニング中に見えない言語のタスクを実行することができ、多言語性の増加から利益を得ると想定されることがよくあります。
この作業では、この仮定に挑戦し、2つの未掘りの感覚に合ったタスクのコンテキストで、多義性の曖昧性と語彙セマンティックの変化です。
28の言語にわたる大規模な分析を通じて、多言語トレーニングは効果的な転送に必要でも、本質的に有益でもないことを示しています。
代わりに、微調整データ構成や評価アーティファクトなどの交絡要因が、多言語性の知覚される利点をよりよく説明することがわかります。
私たちの調査結果は、多言語NLPでより厳格な評価を求めています。
微調整されたモデルとベンチマークをリリースして、さらなる研究をサポートします。これは、低リソースと類型的に多様な言語に及ぶ影響を及ぼします。

要約(オリジナル)

Cross-lingual transfer allows models to perform tasks in languages unseen during training and is often assumed to benefit from increased multilinguality. In this work, we challenge this assumption in the context of two underexplored, sense-aware tasks: polysemy disambiguation and lexical semantic change. Through a large-scale analysis across 28 languages, we show that multilingual training is neither necessary nor inherently beneficial for effective transfer. Instead, we find that confounding factors – such as fine-tuning data composition and evaluation artifacts – better account for the perceived advantages of multilinguality. Our findings call for more rigorous evaluations in multilingual NLP. We release fine-tuned models and benchmarks to support further research, with implications extending to low-resource and typologically diverse languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google