mPLM-Sim: Better Cross-Lingual Similarity and Transfer in Multilingual Pretrained Language Models

要約

最近の多言語事前学習済み言語モデル（mPLM）は、事前学習時に明示的に提供されない言語固有のシグナルを強くエンコードすることが示されている。言語の類似性を測定するためにmPLMを採用することが可能かどうか、そして、その後、言語間伝達を促進するためにソース言語を選択するために類似性の結果を使用することが可能かどうかは、まだ未解決の問題である。これを調査するために、我々はmPLMSimを提案する。mPLMSimは、マルチパラレルコーパスを用いてmPLMから言語間の類似性を導出する。我々の研究では、mPLM-Simが辞書統計、系譜的言語族、地理的sprachbundなどの言語的類似性尺度と中程度の高い相関を示すことを示している。また、相関の低い言語のケーススタディを行い、mPLM-Simがより正確な類似性結果をもたらすことを観察した。さらに、類似度の結果は、異なるmPLMやmPLM内の異なるレイヤーで異なることがわかった。さらに、低レベルの構文タスクと高レベルの意味タスクの両方で実験を行うことで、mPLMSimがゼロショットのクロスリンガル転送に有効かどうかを調査した。実験の結果、mPLM-Simは言語的な尺度よりも優れたソース言語を選択することが可能であり、その結果、ゼロショットでのクロスリンガル転送性能が1%～2%向上することが実証された。

要約(オリジナル)

Recent multilingual pretrained language models (mPLMs) have been shown to encode strong language-specific signals, which are not explicitly provided during pretraining. It remains an open question whether it is feasible to employ mPLMs to measure language similarity, and subsequently use the similarity results to select source languages for boosting cross-lingual transfer. To investigate this, we propose mPLMSim, a language similarity measure that induces the similarities across languages from mPLMs using multi-parallel corpora. Our study shows that mPLM-Sim exhibits moderately high correlations with linguistic similarity measures, such as lexicostatistics, genealogical language family, and geographical sprachbund. We also conduct a case study on languages with low correlation and observe that mPLM-Sim yields more accurate similarity results. Additionally, we find that similarity results vary across different mPLMs and different layers within an mPLM. We further investigate whether mPLMSim is effective for zero-shot cross-lingual transfer by conducting experiments on both low-level syntactic tasks and high-level semantic tasks. The experimental results demonstrate that mPLM-Sim is capable of selecting better source languages than linguistic measures, resulting in a 1%-2% improvement in zero-shot cross-lingual transfer performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL